
[글또] 데이터 파이프라인 자동화 구축기 with 농수산물데이터, GCP, crontab
·
Data Science/Engineering
예상독자 데이터를 주기적으로 수집하는 자동화를 구현하고 싶은 데이터 엔지니어, 분석가, 개발자 목차 글의 개요 GCP 셋업 GCP 인스턴스 만들기 빅쿼리 연결 자동화 익히기 Linux 스케쥴러 Cron 알아보기 Hello world 출력하는 실행파일 만들기 OPEN API 데이터 빅쿼리에 저장 자동화하기 깃 설치 및 환경설정 파이썬 가상환경 설정 및 패키지 설치 스크립트 실행 및 자동화 태우기 1. 글 개요 데이터 수집부터 시작하고자하는 데이터 직무라면 파이프라인에 대해서 고민하게 될 것이다. 다양한 방법이 있겠지만 나는 그렇게 부지런한편이 아니니 가장 간단하게 자동화하고 싶은 마음에 GCP을 사용하기로 했다. 본 글에서는 GCP 서버를 세팅하여(자동화), kamis API에서 데이터를 주기적으로 데이터..