지지플랏의 DataScience

예상독자 데이터를 주기적으로 수집하는 자동화를 구현하고 싶은 데이터 엔지니어, 분석가, 개발자 목차 글의 개요 GCP 셋업 GCP 인스턴스 만들기 빅쿼리 연결 자동화 익히기 Linux 스케쥴러 Cron 알아보기 Hello world 출력하는 실행파일 만들기 OPEN API 데이터 빅쿼리에 저장 자동화하기 깃 설치 및 환경설정 파이썬 가상환경 설정 및 패키지 설치 스크립트 실행 및 자동화 태우기 1. 글 개요 데이터 수집부터 시작하고자하는 데이터 직무라면 파이프라인에 대해서 고민하게 될 것이다. 다양한 방법이 있겠지만 나는 그렇게 부지런한편이 아니니 가장 간단하게 자동화하고 싶은 마음에 GCP을 사용하기로 했다. 본 글에서는 GCP 서버를 세팅하여(자동화), kamis API에서 데이터를 주기적으로 데이터..

이글을 쓰게된 이유 부트캠프에서 자동화 강의를 준비하다보니 생각보다 컴퓨터 기본 하드웨어 지식이 부족한 사람들이 많다. 컴퓨터 내에 덕지덕지 RAM을 차지하고 있는 프로그램이 있는지 모르고 쓴다던지... 컴퓨터를 어떤 사양의 기준으로 사야할지 등등 그래서 GCP 서버 구축하는 법을 알려줄 겸 기본적인 하드웨어 지식과 함께 강의한 내용을 정리 해보려고 한다. 예상독자 Computer Science 지식이 전무한사람 1. 운영체제란 회사를 입사하게 된다면 IT직군에 한하여 맥북 vs 윈도우 노트북의 양자택일 선택지가 주어진다. (물론 선택지가 없는 경우도 많지만). 사실 이 경우 운영체제가 가장 중요한 기준이 될 것이다. 근데 운영체제가 뭐냐고 한다면.. 운영체제(OS, Operating System): 컴..

예상독자 LLM 서비스 활용방법을 알아가려는 사람 Langchain, Pandas AI를 활용하려는 사람 1. 대 LLM 시대 LLM이란? Large Language Model의 약자로 거대 언어모델입니다.ChatGPT 서비스가 등장한 22년 12월보다 훨씬 전에 지속적인 언어모델의 발전이 있었습니다. 최근에는 ChatGPT뿐 아니라 다양한 서비스가 있습니다. Chat GPT: OPEN AI가 만든 대 LLM 시대를 만든 서비스. 다양한 API를 제공하는 것이 특징 Claude: Anthropic에서 만든 LLM으로 최근 각광받음 https://modulabs.co.kr/blog/anthropic-claude-3-0/ Claude 3.0: Anthropic의 AI 혁명, 새로운 지평을 열다 GPT-4보다..

예상독자 로컬 머신와 빅쿼리를 연결해보고 싶은 독자 데이터 적재 자동화를 동해 태블로에 시각화하고 싶은 독자 1. 배경 데이터분석을 넘어 데이터 파이프라인을 만들어 자동화를 하는 경우가 생긴다. 제일 좋은 것은 데이터 엔지니어 혹은 개발자에게 요청하는 것이겠지만 prototype 혹은 나만의 product를 만드는 관점에서 진행해보고자 한다. GCP 혹은 AWS와 같은 서버(인스턴스)를 생성하여 서버를 사용하는 법이 있긴 하지만 초보자들에게는 서버관리의 어려움도 있고 삽질을 조금 해야해서 최대한 간단한 방법인 google SDK 를 이용해서 big query에 데이터를 저장하는 방법을 알아보겠다. 본 글에서 구현하고자하는 기능은 다음과 같다. Google Cloud Storage 로그인 Google Cl..

예상 독자 시계열 데이터 분석을 입문해보자 하는 사람 Python의 기본을 알고 있고 머신러닝을 접해본 사람 1. 들어가며 시계열 데이터는 말그대로 시간의 정보를 가지고 있는 데이터를 말합니다. 시간마다 측정된 관측치 값(일일 매출량, 재고량, 판매 수익)등을 예측하기 위한 시도는 과거로부터도 관심이 많았습니다. 미리 정보를 알 수가 있다는 것은 그만큼 경영전략을 미리 세울 수 있는 장점이 있기 때문입니다. 시계열의 메인 관점은 다음과 같습니다. 과거가 미래에 어떤 영향을 주는가? 2. 머신러닝 모델과 시계열 모델의 차이 사실 시계열은 머신러닝의 부분 집합이지만 모델링 과정이 살짝 이질적이기 때문에 따로 공부하는 경우가 많습니다. 본 글에서는 머신러닝과 시계열 모델을 구별해서 명명하겠습니다. 대표적으로 ..

오늘은 준비하고 배울것들을 주제로 데이터분석가가 뻗어나갈 수 있는 Scope에 대해서 작성해보고자 한다. 배경설명 2018년에 데이터분야를 입문하고 의료데이터 분석을 거쳐 이제 5년차를 접어들고 있는 분석가이다. 요즘은 부트캠프에서 학생들에게 튜터링을 진행하고 있는데 나는 당연하다고 생각했던 지식들이 입문자들에게는 어렵고 어떻게 배울지 모르는 부분이 많은 것 같다. 이부분은 고찰해보고 추후 특강 자료로 활용할 생각이다. 예상독자는 데이터분석을 입문하려는 취업준비생이다. 본문 1. 기본 통계지식 통계라는 단어는 무겁고 그 깊이가 끝이 없는 학문이라 어디까지 배워야한다는 다들 다양한 관점이 있을 수 있으나, 적어도 분석을 수행하기 위한 최소한의 기준은 있는 듯하다. 나는 다음 학습을 권하는 편이다. 관련 학..

글의 목적 데이터 분석은 self serving부터 시작한다는 가치관을 가지고 일을 하다 보니 엔지니어링 프레임워크 관심을 두게 되었다. 이런 흐름을 반영하듯 Analytic Engineer 직무가 최근에 국내 기업에도 도입되고 있는 것 같아서 구직활동 겸 공부해본다. 대상독자 Analytic Engineer에 관심 있는 현직자, 취준생 데이터 분야에 흐름이 궁금한 개발/데이터 직군 1. Analytics Engineer(AE) 출현배경 데이터의 저장비용하락과 처리기술의 발전으로 빅데이터 직군이 태동하면서 빅데이터 관련 직무들이 많이 파생되어 가는 것은 잘 알려진 사실이다. 이 부분은 성윤님의 유튜브에서 잘 설명된 장표가 있어서 대체한다. 데이터 산업이 발전함에 따라 기존의 세부직군도 회사에 따라 재정의..

1. 글의 목적 종종 데이터 부트캠프에 강사로 참여하다 보면 알고리즘 강의를 해달라는 요청을 받는다. 알고리즘이란 무엇인지 그리고 분석가가 배우면 좋은 점은 어떤 이득이 있는지 작성해본다. 2. 예상독자 데이터 직무에 진입하려는 입문자 알고리즘을 간단하게 알아보고자 하는 사람 3. 본문 도대체 알고리즘이 뭐고 왜 쓰이는가? 알고리즘은 쉽게 말하면 개발자의 수능, 적성문제이다. 프로그래밍이라는 실력의 척도를 측정하기 위한 하나의 도구로 컴퓨터 과학에 등장하는 알고리즘이 발전되어왔다. 알고리즘을 잘한다고 프로그래밍 실력을 보장하진 않지만 어느정도 최소치를 만족하기에 입사시험으로 쓰고 있는 것이다. 그럼 분석가가 알고리즘을 왜 배워야 하는가? 1. 단적인 예!: 누군가에게 아쉬운 소리(특히 개발자에게) 하지 ..