데이터분석

1장에서는 인과추론의 소개, 2장에서는 RCT의 중요성과 기초 통계개념 그리고 3장에서는 인과관계를 표현하는 그래프 인과모델에 대해서 알아보았다. 이번 장에서는 인과관계를 추론하는데 아주 중요한 회귀분석을 알아본다. 회귀분석은 데이터 분석에서 접할 수 있는 가장 간단하지만 파워풀한 통계방법론으로 편향을 줄이는 방법에서도 유용하다. 또한, 온라인 마케팅 모델에서의 실용적인 사례도 알아본다.1. 글목차A/B test 결과 회귀분석 적용온라인 마케팅에서의 회귀분석2. 본문2.1. A/B test 결과 회귀분석 적용온라인 스트리밍 서비스를 하는 회사에서 새로운 추천시스템을 개발했고 이를 측정하기 위해서 A/Btest를 수행했다. 이를 단순집계와 선형회귀의 결과로 표현해보자.import pandas as pdda..

인과관계는 데이터 분석을 입문할 때 항상 등장하는 개념이다. 단순히 "상관관계와 헷갈리지 말자!! 도메인지식을 활용하자!" 라는 성급한 마무리로 인과관계를 밝혀내고 측정하는 방법에 대해서는 넘겨 버린 것이 사실이다. 이번에 실무로 통하는 인과추론 책을 스터디하면서 공부하는 내용을 정리할 예정이다. 1. 글목차인과추론의 기본 개념인과 추론을 위한 기본 수식과 기호인과 추정량2. 본문  2.1. 인과추론의 기본 개념 인과추론(Casual Inference)란 무엇인가? 두 변수 $X_{1}, X_{2}$의 상관관계를 알았다고 하자. 하지만 두 변수가 바로 원인과 결과로 속단하긴 어렵다. $X_{1}$이 원인 $X_{2}$가 결과일 수 도 있고 그 반대의 경우일 수 도 있다. 반면 둘 다 원인의 결과가 아닌 ..

예상독자로컬 머신와 빅쿼리를 연결해보고 싶은 독자데이터 적재 자동화를 동해 태블로에 시각화하고 싶은 독자1. 배경데이터분석을 넘어 데이터 파이프라인을 만들어 자동화를 하는 경우가 생긴다. 제일 좋은 것은 데이터 엔지니어 혹은 개발자에게 요청하는 것이겠지만 prototype 혹은 나만의 product를 만드는 관점에서 진행해보고자 한다. GCP 혹은 AWS와 같은 서버(인스턴스)를 생성하여 서버를 사용하는 법이 있긴 하지만 초보자들에게는 서버관리의 어려움도 있고 삽질을 조금 해야해서 최대한 간단한 방법인 google SDK 를 이용해서 big query에 데이터를 저장하는 방법을 알아보겠다. 본 글에서 구현하고자하는 기능은 다음과 같다.Google Cloud Storage 로그인Google Cloud SD..

실제로 데이터분석을 한다는것은왼쪽에 합법과 오른쪽에 불법 그사이를 저울질하며 건너는 것이라고 교수님이 그러셨다. 데이터분석에 결심하고 몸담은지도 5개월째. 그말이 조금은 와닿는것같다.분석하고자 보험사에 뛰어든지도 2주이건만 사실상 그동안 한것 변수탐색, 테이블 요청 그리고 최종적으로 받은 JOIN된 테이블이다. 누군가 소중히 모았던 데이터를 한순간에 받을 순없겠지만 그 장벽과 권한 권한 권한이 필요하다는 걸 몸소느끼는중이다.누군가는 간절히 바래왔던 기회고 정리였을테니 소중한 순간임을 기억하고 최선을 다해야겠다. 더불어 지난 5개월동안 진짜 많이 배웠음을.. 하지만 더중요한것은 배움이 아닌 실습과 프로젝트임을 더욱 느낀다.