지지플랏의 DataScience

9월 2일부터 2달간 진행된 인과추론 스터디에 대한 후기를 남깁니다. 작년에 워낙 핫한 분야이기도 하였고, 마냥 쉽지 않을거라 생각했지만 이때 아니면 언제 공부해보겠는가라는 생각으로 진행했습니다. 매주 Chapter를 학습하고 개념들을 정리하면서 블로깅까지 마무리를 했습니다. 1. Keep블로그에 Latex문법을 쓰면서 꽤나 속도가 늘었습니다. 이제는 손으로 쓰는것보다 Latex문법이 편할 정도입니다. Notion 역시 Latex 문법을 지원하기 때문에 공부 자료를 정리하기가 매우 좋아져서 만족합니다.책에 함축된 개념들이 많아서 한 번이 아닌 이틀에 걸쳐서 반복해서 읽고 데이터의 인과추론 유튜브를 보면서 복습을 했습니다. 모호하던 개념들이 정리가 되는 점이 좋았습니다.스터디 참여원들에게 알려주면서 스스로..

지난 글에서는 선형회귀분석을 사용하여 교란요인을 보정하는 방법과 온라인 실험상에서의 활용 방법을 알아보았습니다. 이번에는 또 다른 편향 방법 중 하나인 성향 점수 가중치(propensity weighting)에 대해서 알아보고 실제 예시로 구현해보겠습니다.1. 글목차매칭의 필요성매칭의 정의방법1: 성향점수(PS)방법2: 역확률 가중치(IPW)2. 본문2.1. 매칭(Matching)의 필요성교육프로그램의 효과를 측정하기 위해서 교육과정에서 얻은 데이터가 있습니다. 우리의 목적은 교육을 받은 사실(처치변수)과 직원 참여도(결과변수) 간의 인과관계를 추정하여 실제적으로 교육 프로그램이 효과가 있는지 확인할 예정입니다.navie하게 단순성형회귀로  표준화된 참여점수(종속변수) ~ 처치변수(독립변수)에 관한 회귀..

지난 글에서는 온라인통제 실험상에서의 인과추론과 선형회귀모델을 적용하는 방법에 대해서 알아보았다. 이번 글은 선형회귀가 어떻게 무작위 배정을한 것처럼 보이게 할 수 있는지 원리와 그 기반에 되는 직교화의 개념, FWL 방법론에 대해서 작성해본다! 1. 글목차조건부 독립성직교화: 기하학 관점선형회귀관점에서의 직교화: FWL더미변수를 이용한 회귀 분석심슨의 역설2. 본문지난 글에서는 무작위 배정을 통한 교란변수의 통제가 중요하다는 것을 알았다. 하지만, RCT가 불가능하거나 어려운 상황 예컨데, 은행에서 고객들의 대출을 빌려주는 상황에서는 어떻게 처치변수(신용한도)가 채무불이행(결과변수)에 미치는 영향을 정량화 할 수 있을까?  실무로 통하는 인과추론 책 4단원에서는 선형회귀를 통한 방법론을 설명하고 있다...

1장에서는 인과추론의 소개, 2장에서는 RCT의 중요성과 기초 통계개념 그리고 3장에서는 인과관계를 표현하는 그래프 인과모델에 대해서 알아보았다. 이번 장에서는 인과관계를 추론하는데 아주 중요한 회귀분석을 알아본다. 회귀분석은 데이터 분석에서 접할 수 있는 가장 간단하지만 파워풀한 통계방법론으로 편향을 줄이는 방법에서도 유용하다. 또한, 온라인 마케팅 모델에서의 실용적인 사례도 알아본다.1. 글목차A/B test 결과 회귀분석 적용온라인 마케팅에서의 회귀분석2. 본문2.1. A/B test 결과 회귀분석 적용온라인 스트리밍 서비스를 하는 회사에서 새로운 추천시스템을 개발했고 이를 측정하기 위해서 A/Btest를 수행했다. 이를 단순집계와 선형회귀의 결과로 표현해보자.import pandas as pdda..

본격적으로 인과추론을 위한 언어인 그래프 모델에 대해서 알아본다. 그래프 모델은 기본적으로 사슬구조, 분기구조, 충돌구조를 개념으로 설명한다.  또한,  교랸편향과 선택편향에 알아 본다. 1. 글목차그래프 인과모델그래프 구조: 사슬, 분기, 충돌구조교란편향선택편향2. 본문2.1. 그래프 인과모델1장에서는 인과추정량의 정의, 2장에서는 인과추론을 하기 위한 온라인통제 실험과 기초통계지식에 대해서 알아보았다.  3장에서는 인과추론의 식별과 추정 2단계 중에서 식별에 대한 내용을 더 깊게 들어간다. 식별은 문제가 언어추론의 식으로 표현될 수 있는지 판단하는 단계이며, 추정은 데이터를 사용하여 인과 효과 값을 계산하는 단계이다. 수식이 수학의 언어이듯 인과추론에서는 수식에 더하여 그래프로 설명하는데 그 개념을 ..

지난 글에서는 인과추론의 개념과 등장하는 지표에 대해서 알아보았다. 또한, 어떤 처치를 주었을 때와 주어지지 않은 경우를 동시에 관측할 수 없는 상황이 있는 것도 이해했다.  이번 단원에는 극복하기 위한 방법 중 하나로 무작위 배정 실험과 함께 유의수준, p-value 등 기초 통계 개념도 정리한다. 1. 글목차온라인 통제 실험(OCE)무작위 통제 실험(RCT)수식으로 알아보는 무작위 배정의 효과불확실성 반영하기 1: 표본오차와 신뢰구간불확실성 반영하기 2 : 가설검정표본 크기 계산 2. 본문2.1. 온라인 통제 실험(OCE)이전 글에서 평균처치효과(ATE)를 통해 처지에 대한 추정량을 측정할 수 있으며 이를 위해서 실험군과 대조군이 교환가능성이 존재해야한다는 사실을 획득했다.이 교환가능성을 확보하기 위..

인과관계는 데이터 분석을 입문할 때 항상 등장하는 개념이다. 단순히 "상관관계와 헷갈리지 말자!! 도메인지식을 활용하자!" 라는 성급한 마무리로 인과관계를 밝혀내고 측정하는 방법에 대해서는 넘겨 버린 것이 사실이다. 이번에 실무로 통하는 인과추론 책을 스터디하면서 공부하는 내용을 정리할 예정이다. 1. 글목차인과추론의 기본 개념인과 추론을 위한 기본 수식과 기호인과 추정량2. 본문  2.1. 인과추론의 기본 개념 인과추론(Casual Inference)란 무엇인가? 두 변수 $X_{1}, X_{2}$의 상관관계를 알았다고 하자. 하지만 두 변수가 바로 원인과 결과로 속단하긴 어렵다. $X_{1}$이 원인 $X_{2}$가 결과일 수 도 있고 그 반대의 경우일 수 도 있다. 반면 둘 다 원인의 결과가 아닌 ..