지지플랏의 DataScience

1. 도입글또 10기가 다시 시작되었다. 8기가 시작한게 23년 1월이니 거의 만 2년에 가까워지는 것 같다. 글또에서 글을 쓰고자고 결심한 이유는 일을하면서 문서의 힘을 경험하면서이다. 결국 다수의 사람들이 커뮤니케이션 하기 가장 기본적은 매체는 글과 문서이라고 느껴졌다. 그렇게 퇴사를 하고 개인사업을 진행하면서 내가 필요한 지식을 Hard Copy 혹은 인터넷에서 수집하는 도중 충격받은 블로그가 하나 있다.https://recipesds.tistory.com/ 친절한 데이터 사이언티스트 되기 강좌Data Recipes (통계에서 머신러닝까지) 여기는 데이터사이언티스트가 되고 싶은 분들에게 기본적으로 알아야하는 것들을 널리 이롭게 알리고자 하는 곳예요. 강의실전체Map을 참고하세요!! ★ by 히rec..

지난 글에서는 선형회귀분석을 사용하여 교란요인을 보정하는 방법과 온라인 실험상에서의 활용 방법을 알아보았습니다. 이번에는 또 다른 편향 방법 중 하나인 성향 점수 가중치(propensity weighting)에 대해서 알아보고 실제 예시로 구현해보겠습니다.1. 글목차매칭의 필요성매칭의 정의방법1: 성향점수(PS)방법2: 역확률 가중치(IPW)2. 본문2.1. 매칭(Matching)의 필요성교육프로그램의 효과를 측정하기 위해서 교육과정에서 얻은 데이터가 있습니다. 우리의 목적은 교육을 받은 사실(처치변수)과 직원 참여도(결과변수) 간의 인과관계를 추정하여 실제적으로 교육 프로그램이 효과가 있는지 확인할 예정입니다.navie하게 단순성형회귀로  표준화된 참여점수(종속변수) ~ 처치변수(독립변수)에 관한 회귀..

지난 글에서는 온라인통제 실험상에서의 인과추론과 선형회귀모델을 적용하는 방법에 대해서 알아보았다. 이번 글은 선형회귀가 어떻게 무작위 배정을한 것처럼 보이게 할 수 있는지 원리와 그 기반에 되는 직교화의 개념, FWL 방법론에 대해서 작성해본다! 1. 글목차조건부 독립성직교화: 기하학 관점선형회귀관점에서의 직교화: FWL더미변수를 이용한 회귀 분석심슨의 역설2. 본문지난 글에서는 무작위 배정을 통한 교란변수의 통제가 중요하다는 것을 알았다. 하지만, RCT가 불가능하거나 어려운 상황 예컨데, 은행에서 고객들의 대출을 빌려주는 상황에서는 어떻게 처치변수(신용한도)가 채무불이행(결과변수)에 미치는 영향을 정량화 할 수 있을까?  실무로 통하는 인과추론 책 4단원에서는 선형회귀를 통한 방법론을 설명하고 있다...

1장에서는 인과추론의 소개, 2장에서는 RCT의 중요성과 기초 통계개념 그리고 3장에서는 인과관계를 표현하는 그래프 인과모델에 대해서 알아보았다. 이번 장에서는 인과관계를 추론하는데 아주 중요한 회귀분석을 알아본다. 회귀분석은 데이터 분석에서 접할 수 있는 가장 간단하지만 파워풀한 통계방법론으로 편향을 줄이는 방법에서도 유용하다. 또한, 온라인 마케팅 모델에서의 실용적인 사례도 알아본다.1. 글목차A/B test 결과 회귀분석 적용온라인 마케팅에서의 회귀분석2. 본문2.1. A/B test 결과 회귀분석 적용온라인 스트리밍 서비스를 하는 회사에서 새로운 추천시스템을 개발했고 이를 측정하기 위해서 A/Btest를 수행했다. 이를 단순집계와 선형회귀의 결과로 표현해보자.import pandas as pdda..

본격적으로 인과추론을 위한 언어인 그래프 모델에 대해서 알아본다. 그래프 모델은 기본적으로 사슬구조, 분기구조, 충돌구조를 개념으로 설명한다.  또한,  교랸편향과 선택편향에 알아 본다. 1. 글목차그래프 인과모델그래프 구조: 사슬, 분기, 충돌구조교란편향선택편향2. 본문2.1. 그래프 인과모델1장에서는 인과추정량의 정의, 2장에서는 인과추론을 하기 위한 온라인통제 실험과 기초통계지식에 대해서 알아보았다.  3장에서는 인과추론의 식별과 추정 2단계 중에서 식별에 대한 내용을 더 깊게 들어간다. 식별은 문제가 언어추론의 식으로 표현될 수 있는지 판단하는 단계이며, 추정은 데이터를 사용하여 인과 효과 값을 계산하는 단계이다. 수식이 수학의 언어이듯 인과추론에서는 수식에 더하여 그래프로 설명하는데 그 개념을 ..

지난 글에서는 인과추론의 개념과 등장하는 지표에 대해서 알아보았다. 또한, 어떤 처치를 주었을 때와 주어지지 않은 경우를 동시에 관측할 수 없는 상황이 있는 것도 이해했다.  이번 단원에는 극복하기 위한 방법 중 하나로 무작위 배정 실험과 함께 유의수준, p-value 등 기초 통계 개념도 정리한다. 1. 글목차온라인 통제 실험(OCE)무작위 통제 실험(RCT)수식으로 알아보는 무작위 배정의 효과불확실성 반영하기 1: 표본오차와 신뢰구간불확실성 반영하기 2 : 가설검정표본 크기 계산 2. 본문2.1. 온라인 통제 실험(OCE)이전 글에서 평균처치효과(ATE)를 통해 처지에 대한 추정량을 측정할 수 있으며 이를 위해서 실험군과 대조군이 교환가능성이 존재해야한다는 사실을 획득했다.이 교환가능성을 확보하기 위..

인과관계는 데이터 분석을 입문할 때 항상 등장하는 개념이다. 단순히 "상관관계와 헷갈리지 말자!! 도메인지식을 활용하자!" 라는 성급한 마무리로 인과관계를 밝혀내고 측정하는 방법에 대해서는 넘겨 버린 것이 사실이다. 이번에 실무로 통하는 인과추론 책을 스터디하면서 공부하는 내용을 정리할 예정이다. 1. 글목차인과추론의 기본 개념인과 추론을 위한 기본 수식과 기호인과 추정량2. 본문  2.1. 인과추론의 기본 개념 인과추론(Casual Inference)란 무엇인가? 두 변수 $X_{1}, X_{2}$의 상관관계를 알았다고 하자. 하지만 두 변수가 바로 원인과 결과로 속단하긴 어렵다. $X_{1}$이 원인 $X_{2}$가 결과일 수 도 있고 그 반대의 경우일 수 도 있다. 반면 둘 다 원인의 결과가 아닌 ..

데이터 사이언스라는 분야는 앞으로도 건재할까? IT 직군의 데이터분석가는 AI 시대에 영속할까? 아니면 없어지게 될까. 데이터 직군이 나아가야 할 방향을 고민해본 내용을 정리해본다. 1. 글 목차데이터 사이언스는 없어질까?데이터 분석가 직군은 없어질까?기업 사례로 본 데이터직무의 역할데이터 직군은 왜 진입하기 어려운가?앞으로 데이터 분석가의 방향성은?기타) DS & 배포 Framework2. 본문2022년 ChatGPT가 발표된 뒤로 IT업계는 AI에 대한 화두를 빼놓은 발표주제가 없다시피 하다. 데이터 분석가는 직군은 어떻게 변모할 것인가에 대한 고민을 모아 이 글에 풀어 넣어본다.2.1. 데이터 사이언스는 없어질까?No. 데이터 사이언스라는 말이 유창하긴 하지만 기존에 데이터 기반으로 의사결정으로 하..