지지플랏의 DataScience

데이터 사이언스라는 분야는 앞으로도 건재할까? IT 직군의 데이터분석가는 AI 시대에 영속할까? 아니면 없어지게 될까. 데이터 직군이 나아가야 할 방향을 고민해본 내용을 정리해본다. 1. 글 목차데이터 사이언스는 없어질까?데이터 분석가 직군은 없어질까?기업 사례로 본 데이터직무의 역할데이터 직군은 왜 진입하기 어려운가?앞으로 데이터 분석가의 방향성은? 기타) DS & 배포 Framework2. 본문2022년 ChatGPT가 발표된 뒤로 IT업계는 AI에 대한 화두를 빼놓은 발표주제가 없다시피 하다. 데이터 분석가는 직군은 어떻게 변모할 것인가에 대한 고민을 모아 이 글에 풀어 넣어본다. 2.1. 데이터 사이언스는 없어질까? No. 데이터 사이언스라는 말이 유창하긴 하지만 기존에 데이터 기반으로 의사결정으..

이번 글은 Khan Acadmey 마지막 단원인 14 ~ 16단원에 해당하는 카이제곱 분포와 검정방법 3가지(적합도, 독립성, 동질성), 분산분석에 대해서 다룬다. 예시로 쉽게 알아보고 Python 코드를 이용해서 적용해보자.1. 글목차카이제곱 분포카이제곱 검정: 적합도, 독립성, 동질성 검정F 분포분산분석2. 본문2.1. 카이제곱 분포카이제곱분포이란 무엇인가?  표준정규분포를 따르는 $Z \sim N(0,1^{2})$변수의 그림을 떠올려 보자. 이를 제곱한 분포를 그려보자.  새로운 분포인 $\chi^{2}  = Z^{2}$라고 표현할 수 있다. 표준정규분포는 평균이 0 이고 표준편차가 1인 분포를 따르기 때문에 이를 제곱한 결과는 0에 대부분 쏠려 있을 것이다. 반면  평균이 0 이지만 0을 벗어난 ..

이번 글에서는 추론통계의 핵심 유의성 검정과 등장하는 개념, 그리고 일반적인 통계방법론을 정리해본다.1. 글목차유의성 검정에 필요한 개념1종오류와 2종오류유의성 검정 절차통계검정 절차(Diagram) -연속형 종속변수인 경우, 일반적인 경우2. 본문 2.1. 유의성 검정의 개념유의성검정은 연구나 실험에서 관찰된 결과가 우연에 의한 것인지 아니면 실제로 의미있는 차이가 존재하는지를 판단한다는 것이다. 이를 위해 몇가지 기본 개념을 설명하고 진행해야한다. 귀무가설($H_{0}$): 일반적으로 받아들여지는 사실대립가설($H_{1}$): 주장하고자 하는 바(귀무가설의 반대)왜 귀무가설을 상정해야하는가?  수학의 증명방법 중에 귀류법 이라는 것이 있다. 모순에 의한 논증법으로 일단 귀무가설이 사실이라고 치자. 그..

11단원에서는 정규분포하에서의 신뢰구간을 구하는 방법에 대해서 논한다. 1. 글목차모평균과 모비율이 중요한 이유모비율 추론모평균 추론 2. 본문2.1. 모평균과 모비율이 중요한 이유모평균은 전체 모집단의 평균이다. 우리가 관심있는 변수 (ex 키, 소득, 점수)등에 대한 전체 모집단에 일반적인 수준을 이해하는데 도움이 되는 대표적인 지표이다.모비율은 전체 모집단에서 발생하는 비율이다.(ex 후보를 지지하는 비율) 통계학의 중요한 목표 중 하나는 표본으로 부터 모집단에 대한 결론을 도출하는 것이다. 모평균과 모비율에 대한 추정은 이를 기반하기 위한 근거가 될 수 있다. 또한, 모평균과 모비율은 정확히 아는 것을 불가능에 가깝기 때문에 신뢰구간을 설정함으로서 특정 범위 내에 있는 확률을 제공하게 된다. 신뢰..