8/20데이터분석
2026년 8월 21일 공유
통계 분석의 기본 원리와 응용: 독립성/연관성, 상관분석, 회귀, ANOVA 등
개요
이 강의는 데이터 분석에서 자주 마주치는 통계적 검정과 모델링의 기본 원리를 폭넓게 다룬다. 독립성(연관성)의 개념과 그 해석 방법을 시작으로, 이원 교차표의 기대값과 관찰값 비교를 통한 독립성 검정(카이제곱 검정 및 관련 검정)의 원리, 가설 검정에서의 p-value 해석, 그리고 상관분석의 개념과 한계에 대해 설명한다. 이어서 회귀분석의 기본 아이디어와 가정(선형성, 독립성, 등분산성, 정규성)을 점검하는 방법, 그리고 모델의 유의성 검정(F-검정, C-검정, t-검정)과 사후 검정의 필요성에 대해 상세히 논의한다. 또한 분산분석(ANOVA)과 다중 비교, 래깅과 랭킹 기반 방법, 비정규 분포 데이터의 처리, 로그 변환과 비선형 관계를 다루는 접근법, 그리고 데이터 시각화의 중요성과 해석의 주의점에 대해 실제 사례와 함께 설명한다. 실무 맥락에서 AB 테스트, 마케팅 의사결정, 고객 데이터베이스의 변수 간 관계 해석, 그리고 데이터의 구조(노이즈, 이상치, 다중공선성, 시간 의존성)에 따른 분석 전략의 차이를 제시한다. 마지막으로 데이터의 해석에 있어 인과관계와 상관관계의 차이를 명확히 구분하고, 모델 선택 시 데이터 규모와 목적(설명 중심 vs 예측 중심)의 차이가 어떤 결과를 가져오는지에 대해 종합적으로 정리한다.
핵심 개념
- 독립성 vs 연관성: 두 변수 X와 Y가 서로 독립적(연관성이 없다)한지, 혹은 연관성이 있는지의 구분 및 해석 차이.
- 이원 교차표의 기대값: 두 변수의 독립성을 가정했을 때 각 셀에 기대되는 빈도.
- 자유도: 2x2 표의 경우 자유도는 1 등, 검정 통계의 해석에 필수적.
- 카이제곱 검정: 관찰 빈도와 기대 빈도 간의 차이를 이용해 독립성 여부를 판정.
- Fisher의 정확검정: 표의 셀 빈도가 작을 때 사용되는 대체 검정.
- 괴리의 해석 주의점: 독립성/연관성의 존재 여부는 확인하나, 인과관계를 입증하지 않음.
- 기대비율(R)은 회귀나 독립성 해석에서의 기준점으로 작동.
- 상관분석: 두 연속형 변수 간의 선형 관계를 측정하는 방법. Pearson 상관계수, Spearman 순위상관계수.
- 상관계수의 한계: 0에 가까운 상관계수라도 비선형 관계나 혼합 요인으로 인해 잘못 해석될 수 있음. 인과관계 아님.
- 회귀분석의 기본 아이디어: 종속변수 Y를 독립변수 X들의 선형결합으로 설명. 절편(Intercept)과 기울기(Coefficient)로 표현.
- 회귀 가정: 선형성, 독립성, 등분산성, 정규성. 잔차(오차)의 분포와 패턴 검사 필요.
- 다중선형회귀: 여러 독립변수(X1, X2, ... Xk)가 Y에 미치는 영향의 크기와 방향을 동시에 평가.
- 분산분석(ANOVA): 그룹 간 차이가 통계적으로 유의한지 판단. F-검정을 통해 그룹 간 변동과 그룹 내 변동의 비를 평가.
- 가설 검정의 프로세스: 귀무가설(H0)과 대립가설(H1)을 설정하고 p-value를 기준으로 판단. 귀무가설 기각 여부로 결론 도출.
- 사후 검정: 다수의 비교에서의 제2검정으로, 특정 비교 간 차이가 유의한지 추가 확인.
- 로지스틱/비선형 모델링의 필요성: 데이터의 구조에 따라 선형 모델이 부적합할 수 있으며, 로그 변환, 비선형 함수 도입 등을 고려.
- 데이터 품질과 샘플링의 중요성: 샘플의 대표성, 이상치, 등분산성, 독립성 여부가 분석 결과에 큰 영향을 미침.
- AB 테스트: 두 버전 간 평균 차이의 효과를 검정하는 실무적 방법. p-value와 신뢰구간으로 의사결정.
- 변환 및 스케일링의 필요성: 변수의 분포나 스케일 차이가 분석에 영향을 줄 수 있어 적절한 변환 필요.
- 해석의 주의점: 상관계수가 크더라도 인과관계를 입증하지 않으며, 모델의 일반화 가능성은 데이터의 양과 질에 달려 있음.
- 실무에서의 적용 방향: 데이터가 많아질수록 전통적 통계 기법의 엄격한 가정과 검정이 더 중요해지며, 머신러닝의 유연성과의 균형 필요.
상세 노트 (시간순 정리)
0:00 - 0:30
값이 표에서 계산되거나 표를 회전해 자율도(자유도?)에 따라 다르게 나타날 수 있는 구조를 검토한다. 그래프의 모양은 자율도에 따라 달라지므로, 표 안의 값으로 그래프를 통해 어느 정도의 성격이 나타날지 추정하게 된다. 이때 표에서의 값은 자율도에 따른 예측 성격으로 나타날 수 있다. 분할표에서 두 변수의 독립 여부를 판단하는 방향성을 다룬다.
0:30 - 1:01
- 검정에서의 독립적/연관성 표현은 다소 혼동될 수 있다. “독립적이다”와 “연관성이 없다”는 표현은 같은 맥락으로 사용되며, 이 관점은 학습해야 하는 암기 포인트로 제시된다.
- 자율도에 따른 뇌의 파일 형태(파일과 같은 성격)가 나타날 수 있으며, 대면(직접 관찰)으로 확인해야 한다는 점이 강조된다.
1:01 - 1:33
넷플릭스 구독 사례를 예로 들어 성별에 따른 드라마 구매 여부의 독립 여부를 확인하는 테스트를 설명한다. 관찰치와 기대치의 차이를 통해 독립성을 평가하고, 전체 비율이 일관되면 성별은 드라마 구매 여부에 영향을 주지 않는다는 해석이 가능하다는 점을 논의한다. 관측값(observed)과 기대값(expected)의 차이가 크면 연관성이 있을 가능성이 있다는 점도 지적된다.
1:33 - 2:03
- 기대도와 관찰도의 비교를 통해 독립 여부를 판단하는 일반 원리 요약. 기대비율과 실제 비율이 크게 다를 경우에만 의의가 있다고 주장하는 경향이 있다.
- 독립성 여부에 대한 해석은 방향성을 특정하지 않는다. 즉, 독립성 여부가 확정되더라도 원인과 결과의 방향성까지를 제공하지 않는다.
2:03 - 2:38
- 비만과 설탕 섭취의 과다, 음료의 탄산 등과의 관계를 예로 들며, 검정은 연관성의 존재 여부만 다루며 인과관계의 방향성이나 원인을 직접 밝히지 않는다는 점을 강조한다.
- 연관성이 있더라도 그 강도나 방향에 대한 구체적 크기(효과 크기)까지 바로 제시되지는 않는다고 설명한다. 검정은 상관 여부 자체를 판단할 뿐, 인과관계의 크기나 방향까지를 확정하지 않는다.
2:38 - 3:08
- 넷플릭스 사례를 확장해 데이터베이스에서 성별, 드라마 구매 여부, 시청 패턴 등을 구분해 분석하는 방법에 대해 논의한다.
- 데이터베이스 추출에서의 기대치 설정, 관찰치 비교, 차이의 크기와 유의성 판단의 흐름이 개략적으로 설명된다.
3:08 - 3:41
- 데이터 분석에서의 일반적 주의점, 정보의 수집 및 정리, 검정 방법의 적합성 여부를 판단하는 맥락을 다룬다.
- 분석의 방향성에 따라 데이터 구성과 검정 접근 방식이 달라질 수 있음을 지적한다.
3:41 - 4:15
- 데이터의 품질과 분석 도구의 선택에 대한 실무적 조언이 제시된다. 설탕 과다섭취와 비만과 같은 인과 이슈를 다루는 경우에도 검정이 인과를 증명하는 것이 아니라 연관성을 발견하는 도구임을 강조한다.
- 한국어 자료의 표현 차이, 데이터의 정합성, 분석 도구의 한계 등에 대한 실무적 주의가 요약된다.
4:15 - 5:00
(해당 구간은 교차 검정에 관한 논의의 확장과 예시 설명으로 구성되며, 실제 강의의 흐름에 따라 상관분석과 독립성 검정의 적용 맥락이 이어진다. 추가로 AB 테스트의 설계와 해석, 광고/마케팅 맥락에서의 의사결정 과정이 언급된다.)
5:00 - 6:00
- 상관분석의 기본 아이디어를 설명한다. 두 변수 간의 선형 관계를 측정하고, 상관계수의 크기가 강할수록 관계가 강하다고 해석하지만, 상관계수만으로 인과를 판단할 수는 없다고 강조한다.
- 상관계수의 해석에서의 주의점(비선형 관계, 외생변수의 영향, 극단값의 영향)을 지적하며, 시각화의 중요성을 강조한다.
6:00 - 7:00
- 피어슨 상관계수와 스피어만 상관계수의 차이점을 간략히 언급한다. 피어슨은 선형 관계에 초점을 맞추고, 스피어만은 순위 관계를 활용한다.
- 데이터의 분포가 정규에 가까울 때 피어슨이 적합하고, 비정규 분포나 이상치가 많을 때는 스피어만이 더 견고할 수 있다.
7:00 - 8:00
- 상관분석의 검정과 신뢰구간, p-value의 해석에 대해 다룬다. 상관계수의 통계적 유의성은 p-value로 판단되지만, 결국 인과관계의 증명이 아님을 재언급한다.
- 데이터의 샘플 크기와 분포에 따라 p-value의 해석이 달라질 수 있음에 주의한다.
8:00 - 9:00
- 회귀분석으로 넘어가 단순 선형회귀의 기본 구조를 논의한다. Y = β0 + β1X 형태의 모델과 그 해석, 절편과 기울기의 의미를 설명한다.
- 잔차분석의 필요성과 잔차 그래프를 통해 모델 가정의 위반 여부를 확인하는 방법을 간략히 소개한다.
9:00 - 10:00
- 다중선형회기에서의 변수 선택과 다중공선성의 문제를 다룬다. 각 변수의 유의성(유의한지 여부)에 따라 모델의 구성과 해석이 달라진다.
- 변수 제거의 필요성은 단순히 유의성만으로 결정되지 않으며, 예측 정확도와 해석의 용이성 사이에서 균형을 잡아야 한다고 지적한다.
10:00 - 11:00
- 회귀의 모델 평가 지표로 R^2(결정계수)와 F-검정의 중요성을 짚는다. R^2는 설명력을 나타내지만 단순 선형 회기의 경우에만 강하게 의존하진 않는다고 설명한다.
- 다중회귀에서의 R^2 해석의 한계와 과적합 위험성에 대해 논의한다.
11:00 - 12:00
- 회귀 분석의 가정 검정에 대해 구체적으로 설명한다. 정규성, 등분산성, 독립성의 확인 방법과 각 가정에 문제가 있을 때의 대처법(로그 변환, 비선형 모델링 등)을 다룬다.
- 잔차의 분포와 잔차-적합값 패턴의 시각적 점검의 중요성을 강조한다.
12:00 - 13:00
- F-검정, t-검정, C-검정 등 각 검정의 목적과 적용 상황을 구별한다. 예를 들어 하나의 독립변수에 대한 단순회기에서의 검정과, 다중 독립변수일 때의 검정 차이를 설명한다.
- 각 검정에서의 귀무가설과 대립가설의 의미를 명확히 구분하도록 강조한다.
13:00 - 14:00
- 사후 검정의 필요성과 일반적인 접근법을 소개한다. 다중 비교에서의 제2검정이 왜 필요한지, 방법론적 고려사항(가정, 샘플 크기, 검정의 독립성)을 논의한다.
14:00 - 15:00
- ANOVA의 기본 아이디어를 다루고, 그룹 간 차이가 통계적으로 유의한지 판단하는 흐름과 F-통계량의 해석을 제시한다.
- 그룹 간 차이의 존재 여부가 설명력에 미치는 영향과, 설계의 균형성(등분산성) 여부의 중요성을 논의한다.
15:00 - 16:00
- 비정규 분포 데이터의 처리 및 랭킹 기반 방법(랭킹 상관, 랭킹 기반 회귀)의 필요성을 제시한다. 데이터의 구조에 따라 적절한 방법을 선택하는 중요성을 강조한다.
- 비모수 검정의 필요성과 대표적 방법들에 대한 간략한 안내를 제공한다.
16:00 - 17:00
- AB 테스트 설계의 핵심 포인트를 다시 정리한다. 랜덤화의 필요성, 샘플 크기 결정의 중요성, 효과의 크기 및 신뢰구간의 해석을 다룬다.
- 실무에서의 적용 예시를 통해, 데이터 분석가로서 어떤 상황에서 어떤 도구를 사용할지 판단하는 능력의 필요성을 강조한다.
17:00 - 18:00
- 머신러닝/딥러닝과의 관계를 간략히 언급한다. 데이터의 양이 많아지면 통계적 가정의 엄격함과 해석의 중요성이 여전히 남아 있으며, 자동화된 모델이 항상 최선의 해답은 아님을 지적한다.
- 데이터를 해석하는 프레이밍의 중요성, 프레이밍에 따라 테스트와 해석이 달라질 수 있음을 강조한다.
18:00 - 19:00
- 데이터의 신뢰도와 재현성의 중요성을 다시 한 번 강조하며, 데이터 수집의 편향과 누락 데이터의 문제, 불완전한 모집단으로부터의 추정이 가지는 한계를 지적한다.
- 실제 적용에서 데이터의 대표성과 검정의 확정성 사이의 균형을 찾아야 한다는 점을 강조한다.
19:00 - 20:00
- 강의의 전반적 요약으로, 상관분석과 회귀, 분산분석 등의 기본 도구들이 실무에서 어떻게 상호보완적으로 쓰이는지 재확인한다.
- 마지막으로, 데이터 분석가는 어떤 문제에 어떤 검정과 모형을 적용할지에 대해 현장 상황에 맞춘 판단력과 유연성을 가져야 한다는 메시지를 남긴다.
21:00 이후
- 데이터 분석의 현장 적용과 실무 맥락, 데이터의 품질 관리, 모델의 설명력과 예측력 사이의 트레이드오프, 그리고 데이터 사이언스 교육의 방향성에 대한 논의가 구두로 이어지며, 본 강의의 핵심 프레이밍이 마무리된다.
중요한 takeaway
- 상관분석은 두 변수 간의 관계를 설명하는 도구이지만 인과를 증명하지 않으며, 데이터의 구조와 가정에 따라 해석이 달라진다. 회귀와 ANOVA는 변수 간의 관계를 설명하려는 도구들이고, 가정 위반 시에는 데이터 변환이나 비선형 모델, 비모수 방법으로 접근해야 한다. 실무에서는 AB 테스트와 같은 의사결정 도구를 통해 실제 효과를 확인하고, 데이터의 품질과 구조에 따라 적합한 분석 방법을 선택하는 판단력이 필요하다.