3과목 데이터 분석

1장. R 기초와 데이터 마트

데이터 마트(Data Mart)

• 데이터 웨어하우스에서 사용자가 관심 있는 데이터를 주제별·부서별로 뽑아 만든 비교적 작은 규모의 데이터 웨어하우스

flowchart LR
  A[RDBMS] --> DW[데이터 웨어하우스]
  B[클라우드] --> DW
  C[NoSQL] --> DW
  DW --> M1[데이터 마트: 목적1]
  DW --> M2[데이터 마트: 목적2]
  DW --> M3[데이터 마트: 목적3]

흐름: 여러 데이터베이스의 데이터가 DW로 모이고, DW의 데이터가 목적별 데이터 마트로 나뉘어요.

데이터 전처리

• 크게 결측값 처리와 이상값 처리로 이루어져요.
• 분석 변수 처리 과정: 변수 선택, 차원 축소, 파생변수 생성, 변수 변환, 클래스 불균형(불균형 데이터) 처리

결측값 대치 방법

보충: 교재에 따라 결측값 행 삭제를 완전 분석법(Complete Analysis)이라 부르고, 단순 대치법(Single Imputation)을 완전 분석법·평균 대치법·단순 확률 대치법을 묶은 큰 분류로 설명하기도 해요.

이상값 판단

시험에 자주 나오는 R·계산 유형

코드를 직접 짜는 문제는 없고, 출력 해석과 간단한 계산 위주로 나와요.

R 결측값 관련 함수 (이번 장과 연결)

회귀분석 출력 `summary(lm(...))` 읽기

• Estimate: 회귀계수 (x가 1 늘 때 y의 변화량)
• Pr(>|t|): p-value, 0.05보다 작으면 그 변수가 유의함
• Multiple R-squared: 결정계수, 모형이 y를 설명하는 비율 (1에 가까울수록 좋음)
• F-statistic의 p-value: 모형 전체가 유의한지 판단

혼동행렬 지표 (TP, FP, FN, TN)

연관규칙 지표 (A → B)

2장. 통계분석

표본조사

• 모집단을 대표할 수 있는 표본집단을 골라 조사해요.
• 표본의 대표성을 믿을 수 있어야 통계 분석 결과도 믿을 수 있어요.

표본 추출 방법

• 비례 층화 추출법: 전체 데이터의 분포를 반영해서 각 층에서 추출
• 불비례 층화 추출법: 전체 분포를 반영하지 않고 각 층에서 원하는 개수만큼 추출

암기 팁: 집락과 층화는 반대예요. 층화는 층 안이 동질, 집락은 집락 안이 이질이에요.

측정과 척도

• 측정: 표본조사에서 추출한 원소나 실험 단위를 목적에 맞게 관측해서 자료를 얻는 것
• 척도: 관측 대상의 속성을 숫자로 바꾸기 위해 정한 규칙(도구)

기술통계와 추리통계

• 기술통계 (보충): 수집한 데이터를 평균, 분산, 그래프 등으로 요약·정리해서 설명하는 통계
• 추리(추론)통계: 표본에서 얻은 통계치로 오차를 고려해 모수를 확률적으로 추정하고, 일어날 사건을 예측하는 통계

확률 기초

• 확률: 표본공간(일어날 수 있는 모든 사건의 집합)에서 사건 A가 일어나는 비율. 0과 1 사이 값이고, 모든 사건의 확률을 더하면 1
• 조건부 확률: 사건 A가 일어났다는 전제에서 사건 B가 일어날 확률. P(B|A) = P(A∩B) / P(A)
• 독립사건: 서로 영향을 주지 않는 두 사건. P(A∩B) = P(A) × P(B) (예: 주사위 두 번 던지기)
• 배반사건: 교집합이 없어서 동시에 일어날 수 없는 사건. P(A∩B) = 0

확률변수와 확률분포

• 확률변수: 무작위 실험 결과를 숫자로 나타낸 변수 (예: 동전 앞면 1, 뒷면 0)
• 이산확률변수: 값을 셀 수 있음. 서로 배반인 사건들의 합집합 확률은 각 확률의 합
• 연속확률변수: 값이 특정 구간 전체라서 셀 수 없음. 확률밀도함수 아래 면적이 확률 (예: 신생아 몸무게, 강우량, 생존기간)
• 확률분포: 확률변수의 모든 값과 각 값의 확률이 어떻게 분포하는지 나타낸 것
• 확률함수: 이산형은 확률질량함수, 연속형은 확률밀도함수

이산확률분포

연속확률분포

추정

• 모수: 모집단의 특성을 나타내는 값 (모평균, 모분산 등). 보통 표본조사로 추정해요.
• 점추정: 모수를 하나의 값으로 추정. 모평균의 대표적인 불편추정량은 표본평균
• 불편추정량: 추정값과 실제 모수 차이의 기댓값이 0이라 한쪽으로 치우치지 않는 추정량
• 불편추정량 중 분산이 가장 작은 추정량이 가장 좋아요.
• 구간추정: 모수가 특정 구간 안에 있을 것으로 추정. 신뢰수준이 필요하고 95%, 99%를 주로 써요.

가설검정

• 모집단에 대한 가설을 세우고, 표본 정보로 그 가설이 옳은지 판단하는 과정
• 귀무가설(H0): "차이가 없다, 같다(=)". 연구로 기각하고자 하는 가설
• 대립가설(H1): 귀무가설의 반대. 연구로 증명하고 싶은 새로운 주장

• 제1종 오류: H0가 참인데 기각하는 오류
• 제2종 오류: H0가 거짓인데 채택하는 오류
• 기각역: H0를 기각하게 되는 검정통계량의 영역. 기각역의 경곗값은 임곗값
• 유의수준(α): 제1종 오류를 범할 확률의 최대 허용 한계. 주로 1%, 5%
• 유의확률(p-value): 귀무가설이 참이라고 가정할 때 지금 같은 결과(또는 더 극단적인 결과)가 나올 확률
• p-value < α 이면 H0 기각, H1 채택

t-검정 종류

단측 검정과 양측 검정

일표본, 이표본 모두 같은 기준이에요. 크다·작다면 단측, 같다·다르다면 양측이에요.

분산분석(ANOVA)

• 세 개 이상 집단의 평균을 비교하는 검정
• 귀무가설 H0: 모든 집단의 평균은 같다
• H0를 기각해도 어느 집단끼리 다른지는 알 수 없어서 사후검정을 해요: Scheffe, Tukey, Duncan, Fisher's LSD, Dunnett, Bonferroni
• 조건: 독립변수는 범주형, 종속변수는 연속형
• F-value = 집단 간 분산 ÷ 집단 내 분산
• 집단 간 평균의 분산이 클수록 집단 평균들이 서로 멀리 떨어져 있어서 차이를 찾기 쉬워요(F값이 커짐).

일원·이원 분산분석

• 교호작용(상호작용): 독립변수끼리 서로 영향을 주는 것
• 교호작용이 있다고 보면 반복이 있는 실험, 없다고(독립이라고) 보면 반복이 없는 실험
• 보충: 노트에는 다변량 분산분석을 "다원분산분석"이라고도 부른다고 적혀 있는데, 보통 다원분산분석은 독립변수가 여러 개인 분산분석(이원, 삼원…)을 뜻해요. 종속변수가 여러 개면 다변량 분산분석으로 기억하세요.

교차분석

• 범주형 자료(명목·서열) 간의 관계를 알아보는 분석
• 카이제곱(χ²) 검정 통계량 사용
• 적합도 검정, 독립성 검정, 동질성 검정에 사용

• 보충: 교차표의 기대도수 = (행 합계 × 열 합계) ÷ 전체 합계, 독립성·동질성 검정의 자유도 = (행 수 − 1) × (열 수 − 1)
• 위 표에서 한국·A사의 기대도수 = 100 × 110 ÷ 300 ≈ 36.7, 자유도 = (3 − 1) × (3 − 1) = 4

상관분석

• 두 변수 사이에 선형적 관계가 있는지 알아보는 분석
• 상관계수는 −1 ~ +1. +1에 가까우면 강한 양의 상관, −1에 가까우면 강한 음의 상관, 0이면 선형 관계 없음
• 귀무가설 H0: 상관계수 = 0 (두 변수는 상관이 없다). p-value < 유의수준이면 기각, 유의한 상관관계가 있음

회귀분석 개념

• 하나 이상의 독립변수(x1, x2, …)가 종속변수(y)에 얼마나 영향을 미치는지 추정하는 통계기법
• 독립변수 = 원인변수(설명변수), 종속변수 = 결과변수(반응변수)
• 독립변수 1개 → 단순선형회귀, 2개 이상 → 다중선형회귀
• 기본은 종속변수가 연속형일 때 사용해요. 범주형이면 로지스틱 회귀를 써요.

회귀분석의 종류

회귀분석의 가정(전제조건)

• 보충: 자료에는 "Q-Q Plot에서 잔차가 오른쪽으로 상승하면 정규성 만족"이라고 되어 있는데, 정확히는 점들이 대각선(45° 직선) 위에 가깝게 놓이면 정규성을 만족한다고 봐요.
• 보충: 자료에서 다항회귀는 선형성 예외라고 했는데, 다항회귀도 회귀계수(모수)에 대해서는 선형이라 선형회귀의 한 종류로 다뤄요. 시험에서는 "다항회귀 = 2차 이상 관계" 정도로 기억하면 충분해요.

단순선형회귀 · 최소제곱법

• 식: Y = β0 + β1X + ε (β0: 절편, β1: 기울기, ε: 오차)
• 최소제곱법: 실제 관측치와 추세선 예측치 사이 거리, 즉 오차를 제곱해 더한 값을 최소화하는 직선을 찾는 방법

• SST = SSR + SSE

분산분석표

n = 표본 수, k = 독립변수 수예요. 단순회귀는 k = 1인 경우라 잔차 자유도가 n − 2가 돼요.

유의성 검정

• 순서: 모형 유의성(F) 먼저 → 유의하면 각 회귀계수(t) 확인

모형의 설명력: 결정계수 R²

• R² = SSR / SST = 1 − SSE / SST
• 0 ~ 1 사이. 1에 가까울수록 데이터가 회귀선에 밀집, 설명력이 높아요.
• 독립변수가 많아지면 R²가 커지는 성질이 있어서, 다중회귀에서는 수정된 결정계수(Adjusted R²)를 봐요. 보통 R²보다 작게 나와요.
• 예) SSR = 21186, SSE = 11354 → SST = 32540, R² = 21186 / 32540 ≈ 0.65

R 결과 해석 (summary(lm(Y ~ X)))

• 회귀식: y = −2.4371x + 16.8291
• 모형 p-value 1.97e-06 < 0.05 → "모든 회귀계수는 0" 기각 → 모형 유의

다중선형회귀 · 다중공선성

• 독립변수 2개 이상, 종속변수 1개: Y = β0 + β1X1 + … + βkXk + ε
• 다중공선성: 독립변수들 간에 강한 상관관계가 있는 문제. 회귀계수를 신뢰할 수 없게 돼요.
• 진단: R²는 높은데 각 독립변수의 p-value가 커서 유의하지 않으면 의심. VIF = 1 / (1 − R²), 보통 VIF > 10이면 다중공선성이 있다고 판단
• 해결: 문제 변수 제거, 주성분분석(PCA), 선형판별분석(LDA), t-SNE, 특이값 분해(SVD) 등으로 차원 축소, 정규화 회귀 사용

변수 선택법

정규화 선형회귀

• 과적합을 막으려고 계수의 크기를 제한하는 방법

일반화 선형회귀

• 종속변수가 범주형이거나 정규성을 만족하지 못할 때, 종속변수를 적절한 함수 f(x)로 바꿔 선형 결합으로 회귀분석하는 방법

더빈 왓슨 검정

• 회귀분석에서 오차항의 자기상관(독립성)을 검정
• 통계량이 2에 가까우면 자기상관 없음, 0에 가까우면 양의 상관, 4에 가까우면 음의 상관

다변량 분석

• 여러 현상이나 사건에 대한 측정치를 동시에 한 번에 분석하는 통계 기법
• 여러 변인 간의 관계를 동시에 고려해서 효과를 밝혀요.

다차원 척도법(MDS)

• 객체 간의 근접성을 시각화하는 기법. 군집분석과 비슷해요.
• 객체들 사이의 유사성·비유사성을 측정해서 2차원 또는 3차원 공간에 점으로 표현
• 데이터 축소 목적으로 사용. 객체 간 거리는 유클리디안 거리 행렬 사용

MDS 적합도: stress

• 실제 거리와 모형이 추정한 거리 사이의 적합도를 측정
• stress = √( Σ(실제거리 − 추정거리)² / Σ실제거리² )
• 0 ~ 1 사이 값. 낮을수록 적합도가 좋아요.
• 0.05 이내면 적합도 좋음, 0.15 이상이면 매우 나쁨

MDS 종류

주성분분석(PCA)

• 서로 상관성이 높은 변수들의 선형결합으로 새로운 변수(주성분)를 만들어 기존 변수를 요약·축소하는 방법
• 목적
• 변수를 축소해서 모형의 설명력을 높임
• 다중공선성 문제 해결
• 군집분석 성능 향상
• 센서 데이터를 주성분분석 후 스마트팩토리에 활용

Scree plot

• x축: 성분의 개수, y축: 고윳값(eigenvalue)
• 그래프가 수평을 유지하기 전 단계(꺾이는 지점, elbow)를 주성분의 수로 선택해요.
• 보충: 핵심문제 해설에 따르면 첫 번째 주성분은 분산이 가장 큰 축이에요(손실 정보가 최소). 보통 누적 기여율 70~90%가 되도록 주성분 수를 고르고, n개 변수를 n개 주성분으로 요약하면 누적 기여율은 100%예요.

시계열 분석

• 일정 시간 간격으로 기록된 자료의 특성을 파악하고 미래를 예측하는 분석 (주가, 환율, 월별 재고량 등)

자기상관성

• 시계열 자료는 이웃한 자료끼리 상관관계를 가져요(자기상관성).
• 그래서 시계열 분석에서는 확률변수가 함께 퍼진 정도인 공분산이 중요해요.

정상성

• 대부분의 시계열 자료는 비정상성 자료라서 정상성 시계열로 변환한 뒤 분석해요.

시점은 특정 시간, 시차는 시점과 시점 사이의 차이예요. t시점과 t+s시점의 공분산은 t시점과 t−s시점의 공분산과 같아요.

자기상관함수

시계열 분석 기법

시계열 모형

• 보충: 자료는 AR(n), MA(n)이라고 쓰지만, 교재에 따라 AR(p), MA(q)로 표기하기도 해요.

분해 시계열

• 시계열을 구성 요인별로 분리해서 분석하는 방법. 주로 회귀분석과 함께 사용

3장. 정형 데이터 마이닝

데이터 마이닝

• 방대한 데이터 속에서 숨겨진 규칙·패턴을 찾아내 예측하거나 의사결정에 활용하는 것

지도학습과 비지도학습

정답(종속변수)이 있으면 지도학습, 없으면 비지도학습이에요.

데이터 마이닝 프로세스

목적 정의 → 데이터 준비 → 데이터 가공 → 데이터 마이닝 기법 적용 → 검증

데이터 분할

• 보충: 자료 본문은 50:30:20 비율인데, 홀드아웃 그림은 60:20:20으로 나와요. 비율은 고정된 값이 아니라 예시라서 세 가지 역할만 정확히 기억하면 돼요.

데이터 분할을 통한 검증

로지스틱 회귀

• 종속변수가 범주형(성공/실패 등)일 때 쓰는 회귀 기반 분류 방법
• 범주가 셋 이상이면 다중 로지스틱 회귀. 독립변수가 범주형이면 더미변수로 변환
• 종속변수 값이 항상 0과 1 사이(확률)가 되도록 아래 개념을 사용해요.

의사결정나무

• 자료를 학습해 분리 규칙을 찾고, 몇 개의 소집단으로 분류하는 방법
• 구성: 뿌리마디 → 중간마디 → 끝마디. 상위는 부모마디, 하위는 자식마디
• 올바른 분류 조건: 집단 내 동질성, 집단 간 이질성이 커지도록

의사결정나무 분석 과정

① 성장 → ② 가지치기 → ③ 타당성 평가 → ④ 해석 및 예측

• 성장: 분리 기준과 정지 규칙 설정. 정지 규칙은 너무 많은 분리로 해석이 어려워지는 것을 막아요.
• 가지치기: 너무 복잡하면 과적합, 너무 단순하면 과소적합. 불필요한 가지를 제거
• 타당성 평가: 검증용 데이터, 이익도표 등으로 평가

분리 기준

• 지니 지수·엔트로피 지수는 불순도 측도예요. 낮을수록 순수도가 높아요.
• 지니 지수 = 1 − Σpᵢ², 엔트로피 = −Σpᵢ log₂pᵢ
• 예) 앞면 3개, 뒷면 1개: 지니 = 1 − (3/4)² − (1/4)² = 0.375, 엔트로피 ≈ 0.811

앙상블 분석

• 여러 모형을 결합해 예측력을 높이는 방법. 회귀와 분류 모두 적용 가능

인공신경망

• 뇌 구조를 수학적으로 단순화한 모델. 입력에 가중치를 곱하고 편향을 더한 뒤 활성화 함수를 거쳐 출력

• 계층 구조: 입력층 → 은닉층 → 출력층. 출력층 노드 수 = 출력 범주 수
• 학습: 출력층에서 오차를 구해 거꾸로 가중치를 조정(역전파). 전체 데이터를 한 번 학습하는 것이 1 epoch
• 단층 퍼셉트론: 은닉층 없이 입력층과 출력층만. 선형 문제만 해결
• 다층 퍼셉트론: 은닉층이 1개 이상. 은닉층·노드가 너무 많으면 과적합, 너무 적으면 과소적합

나이브 베이즈 분류

• 베이즈 정리를 기반으로 한 지도학습 모델. 모든 특징 변수가 서로 독립이라고 가정
• 스팸 메일 필터링, 텍스트 분류에 활용

k-NN

• 정답 레이블이 있는 데이터로, 새 데이터와 가장 가까운 k개 이웃의 레이블을 보고 분류하는 지도학습
• k를 어떻게 정하는지가 중요. 보통 거리는 유클리드 거리 사용

서포트벡터머신(SVM)

• 초평면으로 범주를 나누는 비확률적 이진 선형분류 모델
• 마진(margin)이 가장 큰 방향으로 분류. 마진이 클수록 새 데이터도 잘 분류해서 예측력이 높아요.

분류 모형 평가: 오분류표

ROC 커브

• x축: FPR(1 − 특이도), y축: TPR(민감도)
• 아래 면적 AUC가 1에 가까울수록 성능 우수, 0.5에 가까우면 무작위 예측 수준

이익도표 · 향상도 곡선

• 이익도표(Lift Chart, Gain Chart): 예측 확률 순으로 정렬해 구간별 성능을 랜덤 모델과 비교
• 향상도 곡선(Lift Curve): 랜덤 모델 대비 성과가 얼마나 향상됐는지 구간별로 표시. 좋은 모델일수록 처음에 큰 값에서 시작해 급격히 감소

1. 군집 분석 개요

2. 거리 척도

① 연속형 변수

② 범주형 변수

보충: 거리 예시를 들어 볼게요. 점 (1,2)와 (4,6) 사이의 유클리디안 거리는 √(9+16)=5, 맨해튼 거리는 3+4=7, 체비셰프 거리는 max(3,4)=4예요.

3. 계층적 군집 분석

• 가장 가까운 관측치부터 묶어 트리 구조(덴드로그램)를 만들어요.
• 병합적 방법: 각 데이터를 하나의 군집으로 보고 순차적으로 합쳐요.
• 분할적 방법: 전체를 하나의 군집으로 보고 차례로 나눠요.
• 덴드로그램에서 자르는 높이(distance)에 따라 군집 수가 정해져요. 높이가 높을수록 군집 수가 적어요.

군집 간 거리 (연결법)

4. 비계층적 군집 – k-means

• 비계층적 군집은 군집 수 k를 사전에 정하고, 계층적 방법과 달리 거리 행렬을 쓰지 않아요.

• 한 군집에 속했던 데이터도 seed가 바뀌면 가까운 군집으로 바뀔 수 있어요. 이건 핵심문제에 나온 오답 포인트예요.

보충: k는 엘보우(Elbow) 기법으로 정할 수 있어요. 군집 내 제곱합 그래프가 꺾이는 지점을 k로 골라요.

5. DBSCAN

• 밀도 기반 군집 알고리즘이에요. 거리 기반 방법과 달리 개체가 밀집한 정도로 군집을 만들어요.
• 임의의 모양의 군집과 노이즈를 잘 처리해요. k-means와 달리 군집 수를 미리 정하지 않아요.

보충: 파라미터는 반경 eps와 최소 이웃 수 minPts예요.

6. 혼합 분포 군집 & EM /

• 모형 기반: 데이터가 k개의 확률분포에서 나왔다고 가정해요. 주로 정규분포를 써요.
• 각 분포의 모수(평균·분산)와 가중치를 추정해요. 추정은 EM 알고리즘으로 해요.
• EM은 잠재변수 Z가 있을 때 최대가능도(MLE)를 찾아요. E-step(기댓값)과 M-step(최대화)을 반복해요.

7. SOM (자기조직화지도)

• 코호넨 맵이라고도 해요. 인공신경망 기반 비지도 학습으로, 고차원 데이터를 저차원(2차원) 지도로 바꿔 시각화해요.
• 입력 변수의 위치(공간) 관계를 그대로 보존해요.

8. 연관 분석 개요

• 장바구니 분석이에요. "If–Then" 형태로 구매 패턴의 규칙을 찾아요.
• 탐색적 기법이고, 목적변수가 없는 비지도학습이에요.

9. 연관 분석 측도

계산 예시 ( Tip) — 전체 2000건

10. 연관 분석 알고리즘

Apriori 절차는 다음과 같아요.

1. 최소 지지도를 정해요.
2. 최소 지지도 이상인 단일 품목을 골라요.
3. 그 품목들로 2가지 조합의 규칙을 찾아요.
4. 같은 과정을 3가지 이상 조합으로 반복해요.

11. 연관 분석 특징