이탈율 논의

집단 a 의 특정 성분값 t시점에 t시점에 2.9%, t+1 시점에 4.6%. 이때 대응표본 t검정 시행

이는 불가능하다. $n$ 과 $s_{d}$ 가 없으므로, 이 1.7%의 차이가 통계적으로 유의미한지 체크하는 검정 통계량(t-value)과 pval을 얻을 수 없음.

대응표본 t-검정은 동일한 집단(예: 동일한 환자 100명)이 시간의 흐름(t $\to$ t+1)에 따라 값이 어떻게 변했는지를 확인하는 분석.

t-검정 수행에는 최소한 다음의 정보가 필요함.

평균 차이 (Mean difference, $\overset{ˉ}{d}$ ): 4.6% - 2.9% = 1.7% (이 값은 현재 알 수 있습니다.)
표본 수 (Sample size, $n$ ): 두 시점 모두 검사를 받은 사람(또는 개체)의 수
차이값의 표준편차 (Standard deviation of differences, $s_{d}$ ): 각 개인별로 t시점과 t+1시점 간의 성분값 변화량이 얼마나 들쭉날쭉한지(퍼져 있는지)를 나타내는 값

t시점에 집단 a (40416명) 의 양성률 2.9%, t+1 시점에 집단 b (45229명) 의 양성률 4.6%. 이때 대응표본 t검정 시행.

t시점과 t+1시점 간의 양성률 차이를 검증하고자 한다.

이때 대응표본 t-검정(Paired t-test) 는 적절한 조치가 아님.

맥니마 검정(McNemar’s Test) : 양성/음성과 같은 범주형(비율) 데이터의 전후 변화를 비교
대응표본(Paired) 분석을 수행하려면 각 대상자가 t시점 / t+1시점에서 어떻게 변했는지(예: 음성→양성, 양성→음성)를 추적할 수 있는 1:1 교차표 데이터가 필수 (개별 매칭 데이터 부재)
t시점의 전체 인원(40,416명)과 t+1시점의 인원(45,229명)이 다르기 때문에, 완벽히 짝지어진(Paired) 동일 표본으로 구성되어 있지 않음. (표본 수의 불일치) 새로 유입되거나 이탈한 표본이 포함

이때는 대안으로 비율 차이 검정 (Two-Proportion Z-Test) 실행.

여기서 가정은

두 시점의 집단을 독립된 표본으로 가정
- 동일 집단을 추적한 것이므로 실제로는 데이터 간 상관관계가 있을 수 있다는 한계점은 존재

이 검정은 “t시점과 t+1시점의 양성률 차이가 단순한 우연(표본 오차)인지, 아니면 통계적으로 의미 있는 진짜 차이인지”를 수학적으로 확인하는 과정.

이 경우 p값은 (1.23/1000) 이므로, 유의수준 0.05보다 매우 작음. t시점(2.87%)에서 t+1시점(4.58%)으로의 양성률 증가는 통계적으로 매우 유의미하다.

가설 설정
집단 1 / 집단 2의 양성률 계산
합동 표본비율(Pooled Proportion) 계산
1. 귀무가설에서는 “두 시점의 양성률이 같다”고 가정하므로, 두 집단을 하나의 큰 집단으로 합쳐서 **전체 평균 양성률( $\overset{p}{^}$ )**을 구한다
표준오차(Standard Error) 계산
1. 합동 표본비율을 바탕으로, 두 표본 비율의 차이가 우연히 발생할 수 있는 ‘오차의 범위(표준오차)‘를 계산. 표본의 크기가 클수록 오차는 작아짐.
검정통계량(Z-statistic) 도출
- 두 시점의 실제 양성률 차이가 우리가 구한 ‘표준오차’의 몇 배나 되는지 확인. 이 값이 클수록(또는 작을수록) 우연히 발생하기 힘든 큰 차이라는 뜻. numer 는 각각, denom 은 합동.
- 공식: $(\overset{p}{^}_{1} - \overset{p}{^}_{2}) / 표준오차$
  - 계산: (0.0286 - 0.0458) / 0.0013 $\approx$ -13.17
  - 의미: t시점의 양성률이 t+1시점보다 표준오차의 무려 13.17배만큼 낮음. (통상적으로 Z값이 ±1.96을 넘어가면 95% 신뢰수준에서 차이가 있다.)
p값 확인

p값이 극히 작으므로 널가설 기각. 따라서 “t시점에서 t+1시점으로 양성률이 2.9%에서 4.6%로 증가한 것은 단순한 우연이 아니라 통계적으로 매우 유의미한 증가”.

즉, 두 집단의 크기가 4만 명대로 매우 크기 때문에, 2.9%와 4.6%라는 1.7%p의 차이는 통계적으로 우연히 발생할 확률이 0에 수렴하는 ‘확실한 차이’로 검증.

x와 y 집단이 동질할 때, x 에서의 양성 비중이랑 y 에서의 양성 비중에 차이가 있는지를 비교하는 방법
- ‘양성/음성’과 같은 범주형(비율) 데이터
- 따라서 평균을 비교하는 t-검정이 아닌, 비율을 비교하는 검정을 사용
- 일반적인 크기의 데이터(수십~수만 명)라면 카이제곱 검정이나 두 비율 차이 Z-검정 중 어떤 것을 사용해도 결과(P-value) 는 동일
  - 실무나 논문에서는 chi2가 가장 보편적
  - 극단적으로 표본 수가 적은 데이터라면 피셔의 정확 검정

검정 방법	개념 및 핵심 특징	검정 방식	적용 조건 및 장점
카이제곱 검정 (Chi-Square Test of Independence)	범주형 그룹 변수(X/Y)와 결과 변수(양성/음성) 간의 연관성(독립성)을 확인하는 가장 널리 쓰이는 표준 방법.	2x2 교차표를 생성하여, 양성률이 동일하다는 가정하의 ‘기대 빈도’와 실제 데이터의 ‘관측 빈도’ 간 차이를 계산해 통계적 유의성 판단.	각 셀의 기대 빈도가 5 이상 확보될 정도로 표본 크기가 충분히 커야 함.
두 비율 차이 Z-검정 (Two-Proportion Z-Test)	카이제곱 검정과 본질적으로 동일한 결과를 내는 방법. (Z통계량의 제곱 = 카이제곱 통계량)	두 집단의 양성률(p1, p2) 단순 차이가 오차 범위를 넘어설 만큼 유의미하게 큰지 정규분포를 이용하여 검증.	두 집단의 ‘비율 차이(%)‘와 그에 따른 신뢰구간을 직관적으로 확인하기에 유리함.
피셔의 정확 검정 (Fisher’s Exact Test)	표본 수가 매우 적을 때 카이제곱 검정을 대체하여 사용하는 대안적 방법.	(교차표를 기반으로 소표본에 대한 정확한 확률을 계산하여 유의성 판단)	전체 데이터 수나 양성/음성 건수가 적어, 교차표 내 기대 빈도 5 미만 셀이 20% 이상 존재할 때 반드시 사용.

맥니마 검정이란:

간단하게는, “비율(범주형) 데이터 전용 대응표본 t-검정”

주요 구분	세부 요소	핵심 개념 및 수식
분석 대상 및 원리	데이터 구조	대상자의 상태 변화를 나타내는 2x2 교차표(Contingency Table) 기반.
	분석 포함 (불일치 쌍)	상태가 변한 집단인 $b$ (양성 $\to$ 음성)와 $c$ (음성 $\to$ 양성)만 도출하여 계산.
	분석 제외 (일치 쌍)	상태가 변하지 않은 집단인 $a$ (양성 유지)와 $d$ (음성 유지)는 통계량 계산에서 제외.
가설 설정	귀무가설 ( $H_{0}$ )	변화 비율 $b$ 와 $c$ 가 동일하다. (두 시점 간 양성률에 차이가 없다)
	대립가설 ( $H_{1}$ )	변화 비율 $b$ 와 $c$ 가 다르다. (두 시점 간 양성률에 유의미한 차이가 있다)
통계량 계산 (카이제곱 분포 기반)	기본 검정 통계량 ( $χ^{2}$ )	$\frac{( b - c ) ^{2}}{b + c}$
	연속성 수정 (표본 부족 시)	$\frac{( ∣ b - c ∣ - 1 ) ^{2}}{b + c}$
결과 해석	통계적 유의성 판단	통계량이 클수록 특정 방향으로의 변화가 우세함을 의미. 이에 따라 $P$ -값이 작아져 유의미한 변화가 있다고 결론 도출.

대응표본 분석을 하려면 1:1 교차표 데이터가 필수적인 이유:
- 단순히 “양성이 총 몇 명이다”라는 요약 수치만으로는 $b$ (양성 $\to$ 음성)가 몇 명이고 $c$ (음성 $\to$ 양성)가 몇 명인지 알 수 없기 때문에, 정확한 대응표본 검정(맥니마 검정)을 수행할 수 없음

맥니마 검정 조건은 아래와 같음.

두 시점 모두에 포함된 동일 대상자들만의 데이터 (예: 두 시점에 모두 검사를 받은 사람들의 상태 변화 정보)를 별도로 가지고 있다.
ex) “전체 인원 중 해당 성분을 가진 사람이 2.9%에서 4.6%로 증가했다.”
비율 데이터의 전후 비교는 대응표본 t-검정이 아닌 맥니마 사용.
맥니마 검정 결과를 해석할 때 주의할 점
- pval<0.05 로 “확실히 효과가 있다”고 단정짓기 전, 이하를 체크해야함.
- 즉, 교차표를 통해 변화의 방향과 실질적인 규모(Effect size)를 꼭 함께 확인해야 한다.

핵심 고려사항	주의점 및 한계	해결책 및 대응 방안
변화의 방향성 파악	p-value는 두 시점 간 유의미한 비율 차이 유무만 나타낼 뿐, 양성/음성 증감 방향을 명시하지 않음.	2x2 교차표를 확인하여 불일치 쌍(b, c) 중 어느 방향의 변화가 많은지 파악하고 연구 목적과 부합하는지 검증.
불일치 쌍의 절대적 크기 평가	전체 표본 대비 상태가 변한 대상이 극소수여도 통계적 유의성(p<0.05)이 확보될 수 있어, 실무적/임상적 의미가 왜곡될 수 있음.	통계적 유의성(p-value)과 독립적으로, 전체 표본 대비 변화한 인원의 절대적 비중(Effect Size)을 파악하여 현실적 타당성 평가.
소표본 시 통계적 보정	불일치 쌍의 합(b+c)이 25 미만일 경우, 카이제곱 근사가 부정확해져 1종 오류(Type I error) 발생 확률이 증가함.	b+c < 25일 경우 ‘연속성 수정(Continuity Correction)’ 적용. 표본이 극단적으로 적으면 이항 분포 기반 ‘정확 맥니마 검정(Exact McNemar’s Test)’ 수행.
완벽한 짝지음(Paired) 전제 확인	특정 시점의 결측치나 신규 유입으로 인해 대상자가 일치하지 않으면 분석 결과가 심각하게 왜곡됨.	분석 전 결측치를 처리하고, 두 시점 모두에 존재하는 완벽한 교집합(Complete Cases) 데이터만을 추출하여 검정 수행.

a시점의 유저 이탈율과 b 시점의 유저 이탈율의 차이가 유의한지를 검정하는 방법론 (두 시점의 유저풀은 동질하다고 가정)

가장 주요하게 방법론을 가르는 지점은, ‘데이터를 어떻게 수집했는지 (유저의 독립성 여부)‘

분석 상황 및 유저 풀 특성	세부 상황 예시 및 필요 데이터 형태	적합한 검정 방법론	핵심 이유 및 실무 주의사항
특성은 동질하나 독립적인 두 집단 (독립 표본)	- 1월 가입자 코호트 vs 2월 가입자 코호트 비교 - 동일 기간 유저를 반으로 나눈 A/B 테스트 - 데이터: A/B 각 시점의 전체 유저 수 및 이탈자 수	두 비율 차이 Z-검정 또는 카이제곱 검정	두 집단이 서로 겹치지 않는 독립 표본이기 때문임. 실무에서 가장 흔히 마주하는 일반적인 분석 상황
완벽히 동일한(100% 겹치는) 집단 (대응 표본)	- 특정 유저 1만 명의 A시점 이탈 여부와 B시점 이탈 여부 추적 - 데이터: 개별 유저의 시점별 상태 변화 레벨 데이터	맥니마 검정 (McNemar’s Test)	동일 대상자를 두 번 측정한 대응 표본이기 때문임. 단, 이탈 후 복귀가 불가한 서비스 구조에서는 이탈의 비가역성으로 인해 검정이 무의미할 수 있음 (SaaS/OTT 등 재구독 발생 시에만 유효).
시간 경과에 따른 패턴 비교 (생존 분석 - 심화)	- 두 집단 간 이탈해 나가는 ‘속도와 패턴’의 차이를 커브 형태로 비교	로그순위 검정 (Log-Rank Test)	특정 시점의 단순 비율 비교를 넘어섬. 실무에서 코호트 간 잔존율/이탈율 커브를 비교할 때 사용하는 가장 표준적인 방법임 (Kaplan-Meier 추정).

1월의 Active Users(AU) 집단 $X$ , 2월의 AU 집단 $Y$ 의 이탈률을 비교

이때, $X$ 와 $Y$ 모두에 속하는 유저가 있다
부분적으로 겹치는 표본 (Partially Overlapping Samples) 상황
두 집단이 완전히 ind 이지도, 완전히 동일하게 짝지어지지도 (Paired) 도 아님

검정 방법론	핵심 개념 및 분석 절차	장점 및 실무 활용 목적
1. 독립 집단 분리 분석	유저 집단을 3개 그룹(A: 1월 단독, B: 양월 공통, C: 2월 단독)으로 분리함. 분리된 독립 표본(예: A와 C) 간에 두 비율 Z-검정 또는 카이제곱 검정을 수행함.	가장 빠르고 직관적이며 실무에서 권장됨. 신규 유저(C)와 기존 유저(A)의 이탈률 차이 등 비즈니스 인사이트 도출에 유리함.
2. 일반화 추정 방정식 (GEE)	동일 유저의 ‘반복 측정’ 상관관계를 모형 내에서 수학적으로 보정함. 데이터를 Long format으로 구축 후 로지스틱 회귀 기반 GEE 모델을 적합시켜 시점 변수의 P-value를 확인함.	공식 보고서 등 통계적 엄밀성이 엄격하게 요구될 때 사용하는 정석적 방법임. Python의 statsmodels 등으로 구현 가능함.
3. 혼합 모형 (Mixed-Effects Logistic)	개별 유저의 고유한 이탈 성향을 ‘임의 효과(Random Effect)‘로 모형에 할당하여 개별적 특성을 통제함.	GEE보다 유저 간 개별 차이를 더욱 섬세하게 반영함. 두 시점 간 교집합 유저가 많을수록 모델 정확도가 상승함.

song-ps

Explorer

이탈율 논의

Graph View