지수족

지수족(Exponential Family)은 확률론 및 통계학에서 특정한 수학적 형태를 공유하는 일련의 확률 분포 집합을 지칭하는 용어다. 이 분포 족은 통계적 추론, 베이지안 분석, 그리고 머신러닝의 근간이 되는 일반화 선형 모형(GLM, Generalized Linear Models)의 수학적 기초를 형성한다.

특정 확률 분포의 확률 밀도 함수(PDF) 또는 확률 질량 함수(PMF)가 매개변수(Parameter) $\theta$와 관측된 데이터 $x$에 대해 다음과 같은 지수 방정식 형태로 분해 및 표현될 수 있다면, 해당 확률 분포는 지수족에 속한다고 정의한다.

$f(x|\theta )=h(x)\exp \left(\eta (\theta )\cdot T(x)-A(\theta )\right)$

핵심 구성 요소 (Core Components)

1. $h(x)$ - 기저 측도(Base measure): 데이터 $x$에만 의존하며 매개변수 $\theta$와는 무관한 함수다.
2. $\eta (\theta )$ - 자연 매개변수(Natural / Canonical parameter): 원래의 매개변수 $\theta$를 지수족의 수학적 구조에 맞게 변환한 함수다.
3. $T(x)$ - 충분 통계량(Sufficient statistic): 매개변수 $\theta$를 추정하는 데 필요한 데이터를 담고 있는 함수다. 관측 횟수가 아무리 많아도 이 함수를 통해 데이터를 유한한 차원의 값으로 압축할 수 있다(피셔-네이만 분해 정리).
4. $A(\theta )$ - 로그 분배 함수(Log-partition function): 전체 확률의 합(또는 적분)이 1이 되도록 맞추는 정규화 상수 역할을 한다. 이를 미분하여 해당 분포의 평균, 분산 등 모멘트(Moment)를 쉽게 계산할 수 있다.

통계학적 중요성 (Statistical Significance)

지수족은 그 대수적 형태 덕분에 수학적으로 매우 유용한 특성을 보장한다. 가장 대표적인 것은 베이즈 정리(Bayes’ theorem)를 활용 시 계산을 획기적으로 줄여주는 공액 사전 분포(Conjugate Priors)의 존재다. 지수족에 속하는 우도(Likelihood)는 항상 동일한 확률 분포 범주 내에서 계산되는 공액 사전 분포를 가지며, 이로 인해 사후 분포(Posterior)의 계산 패턴이 규칙적으로 유지된다.

또한, 지수족 분포들의 로그 우도 함수는 항상 범위 내에서 오목(Concave) 함수 형태를 띠므로, 최우추정법(MLE)을 적용할 때 지역 최적점(Local minima)에 빠지지 않고 전역 최적해(Global Maximum)를 안정적으로 산출할 수 있다.

지수족 분포와 비(非)지수족 분포 비교

정규 분포나 포아송 분포 등 널리 쓰이는 대부분의 통계 분포는 지수족에 속하지만, 특정 조건을 만족하지 못하는 분포들은 이 집합에서 제외된다.

비교 항목	지수족 분포 (Exponential Family)	비지수족 분포 (Non-Exponential Family)
분포 정의 기준	확률 함수가 수식 $f(x)=h(x)\exp (\eta (\theta )T(x)-A(\theta ))$ 형태로 완전 분해됨	해당 지수 방정식 형태로 식을 분해하여 정리하는 것이 수학적으로 불가능함
데이터 범위(Support)	데이터 $x$가 가질 수 있는 값의 범위가 매개변수 $\theta$에 의존하지 않고 고정됨	데이터 $x$의 발생 가능 범위가 매개변수 $\theta$ 등에 의해 가변적으로 규정될 수 있음
최적화 성질 (MLE)	로그 우도 함수가 엄격한 오목 함수로 계산되어 추정이 단순함	다중 최적점을 가질 수 있어 매개변수 추정 과정에서 컴퓨터 연산량이 증가함
대표적인 분포 예시	정규 분포, 이항 분포, 포아송 분포, 감마 분포, 지수 분포, 베타 분포, 디리클레 분포	유니폼 분포(구간의 경계가 매개변수일 때), 스튜던트 t-분포, 코시(Cauchy) 분포

출처 (Sources):

• Casella, G., & Berger, R. L. (2002). Statistical Inference (2nd ed.), Duxbury: Chapter 3.4 on Exponential Families.
• Bishop, C. M. (2006). Pattern Recognition and Machine Learning, Springer: Chapter 2.4 “The Exponential Family”.
• McCullagh, P., & Nelder, J. A. (1989). Generalized Linear Models (2nd ed.), Chapman and Hall/CRC: Foundation of GLMs based on exponential families.
• Stanford University CS229: Machine Learning Course Materials, “The Exponential Family and Generalized Linear Models” (http://cs229.stanford.edu/notes2020spring/cs229-notes-glm.pdf)

Entities

• 지수족
• 일반화 선형 모형
• 충분 통계량
• 로그 분배 함수
• 공액 사전 분포
• 최우추정법
• 정규 분포
• 포아송 분포
• 베타 분포
• 디리클레 분포