Bayes' theorem 심화 응용
지난 시간에 Bayes' theorem을 통한 probability based learning의 기본에 대해 다뤘다. 오늘은 나아가 베이즈 정리의 두 가지 중요한 관찰과 일반화된 베이즈 정리, 조건부 확률 계산, 뇌수막염 진단 데이터셋 예시, 최대 사후 확률 예측, 훈련 데이터 부족 문제 등을 자세히 살펴보겠다.
베이즈 정리의 두 가지 중요한 관찰
베이즈 정리에서 분모 P(Y)는 두 가지 중요한 역할을 한다.
- 정규화: P(Y)는 조건부 확률 P(X|Y)가 0과 1 사이의 값을 갖도록 정규화하는 역할을 한다. 즉, 모든 X에 대해 P(X|Y)의 합은 1이다.
- 계산: P(Y)는 데이터셋에서 직접 계산하거나 전체 확률의 법칙을 사용하여 계산할 수 있다.
일반화된 베이즈 정리
일반화된 베이즈 정리는 여러 증거를 고려하여 사건의 확률을 계산하는 데 사용된다. 예를 들어, 뇌수막염 진단 문제에서 두통, 발열, 구토 여부는 각각 뇌수막염 여부를 판단하는 증거가 될 수 있다.
일반화된 베이즈 정리는 다음과 같이 정의된다.
 |
| Generalized Bayes' theorem |
여기서 각 확률은 다음을 의미한다.
- P(t=l): 목표 변수 t가 특정 값 l을 가질 사전 확률
- P(q[1],...,q[m]): 인스턴스의 설명 변수들이 특정 값들을 가질 결합 확률
- P(q[1],...,q[m]|t=l): 목표 변수 t가 값 l을 가질 때 인스턴스의 설명 변수들이 특정 값들을 가질 조건부 확률
조건부 확률 계산: 체인 룰
조건부 확률 P(q[1],...,q[m]|t=l)은 데이터셋에서 직접 계산하거나 확률 체인 룰을 사용하여 계산할 수 있다. 체인 룰은 결합 사건의 확률을 조건부 확률의 곱으로 나타내는 방법이다.
P(q[1],...,q[m]|t=l) = P(q[1]|t=l) * P(q[2]|q[1],t=l) * ... * P(q[m]|q[m-1],...,q[1],t=l)
뇌수막염 진단 데이터셋 예시
 |
| Meningitis diagnosis |
뇌수막염 진단 데이터셋을 사용하여 일반화된 베이즈 정리를 적용하는 예시를 살펴보겠다.
- 인스턴스: 두통(h) = true, 발열(f) = false, 구토(v) = true
- 목표 변수: 뇌수막염(m)
일반화된 베이즈 정리를 사용하여 P(m|h, ¬f, v)를 계산하면 다음과 같다.
P(m|h, ¬f, v) = [P(h, ¬f, v|m) * P(m)] / P(h, ¬f, v)= 0.6666 * 0.3 / 0.6 = 0.3333
각 확률 값은 데이터셋에서 직접 계산하거나 체인 룰을 사용하여 계산할 수 있다.
최대 사후 확률 예측
베이즈 정리를 사용하여 계산된 확률을 기반으로 예측을 수행할 수 있다. 가장 확률이 높은 목표 변수 값을 예측 값으로 선택하는 방법을 최대 사후 확률(MAP, Maximum a posteriori) 예측이라고 한다.
 |
| Maximum a posteriori prediction |
일반화된 베이즈 정리에서 분모 P(q[1],...,q[m])는 정규화 상수 역할을 한다. 따라서 MAP 예측을 수행할 때는 분모를 무시하고 분자 값만 비교하여 가장 높은 값을 갖는 목표 변수 값을 선택할 수 있다. (단, 실제 확률을 구하고 싶다면 계산해야 함!)
훈련 데이터 부족 문제
훈련 데이터셋에 없는 값 조합이 인스턴스에 나타날 경우, 조건부 확률 값이 0이 되어 예측 결과가 왜곡될 수 있다. 이는 훈련 데이터가 부족하여 발생하는 문제이며, 실제 문제에서는 훈련 데이터가 모든 경우를 포함하는 경우가 드물기 때문에 자주 발생하는 문제다.
훈련 데이터 부족 문제를 해결하기 위해 조건부 독립(conditional independence)과 인수분해(factorization) 개념을 사용할 수 있다. 조건부 독립은 특정 변수가 주어졌을 때 다른 두 변수가 서로 독립적인 관계를 갖는다는 것을 의미한다. 인수분해는 결합 확률 분포를 조건부 확률의 곱으로 나타내는 방법이다.
이러한 개념들을 활용하면 훈련 데이터 부족 문제를 완화하고 더욱 정확한 예측 모델을 구축할 수 있다.
[인공지능개론] probability based learning - Bayes' theorem
(https://hyeonb.blogspot.com/2024/10/probability-based-learning-bayes-theorem.html)
