이 글은 Docceptor님의 유튜브 채널에서 머신러닝 강의 수강 이후, 복습을 위해 작성한 글입니다. 내용이 많이 부족하고, 틀린 내용이 있을 수 있습니다..
Gaussian (Normal) Distribution (정규분포)
- PDF (probability density function)
$$ N(x|μ, σ^2) = \frac{1}{\sqrt{2πσ^2}}e^{-\frac{1}{2σ^2}(x - μ)^2} $$
조건부 확률
조건부 확률이란 어떤 사건이 일어났다는 전제 하에 다른 사건이 일어날 확률. 두 사건 A, B가 있을 때, 사건 B가 일어났을 때 A가 일어날 확률은 다음과 같이 표현한다.
$$ p(A|B) = \frac{p(A, B)}{p(B)} $$
$p(A|B)$와 $p(B|A)$는 엄연히 다른 것이다. 헷갈리지 말자. A가 여자인 경우 B가 안경을 쓴 경우라고 해보자. $p(A|B)$는 안경을 쓴 사람 중에 여자인 확률이고, $p(B|A)$는 여자인 사람들 중에 안경을 쓴 확률이다.
Bayes Rule (베이즈 정리)
조건부 확률에서 설명했듯이, $p(X = x|Y = y)$와 $p(Y = y|X = x)$는 다르다. Bayes Rule은 확률 $p(X = x|Y = y)$를 알고 있을 때, 관계가 정반대인 $p(Y = y|X = x)$를 계산하기 위해 등장한 식이다.
$$ p(X = x|Y = y) = \frac{p(X = x, Y = y)}{p(Y = y)} = \frac{p(X = x)p(Y = y|X = x)}{\sum_{x'}p(X = x')p(Y = y|X = x')} $$
MLE (Maximum Likelihood Estimation)
