Score Function

$X \text{ ~ } f(x;\theta)$ 일 때, score function $s(\theta;x)$ 은 다음과 같이 정의한다.
$$\frac{\partial}{\partial\theta}logf(x;\theta) $$

평균 계산 증명

\begin{align} E\big[s(\theta;x) \big] &= \int\bigg[\frac{\partial}{\partial\theta}logf(x;\theta)\bigg]f(x;\theta)dx \\ &= \int\frac{f'(x;\theta)}{f(x;\theta)}f(x;\theta)dx \\ &= \int f'(x;\theta)dx \\ &= \frac{\partial}{\partial\theta}\int f(x;\theta)dx \\ &= \frac{\partial}{\partial\theta}1 = 0 \end{align}

의미

score function은 log likelihood의 기울기를 나타낸다는 데에서 의미가 있다.
score function의 평균이 0이라는 것의 의미를 그래프를 likelihood 그래프를 상상하여 생각해보자.

Score Function

Score Function

Score Function

평균 계산 증명

의미

목차