Newton-Raphson iteration

 

mle는 보통 pdf를 미분하여 0이 되는 지점을 찾음으로써 구한다.

근데 이 미분이 안 되는 순간이 존재한다.

 

왜냐면 pdf는 매우 다양하고 복잡하기 때문이다.

이럴 때 사용하는 게 수렴 method 중 하나인 Newton-Raphson algorithm이다.

 

수식은 다음과 같다.

 

$\hat{\theta}^{(t+1)} = \hat{\theta}^{(t)}-H(\hat{\theta}^{(t)})^{-1}\bigtriangledown \mathit{l}(\hat{\theta}^{(t)})$ t=0,1,2,..

여기서 $H(\hat{\theta}^{(t)})$는 Hessian matrix로 두번 미분한 행렬을 의미한다.

 

• NR method는 많이 쓰인다.
• 특히 Logistic Regression 등에서 mle를 구할 때 자주 사용한다. 왜냐면 미분이 안 되는 경우도 존재하기 때문이다.
• NR method는 4,5번 정도면 mle로 빠르게 수렴한다.

 

기하학적인 관점에서 살펴보면 아래와 같다.

출처: https://calcworkshop.com/derivatives/newtons-method/