Newton Raphson Method & Gradient Method

이번 포스팅에서는 두 개념이 다소 비슷한 거 같아서 같이 다루려고 한다.

 

Newton Raphson Method

y = x^2에서 x*라는 해를 찾으려고 한다.

이때 x0라는 초기값을 설정하고 이 x0에서의 접선 (y = 2(x-x0) + c)을 구한다.

그런 다음, 이 접선이 x축과 만나는 점 (x1)을 구하고 다시 x1에서의 접선을 구한다.

이런 식으로 반복하다 보면, 아래와 같이 x*에 근사하게 된다.

 

Gradient Method

Gradient Method는 N-R method와 비슷한데 조금 차이점이 있다.

여기서도 마찬가지로 x*라는 해를 찾고자 하고, y' = 2x이다.

초기값은 5라고 두고, 다음과 같은 방법으로 해를 찾을 수 있다.

여기서 alpha를 어떻게 변형시키냐에 따라 adagrad, adam optimizer 등을 만들 수 있다.