15.optimizer : adagrad

쉽게 얘기하자면 큰 러닝레이트를 사용하면 그래프의 최저점을 지나쳐버리기 때문에 처음에는 큰 러닝네이트를 사용하여 경사하강하다가 최저점에 가까워질수록 작은 러닝레이트를 사용한다는 의미이다.

 

그리고 점화식의 동그란 바퀴같이 생긴애는 Hadmard product라고 하는데

이러이러한 의미를 가지고 있다.

 

연습문제를 풀어보자

위의 함수식에 러닝레이트n=1로 설정하고 adagrad를 적용하려한다. 초기위치 (1,2)에서 출발하여 두발자국 걸어갈 때 x1,x2를 구하시오

1.함수식을 각각 x와 y의 대해서 미분한다.

2.초기위치(1,2)를 미분한 함수식에 대입한다.

3.점화식에 의거하여 h0을 구한다.

4.adagrad점화식에 대입하여 x1을 구한다.

여기까지가 x1을 구하는 식이다.

x2를 구하기 위해서는 시작점의 위치를 x1(0,1)로 잡고 위의 과정을 반복하면 된다.

하지만 adagrad에는 스텝이 많이 진행되면 누적치 h가 너무 커져서 학습률이 너무 작아지는 문제점이 있다.

그래서 이 문제를 보완하기 위한 솔루션인 RMSProp이 있다.

 RMSProp도 간단한 연습문제를 풀어보자

위의 함수식에 러닝레이트n=1로 설정,감마(포게팅 백터)=3/4로 설정하고 adagrad를 적용하려한다. 초기위치 (1,2)에서 출발하여 두발자국 걸어갈 때 x1,x2를 구하시오

 

풀이과정은 위의 식과 유사하나 감마가 포함되었고 내분을 해야함으로 h0을 구하는 식이 조금 달라짐으로 주의하자