2.활성화 함수(Activation Function)
활성화 함수란? 딥러닝 네트워크에서는 노드에 들어오는 값들에 대해 곧바로 다음 레이어로 전달하지 않고 주로 비선형 함수를 통과시킨 후 전달한다. 이때 사용하는 함수를 활성화 함수(Activation Function) 이라 부른다. 활성화 함수로는 비선형 함수를 사용해야 한다. 선형함수인 h(x)=cx를 활성화함수로 사용한 3층 네트워크를 떠올려 보자. 이를 식으로 나타내면 y(x)=h(h(h(x)))가 된다. 이는 실은 y(x)=ax와 똑같은 식이다. a=c3이라고만 하면 끝. 즉, 은닉층이 없는 네트워크로 표현할 수 있다. 뉴럴네트워크에서 층을 쌓는 혜택을 얻고 싶다면 활성화함수로는 반드시 비선형 함수를 사용해야 한다. 시그모이드 함수 : σ(x)=1/1+e^−x sigmoid에 대해 특징을 살펴보자...
딥러닝 기초 이론/밑바닥부터 시작하는 딥러닝 이론
2023. 1. 22. 19:49
