6.엔트로피

엔트로피는 불확실성을 개념화 하는 개념이다!

간단한 예제:(log의 밑은 e가 아니라 2이다.)

x=(1/2,1/2) → (-1/2log(1/2),-1/2log(1/2)) → 두개를 더하면 -log(1/2) → H(x)=-log(1/2)=1

또 다른 예제: 동전 던지기

x={1     p,

     0     1-p

 

이 x값을 엔트로피에 적용하자

H(x)=-p log(p) -(1-p)log(1-p) 가 되고 계산하면

H(x)=1 when p=1/2, H(x)=0 when p=0 or 1

동전을 던졌을때 앞,뒷면이 나올 확률은 1/2, 1/2을 적용하면 엔트로피 값은 1,

무조건 뒷면 혹은 무조것 앞면만 나올 때는 p값이 0 or 1이고 엔트로피 값은 무조건 0이 나온다고 이해하자.

컨디셔널 엔트로피

 

행렬의 x열을 전부 더한 각각의 값이 1번째, y행을 더한 각각의 값이 2번째이다.

위의 marginal distribution 값을 엔트로피에 넣은 계산 과정이다.

이 설명은 확률변수 Y를 앎으로서 X의 불확실성이 얼마나 줄어들었냐를 정의하는 것이다.

 

<신경망의 손실함수>

 

p를 라벨 k의 one hot 벡터 t=(0,0,1,0…0)으로 잡고 q를 신경망이 예측한 확률 벡터(y0,y1,y2……y9)로 잡으면 H(p)=0이므로

D(p||q)=H(p,q)=-logyk

q:뉴럴 네트워크가 예측한 값이다.

p:사람이 지정한 라벨값이다.

 

뉴럴 네트워크를 학습을 시킨다는건 -logyk이 값을 줄이겠다는 의미이다. 앞에 무언가 어려운게 많았지만 결국에는 이게 가장 중요한 부분이다!!!!!!!

 

4줄 요약

1.엔트로피라는 것은 불확실성을 개량화 하는 것이다.

2.엔트로피는 정보를 한없이 압축하는 것과 그 기능적인 한계를 설명한다.

3.렐러티브 엔트로피, 크로스 엔트로피는 두 확률 분포가 얼마나 가까운지 먼지를 개량화 하는 것이다.

4.머신러닝에서 엔트로피는 아주 핵심적인 역할을 한다.