노성민의 개발 노트

오차역전파법(Backpropagation) 1. 계산 그래프 방법(순전파) 다음의 예를 계산 그래프 방법으로 풀어보도록 하자. 계산 그래프를 구성한다. 그래프에서 계산을 왼쪽에서 오른쪽으로 진행한다. → 순전파(forward propagation) 2. 계산 그래프 방법(역전파) 계산 그래프를 구성한다. 그래프에서 계산을 오른쪽에서 왼쪽으로 진행한다. → 역전파 3. 역전파와 미분 4. 덧셈노드의 순전파와 역전파 왼쪽은 덧셈노드의 순전파이고 오른쪽은 덧셈 노드의 역전파이다. L을 x의 대해서 미분하면 1 L을 y의 대해서 미분하면 1 class AddLayer: def __init__(self): pass def forward(self, x, y): out = x + y return out def bac..

딥러닝 기초 이론/밑바닥부터 시작하는 딥러닝 이론 2023. 1. 23. 15:16

최적화 개념 딥러닝 분야에서 최적화(Optimization)란 손실 함수(Loss Function) 값을 최소화하는 파라미터를 구하는 과정입니다(아래 그림 1 참고). 딥러닝에서는 학습 데이터를 입력하여 네트워크 구조를 거쳐 예측값y^을 얻습니다. 이 예측값과 실제 정답y과의 차이를 비교하는 함수가 손실 함수입니다. 즉, 모델이 예측한 값과 실젯값의 차이를 최소화하는 네트워크 구조의 파라미터(a.k.a., Feature)를 찾는 과정이 최적화입니다. 3. 경사 하강법 개념 경사 하강법(Gradient Descent)이란 딥러닝 알고리즘 학습 시 사용되는 최적화 방법 중 하나입니다. 딥러닝 알고리즘 학습 시 목표는 예측값과 정답값 간의 차이인 손실 함수 의 크기를 최소화시키는 파라미터를 찾는 것입니다. 학..

딥러닝 기초 이론/밑바닥부터 시작하는 딥러닝 이론 2023. 1. 22. 20:29

1번식 1번 식에 h를 10^-4로 설정하고 2번 식으로 근사시킨다. 3번 식 하지만 3번식이 성립함으로 4번식으로 미분계수를 근사시킬수가 있는데 4번식이 오차가 더 적음으로 4번식을 사용한다. 아래에서 기하학적으로 그 이유를 알아보자. 위의 그래프에서 파란 선은 2번식의 기울기, 붉은 선은 4번식의 기울기인데 초록 선과의 거리가 위의 그래프를 보다싶이 붉은 선이 더 가깝다! 위 식에서 Dv는 방향이다. 위 식에서 f(x)는 상수로 취급한다. 쎄타를 변수로 취급한다. 위의 식이 인공지능에서 쓰이는 아주 중요한 미분정리이다.

딥러닝 기초 이론/밑바닥부터 시작하는 딥러닝 이론 2023. 1. 22. 20:25

엔트로피는 불확실성을 개념화 하는 개념이다! 간단한 예제:(log의 밑은 e가 아니라 2이다.) x=(1/2,1/2) → (-1/2log(1/2),-1/2log(1/2)) → 두개를 더하면 -log(1/2) → H(x)=-log(1/2)=1 또 다른 예제: 동전 던지기 x={1 p, 0 1-p 이 x값을 엔트로피에 적용하자 H(x)=-p log(p) -(1-p)log(1-p) 가 되고 계산하면 H(x)=1 when p=1/2, H(x)=0 when p=0 or 1 동전을 던졌을때 앞,뒷면이 나올 확률은 1/2, 1/2을 적용하면 엔트로피 값은 1, 무조건 뒷면 혹은 무조것 앞면만 나올 때는 p값이 0 or 1이고 엔트로피 값은 무조건 0이 나온다고 이해하자. 컨디셔널 엔트로피 행렬의 x열을 전부 더한 각..

딥러닝 기초 이론/밑바닥부터 시작하는 딥러닝 이론 2023. 1. 22. 20:22

인공신경망에 손실함수라는 벌점을 준다. 인공신경망의 성능이 좋을수록 손실함수 값이 낮고(반비례) 성능이 나쁠수록 손실함수 값이 높다.(손실함수값이 낮을수록 좋은 인공신경망이다.) 머신러닝은 데이터를 통해 손실함수 값을 낮추는 과정이다. 데이터가 신경망을 거쳐 나온 확률 벡터와 라벨을 원핫 인코딩하여(신경망을 거쳐 나온 벡터들은 음수가 될수도 있고 총 합이 1이 안될수도 있기 때문에 원핫 인코딩을 하여 확률벡터들의 합을 최대1로 (확률은 1을 넘길수 없기 때문에!)만들어 주어야 한다.) 나온 확률 벡터를 고차원 공간의 점으로 이해한 후 피타고라스 정리로 거리를 측정한다(거리를 측정한게 결국 평균제곱 오차이다). 나중에 미분 계산의 편의를 위해 제곱근은 없애고 앞에 1/2를 곱한다(계산적 편의를 위해 곱한다..

딥러닝 기초 이론/밑바닥부터 시작하는 딥러닝 이론 2023. 1. 22. 20:18

위의 그림에서 Zn은 시그모이드 함수를 적용시킨다는 의미이 각 층의 마지막 레이어에서는 시그모이드 함수가 아니라 소프트맥스 변환을 적용 소프트맥스 함수(Softmax Function)는 n 차원 벡터에서 특정 출력 값이 k 번째 클래스에 속할 확률을 계산합니다. 클래스에 속할 확률을 계산하는 활성화 함수이므로, 은닉층(Hidden Layer)에서 사용하지 않고 출력층(Output Layer)에서 사용됩니다. 소프트맥스 변환은 다층 신경망의 제일 마지막 층에서 출력을 변환할 때 쓰인다. Softmax(소프트맥스)는 입력받은 값을 출력으로 0~1사이의 값으로 모두 정규화하며 출력 값들의 총합은 항상 1이 되는 특성을 가진 함수이다. 그리고 소프트맥스 변환을 한다면 결국 값은 동일해진다. 소프트맥스 함수를 구..

딥러닝 기초 이론/밑바닥부터 시작하는 딥러닝 이론 2023. 1. 22. 20:09

활성화 함수란? 딥러닝 네트워크에서는 노드에 들어오는 값들에 대해 곧바로 다음 레이어로 전달하지 않고 주로 비선형 함수를 통과시킨 후 전달한다. 이때 사용하는 함수를 활성화 함수(Activation Function) 이라 부른다. 활성화 함수로는 비선형 함수를 사용해야 한다. 선형함수인 h(x)=cx를 활성화함수로 사용한 3층 네트워크를 떠올려 보자. 이를 식으로 나타내면 y(x)=h(h(h(x)))가 된다. 이는 실은 y(x)=ax와 똑같은 식이다. a=c3이라고만 하면 끝. 즉, 은닉층이 없는 네트워크로 표현할 수 있다. 뉴럴네트워크에서 층을 쌓는 혜택을 얻고 싶다면 활성화함수로는 반드시 비선형 함수를 사용해야 한다. 시그모이드 함수 : σ(x)=1/1+e^−x sigmoid에 대해 특징을 살펴보자...

딥러닝 기초 이론/밑바닥부터 시작하는 딥러닝 이론 2023. 1. 22. 19:49

y 0 (1, 0) -> 0 (0, 1) -> 0 (1, 1) -> 1 NAND (0, 0) -> 0 (1, 0) -> 0 (0, 1) -> 0 (1, 1) -> 1 OR (0, 0) -> 0 (1, 0) -> 0 (0, 1) -> 0 (1, 1) -> 1 XOR (0, 0) -> 0 (1, 0) -> 1 (0, 1) -> 1 (1, 1) -> 0 이 노트는 제가 개인적으로 공부한 내용이므로 틀린점이 있을 수 있습니다. 틀린점이 있다면 한수 가르쳐주세요ㅎㅎ

딥러닝 기초 이론/밑바닥부터 시작하는 딥러닝 이론 2023. 1. 22. 19:43