+ 딥러닝 학습의 원리

머신러닝 야학 정리

딥러닝 워크북

1. 초기값 생성기를 통해 나오는 값을 복사하여 W와 B값을 넣어준다.

2. 결과인 W, B 그리고 자동으로 생성되는 Loss 값을 복사하여 history에 넣는다.

3. prevLoss 에 Loss 값을 복사하여 넣어준다.

4. W값을 0.0001을 더한 값으로 고쳐주고 dLoss / dt의 값 변화를 관찰한다.

⇒ 그 다음 W와 그 다음 B를 찾기위한 과정

미분이라는 것을 통해서 W가 어떤 방향으로 가야 loss값을 찾게 만들 수 있는지 **방향**을 찾아야함

⇒ W를 아주 조금 키웠는데 loss값이 커지면 W를 낮춰야한다는 결론이 나온다. (loss값을 낮추는게 목적이기 때문에)

W를 0.0001을 키웠는데 Loss값이 작아 졌으므로 W값을 키워야함

1. **결과값 dLoss / dt를 dLoss / dW에 넣어준다.**

     - dLoss → W를 조금 키웠을때 Loss가 변하는 Loss의 미분값

      Loss와 prevLoss의 차이를 미분값으로 나눠주면 dLoss값이 나옴

⇒ dLoss/dW에 의해서 다음 W의 값(next W)가 계산이 된다

2. **4-3. W값을 원래대로 고친다.**

5. B값을 0.0001을 더한 값으로 고쳐주고 dLoss / dt의 값을 관찰한다.

⇒ B의 값을 키웠는데 Loss의 값이 작아졌으니 B의 값을 키워야함

1. 결과값 dLoss / dt를 dLoss / dB에 넣어준다.

2. B값을 원래대로 고친다.

6. next W, next B의 값을 복사하여 W, B에 넣어주고 Loss를 확인한다.

7. 2번부터 다시 반복한다.

 

 

---

딥러닝 워크북 : https://docs.google.com/spreadsheets/d/11DAONRZ92ob0T0YRIT5KgU9vNeO28bYNvteu_-fbRV0/edit#gid=0

출처 : https://opentutorials.org/course/4570/28977

학습의 실제 - 생활코딩