딥러닝기초2 [자습일지] 딥러닝 핵심 기술 출처 : 파이썬과 케라스를 이용한 딥러닝 강화학습 주식투자 - 퀀티랩 지음 http://quantylab.com/ 퀀티랩 - Quantylab 코스피 Upward 2329.83 +25.24 +1.10% quantylab.com 오차 역전파 기법 오차 역전파 기법은 인공신경망의 가중치 학습에 사용되는 기법이다. 인공지능에서의 학습이란 곧 가중치를 조율하는 일과 같아서, 가중치 조율을 통한 인공지능의 학습 과정을 간단히 '가중치 학습'이라고 부를 수 있다. 가장 마지막 계층부터 앞쪽 계층으로 순전파(forward)를 편미분한 값인 역전파(backward)를 곱해 나가면서 그 최종 역전파 값을 가중치에 더해서 조정한다. 자세한 과정은 https://wikidocs.net/37406 에서 자세히 배울 수 있었다.. 2020. 8. 25. [자습일지] 딥러닝 기초 - 활성화 함수 계단함수 ex) 가중치 곱의 합(z) 이 0보다 작으면 0을, 0보다 크면 1을 반환하는 함수 렐루함수(ReLU) 렐루 함수는 가중치 곱의 합이 0보다 크면 그 값을 그대로 반환하고 0보다 작으면 0을 반환하는 활성화 함수이다. 이 함수는 인공 신경망의 은닉층에서 많이 쓰이는 활성화 함수이다. 리키 렐루(Leaky ReLU) 렐루함수와 거의 유사하지만, 한 가지 차이점은 가중치 곱의 합이 0보다 작을 때 값도 약간 고려한다는 점이다. 이로써 정보의 손실을 방지한다. a는 하이퍼파라미터로 Leaky('새는') 정도를 결정하며 일반적으로는 0.01 ~ 0.3의 값을 가집니다. 여기서 말하는 '새는 정도'라는 것은 입력값의 음수일 때의 기울기이다. 시그모이드 함수 시그모이드 함수는 가중치 곱의 합을 0과 1사.. 2020. 8. 25. 이전 1 다음
