쌍곡탄젠트1 [자습일지] 딥러닝 기초 - 활성화 함수 계단함수 ex) 가중치 곱의 합(z) 이 0보다 작으면 0을, 0보다 크면 1을 반환하는 함수 렐루함수(ReLU) 렐루 함수는 가중치 곱의 합이 0보다 크면 그 값을 그대로 반환하고 0보다 작으면 0을 반환하는 활성화 함수이다. 이 함수는 인공 신경망의 은닉층에서 많이 쓰이는 활성화 함수이다. 리키 렐루(Leaky ReLU) 렐루함수와 거의 유사하지만, 한 가지 차이점은 가중치 곱의 합이 0보다 작을 때 값도 약간 고려한다는 점이다. 이로써 정보의 손실을 방지한다. a는 하이퍼파라미터로 Leaky('새는') 정도를 결정하며 일반적으로는 0.01 ~ 0.3의 값을 가집니다. 여기서 말하는 '새는 정도'라는 것은 입력값의 음수일 때의 기울기이다. 시그모이드 함수 시그모이드 함수는 가중치 곱의 합을 0과 1사.. 2020. 8. 25. 이전 1 다음
