안녕하세요! 오늘은 기울기 소실과 폭주 문제에 대해 알아보겠습니다. 1. 기울기 소실과 폭주의 문제점과 발생 이유 2. 기울기 소실과 폭주를 완화하는 방법 2-1. 수렴하지 않는 활성화 함수 사용 2-2. 그래디언트 클리핑 (Gradient Clipping) 2-3. 가중치 초기화 2-4. 배치 정규화 1. 기울기 소실과 폭주의 문제점과 발생 이유 깊은 인공 신경망을 학습하다 보면 역전파 과정에서 초기 부분의 입력층으로 갈수록 기울기가 점차적으로 작아지는 현상이 발생할 수 있습니다. 이를 기울기 소실이라고 합니다. 반대의 경우로, 기울기가 점차 커지면서 가중치들이 비정상적으로 크게 업데이트 되기도 합니다. 이를 기울기 폭주라고 합니다. 이렇게 말로만 보면 잘 이해가 되지 않으니 그림을 보며 자세하게 알아..