Deep NN

• MLP (=shallow NN): hidden layer 1~2개 -> 모든 non-linear 형태의 모델을 생성 가능
  • feature가 알려진 모든 정형 데이터는 MLP에서 더 성능이 뛰어남
  • 이미지, 소리, 텍스트 데이터는 다루지 못함
  • 해결 idea: hidden layer를 더 늘리기 -> Deep Neural Network: hidden layer가 10개 정도
  • 문제: hidden layer의 depth를 늘리자 학습이 안됨 - 이유: Vanishing Gradient 문제
• Vanishing Gradient 문제: 미분할 수록 gradient의 값이 점점 작아지면서 사라짐 - sigmoid 함수때문에 발생
  • Backpropagation에서 y(sigmoid)가 계속 미분되면서 적용됨

gradient는 backward로 갈수록 점점 작아짐

Sigmoid depth 5가 되면 weight값이 0이 되어 학습이 되지 않음

 

 

• Vanishing Gradient 문제 해결방법:
  1. sigmoid 함수 대신 다른 활성함수 이용: LeRU 등
  2. weight 값을 0으로 초기화하지 않는 알고리즘을 새로 만듦
  3. 기존의 느린 컴퓨터: GPU 사용
  4. dataset의 크기를 더 크게 함