Deep Learning을 잘하기 위한 요소

** 초기값을 잘 정해주어야한다.

RBM을 통해서 초기화를 시켜준다.

두개씩의 네트워크를 이용해 초기화값을 잘 정해준다. (RBM)

더 간단한 초기화방법이 있다.

그 이후, fan in 과 fan out의 수에 따라서 초기값을 정해준다. (Xavier , MSRA, LSUV ...)

Overfitting : 특정한 training set에만 적용되는 딥러닝 (응용력이 없음 실전에 사용불가)

 : More training date .

 : Regularization 

NN에서는 다른 하나가 더있다.

Drouput : 뉴럴 네크워트에서 Overfitting을 예방하기 위한 방법.

랜덤하게 어떤 Neurons들을 제거하는 것.

한단을 더 만들어서 하나의 레이어를 만들고 랜덤하게 dropout시킨다.

학습할때만 dropout을 하고 평가하거나 모델을 사용할때는 전체를 불러와야 한다. 

더 좋은 효과를 볼 수 있다.

--> 독립된 여러명의 전문가를 통해 결과값을 알아내고 합쳐서 알아낸다. (2% ~4 , 5%까지의 성능이 향상됨)