강의정리/딥러닝
some Problems in training
안잡아모찌
2019. 1. 21. 15:06
* Large learning rate - overshooting
: step이 너무 큰경우에는 제대로 된 학습이 이루어지고 cost를 찾을수 없게 된다.
* Small learning rate
: step이 너무 작으면 너무 오래걸리거나 local minimum이 될 수도 있다.
--> Try several learning rates !!
* Data (X) preprocessing for gradient descent
: learning rate를 잘했음에도 cost를 제대로 처리하지 못하는 경우
* Overfitting
: 학습데이터에만 맞춰져있는 모델일 수 있다. 실제로 적용하기는 어렵다.
model이 더욱 일반적인 상황이다.
model2는 너무 특정한 training set에만 학습된 결과일 수 있다.
** Solutions for overfitting
: training date set 많을 수록
: features의 갯수 ( 중복된 것의 개수 등)을 줄일 수록
: Regularization (일반화 시킨다) --> weight을 너무 크게 하지 않는다.
l2reg = 0.001 * tf.reduce_sum(tf.square(W)) <-- regularization