some Problems in training

* Large learning rate - overshooting

 : step이 너무 큰경우에는 제대로 된 학습이 이루어지고 cost를 찾을수 없게 된다.

* Small learning rate 

 : step이 너무 작으면 너무 오래걸리거나 local minimum이 될 수도 있다.

--> Try several learning rates !!

* Data (X) preprocessing for gradient descent

 : learning rate를 잘했음에도 cost를 제대로 처리하지 못하는 경우

* Overfitting

 : 학습데이터에만 맞춰져있는 모델일 수 있다. 실제로 적용하기는 어렵다.

model이 더욱 일반적인 상황이다.

model2는 너무 특정한 training set에만 학습된 결과일 수 있다.

** Solutions for overfitting

 : training date set 많을 수록

 : features의 갯수 ( 중복된 것의 개수 등)을 줄일 수록

 : Regularization (일반화 시킨다) --> weight을 너무 크게 하지 않는다.

l2reg = 0.001 * tf.reduce_sum(tf.square(W)) <-- regularization