[학습 일지] 오버피팅(overfitting)을 방지해보기 - 2

 

어제 오버피팅된 모습을 보고 가중치 규제를 하여 모델이 더 낫게 만들어보자 했었습니다.

똑같이 50epoch를 돌린 결과가 나왔는데요

 

weight_decay : 4.0e-5

 

weight_decay : 4.0e-3

 

심해졌으면 심해졌지 전혀 나아지지 않았습니다......

왜 그렇지 고민해본 결과 optimizer로 'sgd'를 사용했는데 50epoch로는 택도 없다는 글들이 있어

근거가 뭔지는 모르겠지만 구글 신께서 그렇다고 하니 150epoch까지 epoch를 늘리고

lr1 drop을 90epoch, lr2 drop을 120epoch로 하고 이어서 학습을 해보도록 하겠습니다. 

내일 모레 결과가 나올 것 같은데 과연 어떻게 될지 궁금합니다.

거기다가 추가 데이터가 와서 클래스도 늘어나고 데이터량이 약 15만장이 생겼는데요 

많은 데이터에 적용시키기 전에 최대한 노이즈가 없는 loss 그래프를 뽑아보도록 하겠습니다.

 

혹시 이 글을 보고계신 전문가 분이 있으시다면 의견남겨주세요... 

전혀 모르고 따라하는 거라 많은 도움이 됩니다.