lr drop1 [학습 일지] 오버피팅(overfitting)을 방지해보기 - 3 학습은 저번주에 끝났는데 이것저것 하느라 포스팅을 까먹었네요 오버피팅을 방지해보고자 시도했는데 생각보다 잘 나온 것 같습니다. weight_decay : 4.0e-5 (50epoch) weight_decay : 4.0e-3 (50epoch) weight_decay : 4.0e-3 (150epoch) 왼쪽부터 weight_decay : 4.0e-5 (50epoch) weight_decay : 4.0e-3 (50epoch) weight_decay : 4.0e-3 (150epoch) 입니다. train와 valid loss가 크게 늘어나기는 했지만 그래프의 모양이 전보다 좋아졌습니다. 먼저 weight decay값을 키운 후 50epoch만 돌렸을때는 오히려 안좋게 작용했나 생각했는데 학습횟수를 늘리고 재학습.. 2021. 1. 19. 이전 1 다음 반응형
