efficientDet2 [학습 일지] 오버피팅(overfitting)을 방지해보기 - 3 학습은 저번주에 끝났는데 이것저것 하느라 포스팅을 까먹었네요 오버피팅을 방지해보고자 시도했는데 생각보다 잘 나온 것 같습니다. weight_decay : 4.0e-5 (50epoch) weight_decay : 4.0e-3 (50epoch) weight_decay : 4.0e-3 (150epoch) 왼쪽부터 weight_decay : 4.0e-5 (50epoch) weight_decay : 4.0e-3 (50epoch) weight_decay : 4.0e-3 (150epoch) 입니다. train와 valid loss가 크게 늘어나기는 했지만 그래프의 모양이 전보다 좋아졌습니다. 먼저 weight decay값을 키운 후 50epoch만 돌렸을때는 오히려 안좋게 작용했나 생각했는데 학습횟수를 늘리고 재학습.. 2021. 1. 19. [학습 일지] 오버피팅(overfitting)을 방지해보기 - 1 안녕하세요 오랜만입니다. 요즘 사업을 진행하며 모델을 학습하고 적합한 모델을 만들어보라는 미션을 맡게 되었는데요 이번에 2만장 데이터를 학습했는데 다 비슷한 데이터라 심한 오버피팅이 발생했습니다. 답을 외워서 조금만 다른 데이터가 주어지면 틀린 답을 내놓더라구요 그래서 석박사가 아니라 정확히는 모르지만 조사해본 결과 크게 3가지의 방법을 사용한다고 합니다. 1. 데이터의 양을 늘린다. 2. 모델의 복잡도를 줄인다 3. 가중치 규제를 적용한다. 여기서 1번은 충분한 데이터가 이미 있기때문에 패스하고 2번도 기존의 SOTA 모델의 백본을 가져와 사용하기 때문에 3번을 적용시키기로 하였습니다. 제가 사용하는 모델은 efficientDet으로 2019 SOTA인 efficientNet을 사용하는 모델입니다. 그.. 2021. 1. 11. 이전 1 다음 반응형
