[카카오 아레나] 쇼핑몰 상품 카테고리 분류 대회 리뷰 Part 3 — 실험, 결과 그리고Ablation Study
2 min readFeb 11, 2019
실험 결과
12월초 첫 제출을 시작으로 대회 마지막날까지의 제출 목록(일부)입니다. 참가자마자 전략이 달랐겠지만 대회 초기에는 주최측이 제공한 코드에서 최대한 정확도(파란색 점, 빨간색 점)를 쥐어짜보려고 했습니다. 대회 막판으로 갈 수록 새로운 구조, 실험을 시도했습니다.
파란색, 노란색 점
파란색 부분은 Learning Rate와 Epoch 정도만 변경했고 주최측의 baseline 정확도를 얻을 수 있었습니다. 빨간색 부분은 하이퍼파라미터를 튜닝하는 단계인데 FC의 수와 크기를 조절하기도 하고 임베딩의 크기를 조절하기도 했습니다. 이 시기에 좋은 등수를 기록하기도 했지만 꽤 오랫동안 정확도 개선이 없었기 때문에 막판에 순위권(1~6위)에서 밀려났습니다.
노란색 점
노란색 부분은 Part 2에서 설명했던 구조를 적용한 결과입니다. 대회 막판으로 갈 수록 아주 작은 개선이 있었는데 Epoch을 늘리거나 Learning Rate를 세부적으로 조절한 것이 주요했습니다.
앙상블(Ensemble)
최종 제출한 모델의 크기가 900MB가 넘고 대회 기준이 1GB 이내였기 때문에 앙상블 결과를 제출할 수 없었지만 가능성을 확인하고자 시도해보았습니다. 아래는 앙상블과 최종 결과 비교입니다.
단일 모델로는 1위 팀보다 우수했지만 1위 팀이 앙상블을 통해 더 좋은 결과를 보였습니다. 대회 막판에 모델을 줄여서 앙상블을 시도하려했지만 위의 결과를 보면 1GB 이내의 앙상블을 했더라도 1위 점수는 넘기 힘들었을 것 같습니다.
다음 포스트에서 대회 소감을 정리하며 이번 시리즈를 마무리하겠습니다!
