浮世絵作者予測 4位解法

はじめに

浮世絵作者コンペの参加者の皆様、お疲れさまでした。 また、このコンペを開催してくださいましたProbSpaceの運営の皆様に感謝申し上げます。 11月上旬からローカルGPUの空きを見ながら学習を回して、最終的なLBスコアは0.927でした。

実装

今回は基本的な方式を積み重ねてスコアを改善していく方針をとっていました。そのため、独自のアイデアは組み込まず、既発表の手法のみを使っています。 モデルは2個のResNeXtと2個のSwGridNetのアンサンブルとなっています（SwGridNetは以前に私が作成したDCNNモデルで、性能はResNeXtと同じぐらいです）。このモデルを2回蒸留したものが最終モデルとなります。

反省点

学習回数が少なすぎた？

すべてのモデルの学習を500 epochでやっていました。しかし、1位のak1100さんの解法では1800 epochも回しています。私のモデルの学習回数は少なすぎたのかもしれません。

蒸留（疑似ラベル）の効果は低い？

一般的に、DCNNのモデルは蒸留することで性能があがりますが、今回のコンペではあまり変化がありませんでした（蒸留前のモデルがLB:0.922で、最後のモデルがLB:0.927です）。

TTAを忘れてた

推論コードにTTAを入れ忘れていました。こんな基本的なことを忘れていては勝てるはずがありません。

おわりに

楽しいコンペでした。次回を楽しみにしています。