[振り返り]効いた・効かなかった解法について
皆様、お疲れさまでした。
効いた・効かなかった解法を議論できればと思いますので、是非、皆さんのアイデア・コメント等も教えて頂ければと思います。
なお私の解法は、PROBSPACEの過去コンペ「宗教画テーマの分類」の1位解法、anooさんのものを参考にしたのですが、
途中で力尽きました。
参考：https://comp.probspace.com/competitions/religious_art/discussions/anoo-Post43902e99c081b1fbc676
最高スコアはLB0.874、シングルモデルでの最高スコアはLB0.865(Swin Transformer,pseudo labeling,水平反転のみのaugmentation)でした
--
■今回スコアに効いたと思うもの
・Swin Transformer
・pseudo labeling
⇒複数のモデルでAugmentationしたファイルの有/無等の条件を変え5つの予測ファイルを作り、5つの判定結果が一致する1406枚でpseudo labelingとしました。
■やったけどスコアに効かなかったもの
・特に無（強いて言えばalbumentationのShiftScaleRotate)
■あまり取組めなかったもの
・アップサンプリング・ダウンサンプリング
4つのラベルのサンプル数に明かな差があるので、何か対策を打つべきと考え、3のラベルについてAugmentation(水平反転のみ)を加えましたが、あまり対策できませんでした。
⇒単純に画像を削除してしまうダウンサンプリングが効くのが一番試したかったのですが、、、
・Augmentation
albumentationを利用したのですが、水平反転とShiftScaleRotateのみ試し、後者はあまりスコアに効かなそうなので前者のみ使いました。
⇒垂直反転や回転等含め他の効果は効き目があったのか気になっています。
・TTA（実装できず）
・判定が難しい画像への個別対応
手元の計算結果や上位の方のスコアを見ていると恐らく数十枚程度は、判定が難しい画像があるのかと思われました。
そこで、何かそれらに特徴的な部分(例えば、「基本情報」で記載のあった引目鉤鼻の検知や、ある特定の色が占める割合等)を見出して判別する個別対応のコードがあると良いのかと思いましたが、実装はできませんでした。
・ラベル2の画像の判定
Orejinさんの投稿で「クラス２は、特徴的な絵になっています。」と言うコメントがあったのですが、確かにそう見えたので、何かこれを特定してしまうコードが書ければラベル数を4つから3つへ減らすことができるかとも思ったのですが、流石にそこまでは難しいでしょうか、、、、
・評価指標
今回の痛恨のポイントだったのですが、swin transformerのメトリックでMacro-F1の実装が間に合わず、pseudo labelingで使っていたaccuracyで実装・提出としてしまいました、、、、
（ところで、評価指標の数式ですが、kが0から7までとなっていますが、今回はクラスは4つですのでKは0から4までで、実は1/8ではなくて1/4で割るのではないかと思ったりもしました。）
それでは皆様、効いた解法、効かなかった解法、コメント・アドバイス、是非教えて頂ければと思います。