パラメータ(中間層の数、エポック数、バッチサイズ)を調整してみた。

筆者は３つのパラメータ(中間層の数、エポック数、バッチサイズ)を調整し、正答率をあげてみました。

ちなみに、コードは記事(https://qiita.com/takurooo/items/82837e44b466e7634c98) を参考にしました。

1 中間層の数(エポック数 = 100、バッチサイズ = 32)

中間層 3層: 95.7%

中間層 4層: 97.2%

中間層 5層: 97.2%

よって、5層以上は必要ないと言うことが判明しました。

2 エポック数(中間層の数 = 3、 バッチサイズ = 32)

エポック数 100: 95.7%

エポック数 200: 96.4%

これより大きくすると時間がかかりすぎる(> 1h)&過学習が怖いのでここまでにしました。

3 バッチサイズ(中間層の数 = 3、エポック数 = 100)

バッチサイズ 32: 95.7%

バッチサイズ 64: 96.7%

理論上は小さい方が詳細な特徴量が抽出できるので小さくしたかったのですが、データ量が大きすぎでGoogle Colabのメモリが満杯になったので断念しました。逆に大きくしても正答率が上がったので結果的に良かったです。

さて、これから考えうる最強の組み合わせ(中間層4層、エポック数200、バッチサイズ64)で実験を行なった結果、正答率は、、、 97.0%とあまり伸びませんでした。

これらの実験を通して、筆者はパラメータ調整のみの限界を感じたので、新たな秘策を２つ試して本気で正答率をブーストさせようと思います。結果が出たらまた記事書くのでぜひお読み下さい。

それでは。