勝敗予測のモデルの解釈

勝敗が予測できる試合について

機械学習モデルが偏った予測値を出力する試合について個別に見てみます。 初心者プレイヤーからみた見解とSHAPで確認した要因が一致しているかを確認します。

使用するモデルについて

テーブルデータでよく用いられているLightGBMを使います。
学習用データで交差検証を用いると、約57%の正答率のモデルです。

個々の試合について解釈してみる

モデルが高い確率で勝つor負けると予測したデータについて、SHAPで解釈してみます。 （ついでにプレイ時間200時間くらいの初心者の考察もつけます）

試合1(モード：ガチヤグラ)

• Aチーム：スプラシューターコラボ(c+:89)、おちばシューター(c+:54)、プライムシューターベッチュー(c+:39)、スプラローラー(c+:59)
• Bチーム：ケルビン525デコ(c:29)、N-ZAP89(c-:17)、プロモデラーMG(c-:18)、もみじシューター(c+:25)
• 予測値：0.867435（Aチームが勝つ確率が86.7%と予測）

プレイ時間200時間くらいの初心者の見解
ブキ種や射程に大きな差はないように見えます。しかし、Aチームにウデマエ、ランクが高いプレイヤーが多いことが少し勝敗に影響しそうな気もします。

SHAPによる予測要因の上位3件

• 平均ウデマエのチーム間の差
• 平均ランクのチーム間の差
• モード・ブキについてtarget encodeして算出した平均勝率のチーム間の差

チーム編成を変えてシミュレーション
メインブキが重ならず、ランクとウデマエが近づくようにチームメンバを入れ替えて予測結果を算出してみます。

• Aチーム：おちばシューター(c+:54)、スプラローラー(c+:59)、N-ZAP89(c-:17)、プロモデラーMG(c-:18)
• Bチーム：ケルビン525デコ(c:29)、もみじシューター(c+:25)、スプラシューターコラボ(c+:89)、プライムシューターベッチュー(c+:39)
• 予測値：0.461721（Aチームが勝つ確率が46.1%と予測）

ウデマエ・ランクの偏りをなくすことで、勝敗を予測しにくいチーム編成にすることができました。

試合２(モード：ナワバリ)

• Aチーム：ハイドラントカスタム(172)、ボールドマーカー(65)、N-ZAP89(28)、スプラローラー(66)
• Bチーム：スプラローラーベッチュー(57)、 14式竹筒銃・乙(44)、ヒーローチャージャー レプリカ(121)、リッター4K(129)
• 予測値：0.918811（Aチームが勝つ確率が91.9%と予測）

プレイ時間200時間くらいの初心者の見解
Bチームにチャージャーが３人いるいわゆる編成事故と呼ばれるようなマッチングです。
ナワバリバトルではブキ種が偏ることがあり、勝敗に影響することが多いように感じます。

SHAPによる予測要因の上位3件

• モード・メインウェポンについてtarget encodeして算出した平均勝率のチーム間の差
• モード・ブキカテゴリについてtarget encodeして算出した平均勝率のチーム間の差
• モード・ブキについてtarget encodeして算出した平均勝率のチーム間の差

今回のデータではチャージャーの勝率が低く算出されるので、チャージャーが多ければ多いほど負けやすいと予測されます。

まとめ

モデルが高い確率で勝つor負けると予測したデータについて、初心者プレイヤーからみた見解とSHAPの予測要因がある程度噛み合っていることがわかりました。また、ブキ種やランク、ウデマエが偏ったチーム編成により不公平なマッチングが発生していると考えられます。