初めまして。私も初めてのコンペで何もわからなない状態ですが、スプラトゥーンはやったことがあるのでわかる点は回答します。

その１

nawabariだとランクは関係なくマッチングされるので、NaNになっているのだと思います。nawabariのランクも存在しません。 また、このゲームはネットを介して行うのでネット環境が弱い人は回線落ちする(=その試合に参加できない)ことが多々あります。これは試合開始時にすでに人数が少なかったり、試合中に回線落ちすることもあります。感覚的には数万試合あってA4やB4がNaNである数十～数百だと回線落ちの割合が低いと感じています。ですので、この回線落ちは試合開始時にすでに回線落ちしていると推測します。4対4のゲームが4対3になるので、回線落ちしていると勝率が著しく悪いと思います。

その２

時間帯は気にしたことないので分からないですが、あまり関係ないと思っています。

その３

概ねご理解の通りだと思います。また、nawabariだとレベルは上がりますが、ランクは上がりません。nawabariをやりこんでランクが低いけどレベルは高い、という人もいるかもしれません。私はnawabariは一切やらず、gachiしかしません。

その他 ①　私も気になります。

その２についてはプレイ時間帯はわかりませんが、下記のようなtwitterでアンケートを取った結果があります。 スプラトゥーン2ではウデマエというランク帯のほかにXPという内部レートが存在し、その平均は15～17歳ぐらいがピークになります。ガチマッチ(ナワバリ以外)では基本的に同じウデマエ帯の中の、似たようなXPの人がマッチングされる仕様になっているとされています。基本的には勝率の高いガチ勢はガチ勢同士マッチングする方向なはずです。ナワバリはわかりません。 https://twitter.com/Nanatoman710/status/1292456320860213249

その３についてはサブアカが存在するのでもう少し複雑です。例えばレベル10台でウデマエが高い方はサブアカ勢(もしくはスプラトゥーン1をやりこんでいた方)の可能性があります。ただ、このようなサブアカ勢と初心者がマッチングしないようにB帯以降は内部レートに従ってサブアカ勢同士をマッチングしやすくするようにしているとも噂されています。例えば、今回のトレーニングデータのid 3470などはほぼ全員がサブアカ勢のように見えます。

あとは新しいブキの練習のためにわざとウデマエ帯を落とすことも可能なので、レベルが高く、ウデマエがC+という方も本当に下手なのかはわかりません。

fffukken さん

コメントありがとうございます．

コメント大変参考になりました．

自分としてもA4やB4のweaponとlevelが欠測している原因は，回線落ちだと思っていましたが，試合開始時にすでに回線落ちしていると考えると勝率に大きく影響を与えそうですね．

武器やステージの組み合わせももちろんですが，このランクとレベルをどうやって特徴量にしていくかもカギになってきそうですね．（まだ単純に数値化しているだけなので汗）

uratatsu さん

コメントありがとうございます．

コメント大変参考になりました．

ザブアカ勢の存在や，ウデマエ(ランク？)を落とすことが可能とのことで，実際にこういうゲームをプレイしたことがないので詳しくはわかりませんが，レベルが高いプレイヤーが集まる場所だと他のプレイヤーにかけて迷惑がかかってしまうことから，あえて少し低めのマッチングをしているって感じなんですかね？ そう考えると，このあたりのランクやレベルの扱いは，かなり難しいものになりそうですね(;´･ω･)

他の方がドメイン知識について回答をされているようなので、自分はCV,LBスコアや気になるところを簡単に共有したいと思います。
自分の場合、CVとLBは下の通りです(若干記憶が曖昧なのですが大体はあってるはずです・・・)

• CatBoost
  CV: 0.568〜0.571, LB: 0.568~0.569
• LightGBM
  CV: 0.566〜0.568, LB: 0.568〜0.569
• NN
  CV: 0.562, LB 0.566

いずれも5foldで、勝敗の比率が同じようになるように分割しています(いずれ分割方法は変えようと思っています)。
NNとLightGBMを3:7で重み付き平均したらLBが0.571になりました。

trainとtestの分布はあまり変わらないと思うのでCVを信じようと思います。

以下気になってるところです。

• カテゴリ変数が多いので、どうエンコーディングしたら良いかはすごく悩んでいます。embedding等を試しているのですが、今のところはone-hot(ぽいやつ)が一番うまくいっています。
• A1の人はレベル平均が高い傾向があり、Aチームのほうが勝率が高いのはこれに起因していると思うのですが、何を元にAチームBチーム、添字1~4を決めているのか気になっています。
• データのかさ増しとしてA1~A4とB1とB4をそれぞれシャフルしたものを用いて学習したのですが、NNだと精度や学習ロスが改善するのに対し、LightGBMだと殆ど変わりませんでした(実装バグの可能性あり)。

参考になれば幸いです！

その③　ランクとウデマエについて

実際のところ、ゲームモードは全部で ・なわばり ・ガチマッチ ・プライベート(フレンドのみ入れる) ・リーグマッチ の4つが存在します。

ガチマッチとリーグマッチは、よく似ていて、どちらも２時間起きにステージ更新、ルールもエリアからあさりまでじゅんぐりあります。

違いは、ガチマッチはランダムマッチング、リーグマッチは固定の2人or4人のチームで行われる点です。 1人でも味方でVCできる人がいるだけでもわりと違ったりしますし、楽しめます。

そういう観点で、人によっては、ガチマは知らん人と組まされるからつまらん、リグマは楽しい。みたいな人はいます。そういった場合、ガチマッチのウデマエは(やらないので、)クソ低いのですが、ランクや実際のスキルは高いみたいな人は存在します。

TASSAN さん

コメントありがとうございます．

コメント大変参考になりました．

各手法，CVとLBが一致しており，またLBが安定して高いこと考えると，自分自身の各モデルも特徴量の作り方次第で，まだまだ上げることができるはずなので，いろいろ試行錯誤してみたいと思います．

特に，自分の作成したNNモデルは，LB:0.553くらいなので，見直しが必要だなと思いました．

この後に書くことは実装とかミスってるかもしれないので参考程度に読んでもらえたらと思います．

weaponに関してはmodeとセットにして，Target Encodingを試してみましたが， CVは上がったものの，LBは上がりませんでした． ただ，自分が試したTarget Encodingが，リークを起こしやすいデータ全体を使ったTarget Encodingだったため，リークの起こりにくい，Holdout TSなどまだまだ試してみる価値はあるのかなと思っています．

また，ゲームを知らない素人考えでやったシンプルなものとしては，使用頻度が高い武器＝強い武器or扱いやすい武器，なのではと思い，武器を使用頻度でランク付けしてみたものが，lightGBMでは，それなりに特徴量として結果に影響を与えているような気がします． ただ，マニアックな武器を使う玄人プレイヤーとかもいるようなので，そのあたりはレベルなどと組み合わせていく必要があったりするのかなと思っています．

レーティング算出に関するトピックをあげている方もいたので，そのあたりも試してみたいなとは思っています．

有効かどうかはともかく，他に試してみたいのは，NNでチームではなく個人の勝率予測を学習させて，その中間層を取り出し，それを武器，ステージ，スコア，ランクを集約した分散表現として取り出すとかやってみたら面白いのかなと思っています．

何を元にAチームBチーム，添字1~4を決めているかは確かに気になっています． ゲームとかだと，ステージによって初期位置とかがあると思うので，初期位置とかに紐づいているんですかね？

まだ，一か月以上あるので，コメント参考にしつついろいろ試してみようと思います！

sylk さん

コメントありがとうございます．

コメント大変参考になりました．

やはり，ランクとレベルをどうやって，モデルに組み込むかは，いろいろ試してみる価値がありそうですね． 自分は，このあたりドメイン知識ないので，単純にランクとレベルを順位付けして入力していますが，実際分類には影響を与えているので，もう少し凝った前処理をいただいたコメントを参考に考えていきたいと思います．

僕は基本的にはCVとPublicのスコアが大体同じくらいで安定しているなと考えていたのですが、ちょっと前にターゲットエンコーディングを試してみたら、CV:0.63くらいでpublic:0.526くらいのモデルがたまたまできて、本コンペでここまでCVとPublicのスコアに差が出たのは初なのでどうしたものか現在悩んでいます。ターゲットエンコーディング初めて試してみたのでリークしてそうですが...

というか今回ProbSpace初参加なので、そもそもどうやって最終サブを選ぶのか僕も全くわかってないのですがここどうなんでしょう？

疑似ラベルは擬似ラベルをそれなりの精度で付けられないと、あんまりうまくいかないことがあったので、今回のタスクでは個人的にはうまくいかなさそうかなと思ってます。といっても一回しか試したことないので、どうなるかわかりませんが。

個人的には、ランクやレベルよりかは、武器の相性・バランスや、(データにはないけど)プレイヤーの位置どり、(こちらもデータにはないけど)Ult(スペシャルウェポンってやつかな)の使うタイミングなんかが勝敗に大きく影響しそうな気がしてるので、武器データをいじって何かいい結果が出ないかなと現在は試してみています。

pop-ketle さん

コメントありがとうございます．

コメント大変参考になりました．

自分もTarget Encodingを試してみましたが， CVは上がったものの，LBは上がりませんでした． 自分もCV:0.63くらいだった気がします． ただ，自分が試したTarget Encodingが，リークを起こしやすいデータ全体を使ったTarget Encodingだったため，リークの起こりにくい，Holdout TSなど他のTarget Encodingを試してみる価値はあると思っております．

最終サブに関しては，他のトピックが作られており，提出ファイルの内，private LB上で最も精度の高いcsvが自動選択される仕様みたいですね．

疑似ラベルは，いまのところはうまくいっていないので，いろいろ検討中です． 今回のような予測の難しいタスクには向いていない気はしております．

今回のコンペティションでは、各行が1マッチ分の情報(参加選手の武器や勝敗のデータ)を含んでいます。

そのうえで、データの出典元を少し覗くと「「A1」は投稿者であり、このプレーヤーを統計に含めると大きく偏ることに注意してください。」という注意書きがあるのがわかります。 このことからおそらく、「A1」プレイヤーがマッチしたマッチ情報が、データセットの各行にあたります。つまり「A1」プレイヤーはある特定のプレイヤー、そのほかのA2~B4まではランダムなプレイヤーの可能性があります。 （masatoさんのtopic「A1-levelの一部抜けについて」をみてもらうとその節は有力なのではないでしょうか）

また、A1プレイヤーは特定のプレイヤーではありますが、一人ではなく複数、つまり投稿者がひとりではなく多数いるということがEDAなどしてみるとわかります。 以上を踏まえると、仮説ではありますが、「A1プレイヤーの特定」が有効かもしれないとうことと、 「A1~B4プレイヤーのランダム性に基づく特徴量作成」が重要であるかもしれないという二つの仮説をつくることができます。

前者に関しては、train data と test data をconcatさせてEDAをしてみると、A1プレイヤーのみに注目した時、おそらく同一の投稿者のマッチがtrain と test の両方にいることがわかります。 そのことから、A1プレイヤーの特定は有効なのかなという感じではあります。

後者に関しては、データセットの各行にある「A2～B4プレイヤー」はランダムで決まるので、学習データに、A2～B4プレイヤーの武器などの特徴量をそれぞれそのまま入れるとoverfitする可能性があると思います。 加えて、武器ごとの勝率などをtarget encodeing で得ようとした際には、A1プレイヤー以外のプレイヤーのデータをすべて用いて行わないと正しい勝率は得られないと考えられます。 （A1プレイヤーも含めて勝率を得たほうが、予測にはもしかしたらいいのかもしれませんが） 今回のコンペでは、各プレイヤーの扱い方が重要になるのではと思っています。

ここに書いたのは全部私個人の感想ですが、まちがっていたら本当にすみません。

今回のコンペの課題的にランダム性がすごく大きいことが理由かどうかわりませんが、私のcvスコアもlbスコアも全然安定してません。cvがよくなった！と思ったらlbは下がるし..という感じです。 結構seed値にも左右されるのではないのかなとも思っています。(私自身のスコアは、cv:0.568前後、lb:0.559前後結構幅広くという感じでした) また、学習データのoof予測値も、テストデータの予測値も、targetの分布とはことなり、1を異常に多く予測してしまいます。そこから、過学習しているのかなとも思っていますが、まだよくわかっていません。 予測したラベルの分布を、targetの分布とくらべてみるのいいのかもしれません。

masato8823 さん

コメントありがとうございます．

コメント大変参考になりました．

データの出典元の確認しておらず，見落としていましたが，「A1」のプレイヤーによって，情報提供がなされているんですね． それによって，「A1」のレベルの分布が，他の分布と異なる結果になっていることにも納得ができました．

A1プレイヤーとその他のプレイヤーの情報を分けて考えることで，精度upのためにいろいろなことがまだまだできそうだなと感じました．

特にコメントにいただいた「A1プレイヤーの特定」は，投稿者によっては投稿の偏り（勝ったものを投稿しやすい，とある武器での勝率が高いなど）みたいなものがあるとしたら，かなり有効なのかもと思いました．

ゲーム未プレイであり，間違ってたら申し訳ないですが，levelに関しては単調に増加していくものと解釈しているため，プレイヤーのlevelは少しずつ上がっていく気がするのですが，どの程度の期間or試合数でlevelは上がっていくものなのでしょうか？また，RPGのように高レベルになるとレベルが上がりにくくなるものなのでしょうか？

このあたりがある程度わかれば，A１プレイヤーの特定は，レベルと日時のデータを使うことで，雑にですができるのかなと思いました．

また，改めてlevelの分布を見てみると，異様に多いlevel (198, 99, 297)があるようですが，このあたりもなんでなのか疑問が残ります．

これスレッド更新しても特に通知とかないから本当に更新がわかりづらい...

一度スレッドでレベルについてまとめたので見てみてください。 https://prob.space/competitions/game_winner/discussions/sylk-Post7f21c4a3311b778a36ae

一言で言うと、レベルは1~99を循環します。ただし、99 -> 1 (=100)にするかどうかをプレイヤーは選択できます。特に後半だと更新する意味もないので、更新せず99や198で放置しているためです。

sylk さん

コメントありがとうございます．

以前に挙げられていたトピック読んだときは，イマイチ理解できなかったのが，今改めて読んで納得できました．

横軸を時系列にし，縦軸をA1プレイヤーのlevelにすると以下のような図になりました．

trainのy=1に限定したもの，y=0に限定したもの，testに限定したものは以下のような図になりました．

小さくて分かりづらくて申し訳ないですが，学習データとテストデータは，投稿者関係なくランダムに分けられているように見えます．

また，時間経過とともに，A1プレイヤーのレベルが上がっている傾向が見えたため，雑にですが同じデータ投稿者の特定をしてみました．（武器を変えた場合は，同じ投稿者だとしても，別の投稿者とみなしてます）

同じ投稿者だろうなっていうのは，データをsortするとよくわかります．

これが何かに使えるかどうかはわかりませんが，一応ある程度の特定はできそうと確認できたので，簡単にですが共有しておきます．

ちなみになんですが、「データの出典元を少し覗くと「「A1」は投稿者であり、このプレーヤーを統計に含めると大きく偏ることに注意してください。」という注意書きがあるのがわかります。 」
とありますが、このデータの出典元ってどこから見れますか？探しても見つけられなかったので少し気になります。

また、A1~B4までの'x', 's+', 's'のランクの人数が(A4, B4を除いて(恐らく欠損値とかの関係で))

• x: 24736
• s+: 13241
• s: 5164

と全て同じなことに気づいたのですが、これについてなにか考えがある人はいますか？データ生成のプロセスと関係していそうで、プレイヤーの特定に役立つのではないかと考えています。

pop-ketle さん

コメントありがとうございます．

前者のデータの出典は，「基本情報」→「データ」のstat.inkより見れると思います（一応リンクも貼っておきます）．

後者の上位ランクの人数に関しては，スプラトゥーンの知識共有及び質問回答スレッドにて，上位は同じランクとしかマッチしないと書いてあったので，それが原因なのではと思いますが，ゲーム未プレイなので自信はありません．

takaito さん

コメントありがとうございます。
データの出典確認しました。ありがとうございます。

確かに、上位は同じランクとしかマッチングしないのでしたら納得がいきます。その説が有力そうですね。

気軽に思ったことを書き込めるTLみたいなものがあると，色々思ったこととか書き込めるけど，新たにトピック乱立させたくないなと思うとなかなか気軽に書き込みもできない_:(´ཀ`」 ∠):

色々試したけど，三週間ほど成果が出てないし，どの手法も0.563あたりで伸び悩む． ただ，LBで0.58超えてる猛者たちがいるから，もう少し頑張ってみたい気持ちもある．

上にも書いてありますが、新しく書き込んでも特に通知がなくて確認しにくいのもなかなか面倒ですね。

自分も0.5~0.6くらいから大きな改善ができないままここまできたので、あとはアンサンブルをちょっとだけ頑張るかという感じです。