評価指標をRMSLEと改めて開催します
tsuchiyoshi
お世話になっております。
今回の予測コンペに関連して、 「前コンペのprivateスコアが終了後も回数無制限で確認できること」は問題ではないかと考えました。 testデータが前コンペと同内容のため、評価指標が異なるとはいえ、 前コンペに終了後もファイルが提出でき、privateスコアも知ることができると そちらの方からtestデータの中身が推測できてしまう恐れがあるのではと思います。 （それができる前提で競うということなら、話は別ですが。。。）
ご確認のほど、何卒よろしくお願い致します。
ご質問ありがとうございます。前コンペのprivate スコアを使ったLB probing（testデータを予測する行為）についてですが、一日あたりの提出上限を5回と定めておりますため、順位影響するほど予測精度を上げるとまではいかないものと想定しておりました。（コンペ期間中に可能な提出上限=230回に対し、testデータは34,844レコード）
また、testデータは前回と同じですが、public, privateデータはシャッフルしておりますため、前回コンペのPrivate LBを用いて推測される影響も限定的ではあるかと思います。
なお1st place solutionについては、OpenReviewルールにより、解法が開示されますため、皆さまと共にチーティングの有無について確認させていただければと思います。注）LB probing自体は禁止行為です。
ご確認のほど、どうぞよろしくお願いいたします。
ご回答いただきありがとうございます。 承知いたしました。
