[運営さんへ] 前コンペのprivateスコアに関して

お世話になっております。

今回の予測コンペに関連して、 「前コンペのprivateスコアが終了後も回数無制限で確認できること」は問題ではないかと考えました。 testデータが前コンペと同内容のため、評価指標が異なるとはいえ、 前コンペに終了後もファイルが提出でき、privateスコアも知ることができると そちらの方からtestデータの中身が推測できてしまう恐れがあるのではと思います。 (それができる前提で競うということなら、話は別ですが。。。)

ご確認のほど、何卒よろしくお願い致します。

Aws4 request&x amz signedheaders=host&x amz signature=00a8ca5af3456f6e643cd8762b7d8f8635bd7a09941707b7ac7cf4a5fb5d82d8
ProbSpace_official

ご質問ありがとうございます。
前コンペのprivate スコアを使ったLB probing(testデータを予測する行為)についてですが、
一日あたりの提出上限を5回と定めておりますため、順位影響するほど予測精度を上げるとまではいかないものと想定しておりました。
(コンペ期間中に可能な提出上限=230回に対し、testデータは34,844レコード)

また、testデータは前回と同じですが、public, privateデータはシャッフルしておりますため、
前回コンペのPrivate LBを用いて推測される影響も限定的ではあるかと思います。

なお1st place solutionについては、OpenReviewルールにより、解法が開示されますため、
皆さまと共にチーティングの有無について確認させていただければと思います。
注)LB probing自体は禁止行為です。

ご確認のほど、どうぞよろしくお願いいたします。

Icon8
tsuchiyoshi

ご回答いただきありがとうございます。 承知いたしました。

Favicon
new user
コメントするには 新規登録 もしくは ログイン が必要です。