Re:不動産取引価格予測

評価指標をRMSLEと改めて開催します

賞金: 100,000 参加ユーザー数: 297 約4年前に終了

[運営さんへ] 前コンペのprivateスコアに関して

お世話になっております。

今回の予測コンペに関連して、 「前コンペのprivateスコアが終了後も回数無制限で確認できること」は問題ではないかと考えました。 testデータが前コンペと同内容のため、評価指標が異なるとはいえ、 前コンペに終了後もファイルが提出でき、privateスコアも知ることができると そちらの方からtestデータの中身が推測できてしまう恐れがあるのではと思います。 (それができる前提で競うということなら、話は別ですが。。。)

ご確認のほど、何卒よろしくお願い致します。

Aws4 request&x amz signedheaders=host&x amz signature=4a3a32a7200c1ae3e108ff0ba9b4fce584d180601580f0be81a863ca9e6e7cf1
ProbSpace_official

ご質問ありがとうございます。
前コンペのprivate スコアを使ったLB probing(testデータを予測する行為)についてですが、
一日あたりの提出上限を5回と定めておりますため、順位影響するほど予測精度を上げるとまではいかないものと想定しておりました。
(コンペ期間中に可能な提出上限=230回に対し、testデータは34,844レコード)

また、testデータは前回と同じですが、public, privateデータはシャッフルしておりますため、
前回コンペのPrivate LBを用いて推測される影響も限定的ではあるかと思います。

なお1st place solutionについては、OpenReviewルールにより、解法が開示されますため、
皆さまと共にチーティングの有無について確認させていただければと思います。
注)LB probing自体は禁止行為です。

ご確認のほど、どうぞよろしくお願いいたします。

Icon8
tsuchiyoshi

ご回答いただきありがとうございます。 承知いたしました。

Favicon
new user
コメントするには 新規登録 もしくは ログイン が必要です。