マルチモーダルコンペティション!Ridgelinezとの共同開催です
maruyama
https://www.kiva.org/lend/<LOAN_ID> でテストデータの融資額がわかります。
https://www.kiva.org/lend/<LOAN_ID>
オープンレビュー時にチーティングがないことを証明するのが難しそうです。 ハイパラ一つ決めるだけでもチーティングの疑いが残ります。
リークしてたんですね。。報告ありがとうございます!
text とか 画像に埋め込まれたらレビューだけじゃなくて実行環境用意しないと難しそうですね。。。 test データは全部入れ替えて、LOAN_ID は偽物にしてもらう形になるんでしょうか。念のため、IMAGE_IDも偽物にしてもらった方がいいかもですね。
性善説に頼らないコンペを目指すなら、2ステージ制にして未来のデータでprivate LBを計算するしかないと思います。 クローズした過去案件を公開し続けていることが原因なので、IDを差し替えても解決しません。 例えば、DESCRIPTION_TRANSLATEDでサイト内検索しても融資額を特定できるはずです。
リークとは別の話題ですが、コロナ禍以前 (2018-2019) を学習データ、コロナ禍以降 (2020-2021) をテストデータにするコンペ設計自体に納得いっていないので、そういう意味でも2ステージ制に変えてほしいです。
以下のトピックにて、リークに対する回答を頂きましたので連絡いたします。
https://comp.probspace.com/competitions/kiva2021/discussions/T.Kaz-Post2d225dc89896f8bb7f01