マルチモーダルコンペティション!Ridgelinezとの共同開催です
T.Kaz
以下の投稿よりリークのご指摘がありましたが、その後の対応について何も返答がありません。どのような対応になりますか?ご回答よろしくお願いいたします。
https://comp.probspace.com/competitions/kiva2021/discussions/maruyama-Post6b8c824cd5bf75520bed
T.Kaz様
ご返信遅くなり誠に申し訳ございません。ご指摘いただいたリークに関する対応について、回答させていただきます。
■対応方針2ステージ制とはせず、オープンレビューコンペにて継続実施、といたします。
■(詳細説明にあたり)オープンレビューコンペティション開催の背景理由を説明させていただくにあたり、ProbSpaceコンペティションサイトの設立背景、理念について触れさせていただきます。
弊社サービスは、2019年、kaggleを中心とした海外コンペサイトが大きな話題を呼んでいた中で、国内データサイエンティストの皆さまに向けスキル習得・向上の場を提供したい、との思いのもとリリースされました。コンペ開催を進めるにあたっては、昨今のデータガバナンス・情報漏洩問題ため、多くの企業様よりデータ提供いただくことが非常に難しい状況である、という問題がございました。そのような中でも、皆さまが気軽に参加できるコンペは作れないものか、と試行錯誤の末、オープンレビューコンペ、という方式を採用することといたしました。
■本コンペティションにおける対応ご指摘いただいた通り、本コンペおいては正解データを紐付けることが可能であるため、オープンレビュー形式であるとはいえ、ハイパーパラメーターによる調整を排除しきることが難しい、という性質がございます。
ご懸念が残ることは承知の上ではございますが、現事業環境の中でも、多様なテーマ・難易度のコンペティションを提供させていただくための現実解として、オープンレビュー方式が最適であると考えております。
2ステージ制のご提案につきましてもありがとうございます。もっともなご指摘と存じますが、提出締切から間を置かず順位・入賞者コードが開示されることが、学習効率において重要と考えたうえで当方式を取り入れておりますので、誠に申し訳ございませんが今回は見送りとさせてください。別の機会にて、採用できないか検討させていただけましたらと存じます。
またIDの乱数化につきましては、配慮すべき事項でございました。次回以降 コンペ作成の必須事項として対応いたします。
何卒、ご理解のほどよろしくお願いいたします。