[運営さんへ質問]imagenet などの事前学習済みモデルの扱いについて

外部データ/学習済みモデルの使用
本コンペティションの基本情報/データから取得できるデータのみを用いてチャレンジして下さい。
ただし、コンペ外データ(人文学オープンデータ共同利用センター公開データが明示的に含まれているものは除く)を用いて学習された学習済みモデルの使用は可能とします。

こちらの項目に関して質問させてさい。

以前 probspace 様で行われた [宗教画テーマの分類コンペでのトピック](https://comp.probspace.com/competitions/religious_art/discussions/kumalab-Post06f44561bd928ae3dc4d) と内容が被り恐縮なのですが、

imagenet 等汎用的な学習済みモデルを用いた場合、Open Review での検証でデータの被りが見つかった場合は不可と判断されるのでしょうか?
また、「明示的には含まれていない」とは、例えば「顔コレデータセットを含んでいます」と明記されていない、という判断でしょうか?(つまり大抵の大規模データセットではそのような記載がないので、使用しても問題がない、または Open Review 期間でデータの被りが判明しても明示的ではなかったので問題がないと判断される?)

ご確認のほど、よろしくお願い致します。

Aws4 request&x amz signedheaders=host&x amz signature=ac3ec61372a92bb2c735522d2a355a8f295f97a33e69aa1c4afd1d495e1b5df1
ProbSpace_official

kumalab様

ご連絡遅くなり大変申し訳ございません。
前回ご指摘を頂いていたにも関わらず、一部ルールについて不明瞭な記載をしており失礼いたしました。
ご質問いただいたimagenet 等の汎用的な学習済みモデルについては、前回同様にホワイトリストとして対応させていただきましたの。今回のコンペティションでは、申請なくご利用いただいて問題ございません。

重複する点もございますが、以下ご質問への回答となります。
>「明示的には含まれていない」とは、例えば「顔コレデータセットを含んでいます」と明記されていない、という判断でしょうか?(つまり大抵の大規模データセットではそのような記載がないので、使用しても問題がない、または Open Review 期間でデータの被りが判明しても明示的ではなかったので問題がないと判断される?)
こちらは仰る通りの考え方で認識相違ありません。
コンペデータを用いた学習済みモデルを使用した場合チーティングに抵触する恐れがある一方、大規模データセットについてはユーザーが個々の画像を精査することが現実的ではないことから、一部主観的ではありますがこの様な文面で規定を設けております。
一方で、あくまでOpen Reviewによる検証となりますため、仮にテストデータとの被りが含まれている場合は、他ユーザー様より指摘が入る可能性もございます。その際は、運営側でも該当箇所を確認のうえ、可 / 不可を判断させていただきます。

>imagenet 等汎用的な学習済みモデルを用いた場合、Open Review での検証でデータの被りが見つかった場合は不可と判断されるのでしょうか?
imagenet 等の汎用的な学習済みモデルにつきましては、上記の通り「明示的には含まれていない」範囲であれば、お使いいただいて問題ございません。
万一、imagenet等ライブラリにテストデータとの被りが含まれていた場合、混乱が想定されますので、
[宗教画テーマの分類コンペでのトピック](https://comp.probspace.com/competitions/religious_art/discussions/kumalab-Post06f44561bd928ae3dc4d) での対応と同様、下記ホワイトリストに関するルールを追加いたしました。

■追加ルール:ホワイトリストの使用について
以下ライブラリについては、ホワイトリストとし、たとえテストデータとの被りが含まれる場合も、使用に際して不正とはみなされないものとします。
ホワイトリストにつきましてはこちらより参照ください。

・ホワイトリスト
https://docs.google.com/spreadsheets/d/1GSOeYEl0inJdrbt00ERrKpNWJf2sTMwggOG0crvP49Y/edit?usp=sharing

ホワイトリストにないツールの使用に際してご心配になられることもあるかと存じます。
その場合は運営にて、ホワイトリストへの追加を判断いたしますので、お気軽にお問い合わせいただけましたらと存じます。

何卒よろしくお願いいたします。

Aws4 request&x amz signedheaders=host&x amz signature=cc2321ed2507cb1a1de814ff67a09d61ae44bfabd920e167daee635c21fe06b6
kumalab

運営様

丁寧な返信、対応ありがとうございます!
承知いたしました!

Favicon
new user
コメントするには 新規登録 もしくは ログイン が必要です。