目標

目標は学習データセットの花粉飛散量情報と天候情報にもとづき、花粉飛散量を予測することです。

評価指標

• 評価期間は2020年4月1日〜4月14日となります。
• モデルの予測性能はMAEで評価されます。
• 評価値は0以上の値をとり、精度が高いほど小さな値となります。
• public / privateの比率は過去コンペと比べるとややprivateの割合が高くなります。
• 各拠点に対しての評価weightはありません。

提出ファイルの形式

回答用のsubmission.csvを用意する(エントリーとヘッダー行を含む) 。
提出されたファイルに余分な行や列が含まれていた場合はエラーとなります。

提出ファイルは以下の列のみを必ず含んでください:

• 年月日時(テストセットのカラムと同じ順序)
• 観測3拠点(予測された花粉飛散量)

以下は提出ファイルの例です。

datetime,pollen_utsunomiya,pollen_chiba,pollen_tokyo
20100201,16.0,6.0,0.0,
20100202,13.0,6.0,1.0,

コンペティションルール

■Open Review Competition

本コンペでは、開催期間終了後 賞金対象者のコードを公開し、ユーザーの皆様にチーティング有無をレビューしていただき順位確定させる、オープンレビュー方式のコンペティションを行います。

賞金対象ユーザー
コンペ終了後1週間以内：
トピックにて、学習過程の分かるコードの公開をお願いいたします。 （簡易解説までつけていただけると助かります。）

コード公開後1週間：
レビュアー（ユーザー）より、チーティングの疑いに関するコメントがある場合は、ご回答をお願いいたします。
※チーティングとは無関係のコメント（ノウハウに関する質疑 等）についてもご回答いただけると幸いですが、順位確定の判断材料とは致しません。

レビュアー（ユーザーの皆様）
コード公開後1週間： 公開コードを確認いただき、チーティングが疑われる場合は、トピックを通して質疑の投稿をお願いいたします。

レビュアーからの質疑と、回答状況をふまえて、最終的に運営側で順位確定を判断します。

■順位決定ロジック

1. コンペ期間中はPublicリーダーボード（以下LB）により暫定評価を、最終結果についてはPrivate LBにより評価します。
   ※ Private LBはコンペ終了と同時に表示されます。
2. Private スコア計算に使われるファイルについては、2つまで選択可能です。
   ※ 未選択の場合は、Public スコアの上位ファイルが提出上限まで自動選択されます。
3. スコアが同値の場合は、早い日時に提出いただいたユーザーが上位となります。
4. コンペ終了後であっても、不正が発覚の際は、対象ユーザーは失格となり、全体の順位が繰り上がります。
   順位繰上げにより賞金対象者となられた場合は、繰上げ日より一週間以内に、トピックにてコードを公開いただき、「Open Review Competition」と同様のフローにて順位を確定させていただきます。

■タイムライン

開始　2022/10/3 0:00 JST
提出締切　2023/1/9 22:00 JST
終了日　2023/1/9 24:00 JST

エントリー締め切り なし

■システム利用

• 参加者ごとに1つのアカウントでご参加ください
• チーム参加の場合は、最大5名までエントリー可能です
• 1日あたり、各チーム最大5回までの提出が可能です
  (2022/11/24) 一日あたりの提出上限について「各チーム」との記載を追記いたしました

■禁止事項

• ユーザー間での情報共有
  コンペティションに関連するコード・データを、チーム外のユーザーと共有することはできません。全参加者が利用できる場合に限り、共有可能です。
• 外部データ/学習済みモデルの使用 ※ 2022/11/04 修正
  本コンペティションの基本情報/データから取得できるデータのみを用いてチャレンジして下さい。
  コンペ外データを用いて学習されたモデルの使用も禁止とします。

※コンペ期間中であっても、不正が疑われる場合は、運営より確認のためメール連絡させていただくことがございます。一週間以内にご回答いただけない場合も、不正と判断させていただきます。

■外部データ/学習済みモデルの使用申請について　※ 2022/11/04追加

原則外部データ/学習済みモデルの使用は禁止としておりますが、正解データの入手につながらない場合は、下記承認プロセスにより使用できることといたします。

１．トピックを作成し、取得元情報とデータ（格納先URLも可）を添付
２．運営にて判断・承認
注）ただし、コンペ終了まで7日をきってからの申請は禁止とします。

■運営からのお願い

公平性の担保、チーティング等の不正防止のため、予告なくルールの追加・変更を行う場合がございます。
ご不便をおかけすることもあるかと思いますが、サービス向上のためご了承ください。

本コンペティションにおける特約

本コンペティションは、Ridgelinez株式会社（以下「スポンサー企業」といいます。）による人材発掘を目的とするものです。本コンペティションに参加された方に関して、当社が保有する個人情報等のうち、以下の情報が、スポンサー企業に対して提供されます。

本コンペティションの順位、チーム名、ユーザー名、メールアドレス、所属、出身大学、過去の当社コンペティション参加実績に関する情報、スポンサー企業への関心の有無、紹介文、経験

スポンサー企業に対する、上記個人情報等の提供に同意のうえ、本コンペティションへの参加をお願いいたします。（本コンペティションに参加していない会員の個人情報がスポンサー企業に提供されることはありません。）

ProbSpace参加規約

コンペティションへの参加に際しては、ProbSpace利用規約（以下、「利用規約」といいます。）に加え、本ProbSpace参加規約（以下「本規約」といいます。）に同意いただく必要があります。利用規約にて定義された用語は、本規約においても同様の意味で用いられるものとします。

第1条（適用）

1. 参加者（第2条に定義します。）は、コンペティションに参加した時点で、本規約、利用規約、その他ご同意いただいた規約のすべて、及びコンペティションサイトに掲載されているコンペティションに関するルールの一切に同意したものとみなされます。
2. 本規約、利用規約、その他ご同意いただいた規約のすべて、及びコンペティションサイトに掲載されているコンペティションに関するルールは、コンペティションの終了後も参加者に適用されます。

第2条（定義）
本規約において次の各用語の定義は、それぞれ以下に定めるとおりとします。

1. 「本コンペ」とは、当社ウェブサイト上で開催されるAI開発又はデータ分析等に関するコンペティションのうち、本規約に紐づく特定のコンペティションを意味します。
2. 「主催者」とは、当社またはユーザーのうち、本コンペを主催する者を意味します。また、本コンペが、当社の顧客又は提携先の企業、学校その他の団体等がスポンサードするものである場合は、当該団体等も主催者の定義に含まれます。
3. 「参加者」とは、ユーザーのうち、主催者側以外の立場で本コンペに参加する方を意味します。
4. 「成果物」とは、本コンペにおいて参加者により開発される学習済みモデル、そのソースコード及び乱数シード等の設定値を意味します。
5. 「入賞者」とは、当社より本コンペに入賞した旨の通知を受けた参加者を意味します。
6. 「知的財産権」とは、著作権（著作権法第27条及び第28条に定める権利を含みます。）、特許権、実用新案権、商標権、意匠権、その他のノウハウ及び技術情報等の知的財産権（それらの権利を取得し、又はそれらの権利につき登録等を出願する権利を含みます。）を意味します。

第3条（権利の帰属）

1. 本コンペで発生した成果物に関する知的財産権は、参加者に帰属します。

第4条（入賞者の義務）

1. 入賞者は、本コンペで公開した成果物を、MITライセンスを適用し、商用利用の許諾条項及び著作権人格権の包括的不行使条項をライセンス条項に付与した形式で、オープンソースソフトウェアとして公開する義務を負うものとします。その前提として、入賞者は、成果物について本項に基づく方法でオープンソース化する権利を有していることを当社に対して表明保証するものとします。
   ※第三者が、授業・研修・セミナー等で活用できるようにするための規約となります。ご理解のほどよろしくお願いいたします。
2. 当社は、以下の3点の確認が完了した時点で、本コンペの賞金または商品を、入賞者に対して授与するものとします。
   1. 入賞者が、前項に基づいて成果物のオープンソース化を実施したこと
   2. 入賞者が、本規約、利用規約、その他ご同意いただいた規約のすべて、及びコンペティションサイトに掲載されているコンペティションに関するルールの一切に違反していないこと
   3. 当社が定める方法による本人確認
3. 当社は、入賞者が第1項に基づいてオープンソース化した成果物を、自由に商用利用することができます。

第5条（禁止事項）

1. 参加者は、本コンペにおいて、以下の各号のいずれかに該当する行為を行ってはならないものとします。
   1. クラッキングやチート行為、なりすまし、盗用等の不正行為
   2. 第三者の知的財産権その他の権利を侵害する内容ないし態様で、参加者公開事項を公開する行為
   3. 主催者（当社以外の者に限ります。）に対する直接連絡、相談、依頼、勧誘、勧誘対応等の活動（但し、当社を介して当社が認めた方法により行うものは除きます。）
   4. 本コンペにおいて、当該コンペと直接関係のない成果物等を提出すること
   5. 本規約における参加者としての地位又は参加者としての権利義務について、譲渡、移転、担保設定、その他の処分をすること
   6. その他、本規約、参加ルール及び利用規約に違反する行為
2. 参加者が前項に規定する禁止行為を行ったと当社が認める場合、当社は、当該参加者に事前に通知することなく、当該参加者の本コンペにおける失格処分、当社サービスの全部又は一部の利用停止、ユーザー登録の抹消、その他当社が必要と判断した措置をとることができるものとします。

第6条（本コンペの変更、中断、終了等）

1. 当社は、参加者に事前の通知をすることなく本規約に基づく本コンペの開催内容の変更、本コンペの一時的な中断又は終了を行うことができます。
2. 当社は、本条に基づき当社が行った措置により生じた結果及び損害について、一切の責任を負わないものとします。

第7条（損害賠償）

1. 参加者は、本コンペに関連して、自らの責に帰すべき事由により、当社、主催者その他の第三者に損害を与えた場合には、その一切の損害（逸失利益、弁護士費用を含みます。）を賠償するものとします。
2. 参加者が本規約の規定に違反したことにより主催者（当社を除きます。）その他の第三者が当社に対して何らかの訴え、異議、請求等がなされた場合において、当社から処理の要請がなされたときは、参加者は自己の責任と費用負担において、当社に代わって当該第三者との紛争を処理するとともに、当社がかかる訴え、異議、請求等により被った一切の損害（逸失利益、弁護士費用を含みます。）を賠償するものとします。

第8条（本規約の変更）
当社は、必要と判断した場合には、参加者に対して事前に通知する（本コンペにかかる当社ウェブサイト上での告知その他当社が適当と認める方法を含みます。）ことにより、いつでも本規約を変更することができるものとします。なお、変更内容の通知後、参加者が当社の定める期間内に本コンペへの参加を取り消す手続をとらなかった場合には、当該参加者は変更後の規約に同意したものとみなされます。当社は、本規約の変更により参加者に生じたすべての損害について一切の責任を負いません。

第9条（その他）
本契約の準拠法は日本法とし、本契約に起因し又は関連する一切の紛争については、当社の本店所在地を管轄する裁判所を第一審の専属的合意管轄裁判所とします。

（制定）2021年11月14日

FAQ

このコンペティションでは賞金はでますか？

はい。
最も精度の高い学習モデルを作成した優勝者には、賞金を贈呈します。
順位確定までのプロセスについては、ルール「Open Review Competition」を参照ください。

チームで参加できますか？

可能です。チームページから作成いただけます。

どこでアカウントをつくればいいですか？

こちらから作成いただけます。

コンペティション参加にはアカウント登録が必要となりますのでご注意ください。

外部データ/学習済みモデルを使うことは可能ですか？

本コンペティションの基本情報/データから取得できるデータのみを用いてチャレンジして下さい。

コードを提出するにあたって Seed を固定する必要はありますか？

Seed を固定することが推奨です。
ただし、Seed を固定しなくても提出用コードとしては認めています。

概要

「花粉飛散量予測コンペ」のチュートリアルです。

このチュートリアルでは、コンペデータセットに対して下記を行います。

• データの読み込み
• データの確認と可視化
• 訓練データの確認
• 提出データの作成

#ライブラリインポート
import numpy as np
import pandas as pd
import lightgbm as lgb
import matplotlib
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')
%matplotlib inline

環境

基本的なライブラリとPythonのバージョンを確認します。

#環境確認
!python3 --version
print("Pandas", pd.__version__)
print("Numpy", np.__version__)

Python 3.7.10
Pandas 1.2.5
Numpy 1.19.5

データの読み込み

まずはデータを読み込んで見ましょう。
csvデータの読み込みは複数のやり方がありますが、pandasのread_csv関数はその中でも機能が豊富で、扱いやすいためこちらを使います。

#データの読み込み
train_df = pd.read_csv("../data/train.csv")
test_df = pd.read_csv("../data/test.csv")
submit_df = pd.read_csv("../data/sample_submission.csv")
print(train_df.shape)
print(test_df.shape)

(12168, 16)
(336, 16)

DataFrameには.head()や.columns()というメソッドが定義されており、これを呼び出すとDataFrameの先頭の数行を確認できたり、列名を取得できます。

#列名確認
train_df.columns

Index(['datetime', 'precipitation_utsunomiya', 'precipitation_chiba',
       'precipitation_tokyo', 'temperature_utsunomiya', 'temperature_chiba',
       'temperature_tokyo', 'winddirection_utsunomiya', 'winddirection_chiba',
       'winddirection_tokyo', 'windspeed_utsunomiya', 'windspeed_chiba',
       'windspeed_tokyo', 'pollen_utsunomiya', 'pollen_chiba', 'pollen_tokyo'],
      dtype='object')

今回のデータは3拠点（宇都宮、千葉、東京）における降水量、気温、風向、風速、花粉の飛散量のデータがあることが確認できます。

データの確認と可視化

データを確認してみましょう。
DataFrameには.head()というメソッドが定義されており、これを呼び出すとDataFrameの先頭の数行を確認できます。

train_df.head()

	datetime	precipitation_utsunomiya	precipitation_chiba	precipitation_tokyo	temperature_utsunomiya	temperature_chiba	temperature_tokyo	winddirection_utsunomiya	winddirection_chiba	winddirection_tokyo	windspeed_utsunomiya	windspeed_chiba	windspeed_tokyo	pollen_utsunomiya	pollen_chiba	pollen_tokyo
0	2017020101	0.0	0.0	0.0	-1.0	4.1	2.9	16	1	2	2.7	2.5	1.3	0.0	8.0	0.0
1	2017020102	0.0	0.0	0.0	-1.1	4.2	2.6	1	1	1	3.3	1.5	0.9	0.0	24.0	4.0
2	2017020103	0.0	0.0	0.0	-0.7	4.2	2.4	1	15	16	4.0	1.7	0.6	4.0	32.0	12.0
3	2017020104	0.0	0.0	0.0	-1.1	4.4	1.8	1	15	1	4.1	3.1	1.4	0.0	12.0	0.0
4	2017020105	0.0	0.0	0.0	-1.2	4.1	1.5	2	14	14	3.7	3.4	0.9	0.0	32.0	4.0

次に宇都宮の花粉飛散量を可視化してみましょう。

train_df['pollen_utsunomiya'].plot(grid=True)

訓練データは2017年〜2020年3月までのデータであり、花粉飛散量も年ごとに大きな山があることが確認でき、さらには年ごとにデータの動きも異なるため大変予測が難しそうなことが確認できます。

提出データの確認

次は簡単な提出データを作成してみましょう。
今回の予測対象の期間は2020年4月1日〜4月14日となるので、訓練データから該当の期間の1年前、つまり、2019年4月1日〜4月14日の数値を抜き出してみましょう。

submit_df['pollen_utsunomiya']=train_df[(train_df['datetime']>=2019040101)&(train_df['datetime']<=2019041424)]['pollen_utsunomiya'].values
submit_df['pollen_chiba']=train_df[(train_df['datetime']>=2019040101)&(train_df['datetime']<=2019041424)]['pollen_chiba'].values
submit_df['pollen_tokyo']=train_df[(train_df['datetime']>=2019040101)&(train_df['datetime']<=2019041424)]['pollen_tokyo'].values

下記のようにして、提出用のsample.csvを出力します。

submit_df.to_csv('sample.csv',index=False)

提出してみるとわかりますが、前年数値そのままではMAE評価がかなり大きいことがわかります。
ぜひ、今回のデータに含まれる降水量や風向きなどの天候情報をうまく予測に取り込んでみましょう。

本コンペティションにおける特約

本コンペティションは、Ridgelinez株式会社（以下「スポンサー企業」といいます。）による人材発掘を目的とするものです。本コンペティションに参加された方に関して、当社が保有する個人情報等のうち、以下の情報が、スポンサー企業に対して提供されます。

本コンペティションの順位、チーム名、ユーザー名、メールアドレス、所属、出身大学、過去の当社コンペティション参加実績に関する情報、スポンサー企業への関心の有無、紹介文、経験

スポンサー企業に対する、上記個人情報等の提供に同意のうえ、本コンペティションへの参加をお願いいたします。（本コンペティションに参加していない会員の個人情報がスポンサー企業に提供されることはありません。）

ProbSpace参加規約

コンペティションへの参加に際しては、ProbSpace利用規約（以下、「利用規約」といいます。）に加え、本ProbSpace参加規約（以下「本規約」といいます。）に同意いただく必要があります。利用規約にて定義された用語は、本規約においても同様の意味で用いられるものとします。

第1条（適用）

1. 参加者（第2条に定義します。）は、コンペティションに参加した時点で、本規約、利用規約、その他ご同意いただいた規約のすべて、及びコンペティションサイトに掲載されているコンペティションに関するルールの一切に同意したものとみなされます。
2. 本規約、利用規約、その他ご同意いただいた規約のすべて、及びコンペティションサイトに掲載されているコンペティションに関するルールは、コンペティションの終了後も参加者に適用されます。

第2条（定義）
本規約において次の各用語の定義は、それぞれ以下に定めるとおりとします。

1. 「本コンペ」とは、当社ウェブサイト上で開催されるAI開発又はデータ分析等に関するコンペティションのうち、本規約に紐づく特定のコンペティションを意味します。
2. 「主催者」とは、当社またはユーザーのうち、本コンペを主催する者を意味します。また、本コンペが、当社の顧客又は提携先の企業、学校その他の団体等がスポンサードするものである場合は、当該団体等も主催者の定義に含まれます。
3. 「参加者」とは、ユーザーのうち、主催者側以外の立場で本コンペに参加する方を意味します。
4. 「成果物」とは、本コンペにおいて参加者により開発される学習済みモデル、そのソースコード及び乱数シード等の設定値を意味します。
5. 「入賞者」とは、当社より本コンペに入賞した旨の通知を受けた参加者を意味します。
6. 「知的財産権」とは、著作権（著作権法第27条及び第28条に定める権利を含みます。）、特許権、実用新案権、商標権、意匠権、その他のノウハウ及び技術情報等の知的財産権（それらの権利を取得し、又はそれらの権利につき登録等を出願する権利を含みます。）を意味します。

第3条（権利の帰属）

1. 本コンペで発生した成果物に関する知的財産権は、参加者に帰属します。

第4条（入賞者の義務）

1. 入賞者は、本コンペで公開した成果物を、MITライセンスを適用し、商用利用の許諾条項及び著作権人格権の包括的不行使条項をライセンス条項に付与した形式で、オープンソースソフトウェアとして公開する義務を負うものとします。その前提として、入賞者は、成果物について本項に基づく方法でオープンソース化する権利を有していることを当社に対して表明保証するものとします。
   ※第三者が、授業・研修・セミナー等で活用できるようにするための規約となります。ご理解のほどよろしくお願いいたします。
2. 当社は、以下の3点の確認が完了した時点で、本コンペの賞金または商品を、入賞者に対して授与するものとします。
   1. 入賞者が、前項に基づいて成果物のオープンソース化を実施したこと
   2. 入賞者が、本規約、利用規約、その他ご同意いただいた規約のすべて、及びコンペティションサイトに掲載されているコンペティションに関するルールの一切に違反していないこと
   3. 当社が定める方法による本人確認
3. 当社は、入賞者が第1項に基づいてオープンソース化した成果物を、自由に商用利用することができます。

第5条（禁止事項）

1. 参加者は、本コンペにおいて、以下の各号のいずれかに該当する行為を行ってはならないものとします。
   1. クラッキングやチート行為、なりすまし、盗用等の不正行為
   2. 第三者の知的財産権その他の権利を侵害する内容ないし態様で、参加者公開事項を公開する行為
   3. 主催者（当社以外の者に限ります。）に対する直接連絡、相談、依頼、勧誘、勧誘対応等の活動（但し、当社を介して当社が認めた方法により行うものは除きます。）
   4. 本コンペにおいて、当該コンペと直接関係のない成果物等を提出すること
   5. 本規約における参加者としての地位又は参加者としての権利義務について、譲渡、移転、担保設定、その他の処分をすること
   6. その他、本規約、参加ルール及び利用規約に違反する行為
2. 参加者が前項に規定する禁止行為を行ったと当社が認める場合、当社は、当該参加者に事前に通知することなく、当該参加者の本コンペにおける失格処分、当社サービスの全部又は一部の利用停止、ユーザー登録の抹消、その他当社が必要と判断した措置をとることができるものとします。

第6条（本コンペの変更、中断、終了等）

1. 当社は、参加者に事前の通知をすることなく本規約に基づく本コンペの開催内容の変更、本コンペの一時的な中断又は終了を行うことができます。
2. 当社は、本条に基づき当社が行った措置により生じた結果及び損害について、一切の責任を負わないものとします。

第7条（損害賠償）

1. 参加者は、本コンペに関連して、自らの責に帰すべき事由により、当社、主催者その他の第三者に損害を与えた場合には、その一切の損害（逸失利益、弁護士費用を含みます。）を賠償するものとします。
2. 参加者が本規約の規定に違反したことにより主催者（当社を除きます。）その他の第三者が当社に対して何らかの訴え、異議、請求等がなされた場合において、当社から処理の要請がなされたときは、参加者は自己の責任と費用負担において、当社に代わって当該第三者との紛争を処理するとともに、当社がかかる訴え、異議、請求等により被った一切の損害（逸失利益、弁護士費用を含みます。）を賠償するものとします。

第8条（本規約の変更）
当社は、必要と判断した場合には、参加者に対して事前に通知する（本コンペにかかる当社ウェブサイト上での告知その他当社が適当と認める方法を含みます。）ことにより、いつでも本規約を変更することができるものとします。なお、変更内容の通知後、参加者が当社の定める期間内に本コンペへの参加を取り消す手続をとらなかった場合には、当該参加者は変更後の規約に同意したものとみなされます。当社は、本規約の変更により参加者に生じたすべての損害について一切の責任を負いません。

第9条（その他）
本契約の準拠法は日本法とし、本契約に起因し又は関連する一切の紛争については、当社の本店所在地を管轄する裁判所を第一審の専属的合意管轄裁判所とします。

（制定）2021年11月14日