コンビニ商品の売上予測

気象シミュレーションデータから、各商品が何個売れるか当ててみよう!

賞金: 100,000 参加ユーザー数: 481 1年以上前に終了

後処理およびLBの評価について

簡単に分かっていることの紹介をします。
最終的な予測値に対して後処理として四捨五入による整数値への変換を行うだけで精度が向上しています(PublicLB:1.146>1.144)。

また提出ファイルのうち14日目以降のデータを全て100にして提出したところLBスコアに変化がなかったため、Public/PrivateLBは時系列順に分割されており、少なくとも14日以降のデータはPrivateLBの評価範囲になります。
正確な範囲については調べていません。

Aws4 request&x amz signedheaders=host&x amz signature=d2f0b29921a90089f4de39a260ed7be699c91c641e194f26b5b7008470a6a7bc
Sard

ありがとうございます。
スコアを見た感覚ですが、一部の商品(おそらく後半の一部)もPrivateLBの評価範囲になっていると思います。

Icon6
T.Kaz

ありがとうございます。
もしよろしければ、ご教示頂きたいです。
以下の理由はなぜだと考えられていますか?PublicLBだけかもしれないですし。
>「最終的な予測値に対して後処理として四捨五入による整数値への変換を行うだけで精度が向上しています

Aws4 request&x amz signedheaders=host&x amz signature=d2f0b29921a90089f4de39a260ed7be699c91c641e194f26b5b7008470a6a7bc
Sard

評価方法で:
「テストデータセットの天候情報から、各商品の売上数。y(売上数)を非負整数で予測してくだい。」
が理由だと個人的に思います。

Icon6
T.Kaz

なるほどです。見逃していました。
ありがとうございます!

Aws4 request&x amz signedheaders=host&x amz signature=a0ed0d9d7df400a7a6eb903e9ed313573c83b5171b3520f47624bcc5355e1572
tanuking0

最終的に四捨五入で後処理をすると統計的に少しスコアが改善しやすいみたいです。下記の過去のKaggle discussionがわかりやすいです。
https://www.kaggle.com/competitions/tabular-playground-series-jan-2022/discussion/301249

Aws4 request&x amz signedheaders=host&x amz signature=83016c74b688caa12588f1f4419adc0be80043fe8ec02fcd8c4356c07e03c1e2
Akahachi

不勉強のため、kaggleのTPSで分位点回帰が題材になっていたことを知りませんでした。
シェアしていただき、ありがとうございます。

Icon6
T.Kaz

ありがとうございます!
内容確認してみます!

Aws4 request&x amz signedheaders=host&x amz signature=83016c74b688caa12588f1f4419adc0be80043fe8ec02fcd8c4356c07e03c1e2
Akahachi

勘違いしてました。
ご紹介いただいたdiscussionのコンペは分位点回帰とは特に関係ありませんでした。

ちなみに上記のディスカッションは直観的に納得できる内容でしたが、予測誤差が0を中心に山型に分布していることが前提になっています。今回のような分位点回帰(特に0.5以外のq)の場合にも、その前提が成り立っているのか少し疑問です。

Aws4 request&x amz signedheaders=host&x amz signature=a0ed0d9d7df400a7a6eb903e9ed313573c83b5171b3520f47624bcc5355e1572
tanuking0

Akahachiさま、ご確認ありがとうございます。
ご認識のとおりで、0.5のときのみ上記議論がなりたちます。しかし、τの影響で0.5のときの修正誤差の影響が0.01, 0.1, 0.9, 0.99による修正誤差の影響以上になるので、結果的にスコアが伸びるのかなと思います。

Favicon
new user
コメントするには 新規登録 もしくは ログイン が必要です。