コンビニ商品の売上予測

気象シミュレーションデータから、各商品が何個売れるか当ててみよう!

賞金: 100,000 参加ユーザー数: 485 2年弱前に終了

後処理およびLBの評価について

簡単に分かっていることの紹介をします。
最終的な予測値に対して後処理として四捨五入による整数値への変換を行うだけで精度が向上しています(PublicLB:1.146>1.144)。

また提出ファイルのうち14日目以降のデータを全て100にして提出したところLBスコアに変化がなかったため、Public/PrivateLBは時系列順に分割されており、少なくとも14日以降のデータはPrivateLBの評価範囲になります。
正確な範囲については調べていません。

Aws4 request&x amz signedheaders=host&x amz signature=c827c4e620ff850ef7c634735750162a09e76f2e5054f0ffbda295349ae65396
Sard

ありがとうございます。
スコアを見た感覚ですが、一部の商品(おそらく後半の一部)もPrivateLBの評価範囲になっていると思います。

Icon6
T.Kaz

ありがとうございます。
もしよろしければ、ご教示頂きたいです。
以下の理由はなぜだと考えられていますか?PublicLBだけかもしれないですし。
>「最終的な予測値に対して後処理として四捨五入による整数値への変換を行うだけで精度が向上しています

Aws4 request&x amz signedheaders=host&x amz signature=c827c4e620ff850ef7c634735750162a09e76f2e5054f0ffbda295349ae65396
Sard

評価方法で:
「テストデータセットの天候情報から、各商品の売上数。y(売上数)を非負整数で予測してくだい。」
が理由だと個人的に思います。

Icon6
T.Kaz

なるほどです。見逃していました。
ありがとうございます!

Aws4 request&x amz signedheaders=host&x amz signature=dfb061ca4d42a04325f2c7f29593123572eb454e7739b02f41552bf7c46f0613
tanuking0

最終的に四捨五入で後処理をすると統計的に少しスコアが改善しやすいみたいです。下記の過去のKaggle discussionがわかりやすいです。
https://www.kaggle.com/competitions/tabular-playground-series-jan-2022/discussion/301249

Aws4 request&x amz signedheaders=host&x amz signature=18c460e0f1a4cbec696e7933edd75112b89b5f994bd51e7efeabc0d9112dfa9a
Akahachi

不勉強のため、kaggleのTPSで分位点回帰が題材になっていたことを知りませんでした。
シェアしていただき、ありがとうございます。

Icon6
T.Kaz

ありがとうございます!
内容確認してみます!

Aws4 request&x amz signedheaders=host&x amz signature=18c460e0f1a4cbec696e7933edd75112b89b5f994bd51e7efeabc0d9112dfa9a
Akahachi

勘違いしてました。
ご紹介いただいたdiscussionのコンペは分位点回帰とは特に関係ありませんでした。

ちなみに上記のディスカッションは直観的に納得できる内容でしたが、予測誤差が0を中心に山型に分布していることが前提になっています。今回のような分位点回帰(特に0.5以外のq)の場合にも、その前提が成り立っているのか少し疑問です。

Aws4 request&x amz signedheaders=host&x amz signature=dfb061ca4d42a04325f2c7f29593123572eb454e7739b02f41552bf7c46f0613
tanuking0

Akahachiさま、ご確認ありがとうございます。
ご認識のとおりで、0.5のときのみ上記議論がなりたちます。しかし、τの影響で0.5のときの修正誤差の影響が0.01, 0.1, 0.9, 0.99による修正誤差の影響以上になるので、結果的にスコアが伸びるのかなと思います。

Favicon
new user
コメントするには 新規登録 もしくは ログイン が必要です。