気象シミュレーションデータから、各商品が何個売れるか当ててみよう!
kotrying
簡単に分かっていることの紹介をします。最終的な予測値に対して後処理として四捨五入による整数値への変換を行うだけで精度が向上しています(PublicLB:1.146>1.144)。
また提出ファイルのうち14日目以降のデータを全て100にして提出したところLBスコアに変化がなかったため、Public/PrivateLBは時系列順に分割されており、少なくとも14日以降のデータはPrivateLBの評価範囲になります。正確な範囲については調べていません。
ありがとうございます。スコアを見た感覚ですが、一部の商品(おそらく後半の一部)もPrivateLBの評価範囲になっていると思います。
ありがとうございます。もしよろしければ、ご教示頂きたいです。以下の理由はなぜだと考えられていますか?PublicLBだけかもしれないですし。>「最終的な予測値に対して後処理として四捨五入による整数値への変換を行うだけで精度が向上しています
評価方法で:「テストデータセットの天候情報から、各商品の売上数。y(売上数)を非負整数で予測してくだい。」が理由だと個人的に思います。
なるほどです。見逃していました。ありがとうございます!
最終的に四捨五入で後処理をすると統計的に少しスコアが改善しやすいみたいです。下記の過去のKaggle discussionがわかりやすいです。https://www.kaggle.com/competitions/tabular-playground-series-jan-2022/discussion/301249
不勉強のため、kaggleのTPSで分位点回帰が題材になっていたことを知りませんでした。シェアしていただき、ありがとうございます。
ありがとうございます!内容確認してみます!
勘違いしてました。ご紹介いただいたdiscussionのコンペは分位点回帰とは特に関係ありませんでした。
ちなみに上記のディスカッションは直観的に納得できる内容でしたが、予測誤差が0を中心に山型に分布していることが前提になっています。今回のような分位点回帰(特に0.5以外のq)の場合にも、その前提が成り立っているのか少し疑問です。
Akahachiさま、ご確認ありがとうございます。ご認識のとおりで、0.5のときのみ上記議論がなりたちます。しかし、τの影響で0.5のときの修正誤差の影響が0.01, 0.1, 0.9, 0.99による修正誤差の影響以上になるので、結果的にスコアが伸びるのかなと思います。