後処理およびLBの評価について

簡単に分かっていることの紹介をします。
最終的な予測値に対して後処理として四捨五入による整数値への変換を行うだけで精度が向上しています(PublicLB:1.146>1.144)。

また提出ファイルのうち14日目以降のデータを全て100にして提出したところLBスコアに変化がなかったため、Public/PrivateLBは時系列順に分割されており、少なくとも14日以降のデータはPrivateLBの評価範囲になります。
正確な範囲については調べていません。

Aws4 request&x amz signedheaders=host&x amz signature=f767ec5366894cf6346e45e9865519445d249c865a62f1b35a55ae0c8c249856
Sard

ありがとうございます。
スコアを見た感覚ですが、一部の商品(おそらく後半の一部)もPrivateLBの評価範囲になっていると思います。

Icon6
T.Kaz

ありがとうございます。
もしよろしければ、ご教示頂きたいです。
以下の理由はなぜだと考えられていますか?PublicLBだけかもしれないですし。
>「最終的な予測値に対して後処理として四捨五入による整数値への変換を行うだけで精度が向上しています

Aws4 request&x amz signedheaders=host&x amz signature=f767ec5366894cf6346e45e9865519445d249c865a62f1b35a55ae0c8c249856
Sard

評価方法で:
「テストデータセットの天候情報から、各商品の売上数。y(売上数)を非負整数で予測してくだい。」
が理由だと個人的に思います。

Icon6
T.Kaz

なるほどです。見逃していました。
ありがとうございます!

Aws4 request&x amz signedheaders=host&x amz signature=8ed9ccf89a35591abc7227a8f8d50be9d4d25913ac6821ee6c726929a6fa6825
tanuking0

最終的に四捨五入で後処理をすると統計的に少しスコアが改善しやすいみたいです。下記の過去のKaggle discussionがわかりやすいです。
https://www.kaggle.com/competitions/tabular-playground-series-jan-2022/discussion/301249

Aws4 request&x amz signedheaders=host&x amz signature=6f73bcbbf33e089a0935052f04cbfcf72ce2492f4dee13ff65c6fc77ff240676
Akahachi

不勉強のため、kaggleのTPSで分位点回帰が題材になっていたことを知りませんでした。
シェアしていただき、ありがとうございます。

Icon6
T.Kaz

ありがとうございます!
内容確認してみます!

Aws4 request&x amz signedheaders=host&x amz signature=6f73bcbbf33e089a0935052f04cbfcf72ce2492f4dee13ff65c6fc77ff240676
Akahachi

勘違いしてました。
ご紹介いただいたdiscussionのコンペは分位点回帰とは特に関係ありませんでした。

ちなみに上記のディスカッションは直観的に納得できる内容でしたが、予測誤差が0を中心に山型に分布していることが前提になっています。今回のような分位点回帰(特に0.5以外のq)の場合にも、その前提が成り立っているのか少し疑問です。

Aws4 request&x amz signedheaders=host&x amz signature=8ed9ccf89a35591abc7227a8f8d50be9d4d25913ac6821ee6c726929a6fa6825
tanuking0

Akahachiさま、ご確認ありがとうございます。
ご認識のとおりで、0.5のときのみ上記議論がなりたちます。しかし、τの影響で0.5のときの修正誤差の影響が0.01, 0.1, 0.9, 0.99による修正誤差の影響以上になるので、結果的にスコアが伸びるのかなと思います。

Favicon
new user
コメントするには 新規登録 もしくは ログイン が必要です。