後処理およびLBの評価について

簡単に分かっていることの紹介をします。
最終的な予測値に対して後処理として四捨五入による整数値への変換を行うだけで精度が向上しています(PublicLB:1.146>1.144)。

また提出ファイルのうち14日目以降のデータを全て100にして提出したところLBスコアに変化がなかったため、Public/PrivateLBは時系列順に分割されており、少なくとも14日以降のデータはPrivateLBの評価範囲になります。
正確な範囲については調べていません。

Aws4 request&x amz signedheaders=host&x amz signature=2a8013da5c932ebb130bc17e96efef7c69f8b25eb80f505854b01a681bab3684
Sard

ありがとうございます。
スコアを見た感覚ですが、一部の商品(おそらく後半の一部)もPrivateLBの評価範囲になっていると思います。

Icon6
T.Kaz

ありがとうございます。
もしよろしければ、ご教示頂きたいです。
以下の理由はなぜだと考えられていますか?PublicLBだけかもしれないですし。
>「最終的な予測値に対して後処理として四捨五入による整数値への変換を行うだけで精度が向上しています

Aws4 request&x amz signedheaders=host&x amz signature=2a8013da5c932ebb130bc17e96efef7c69f8b25eb80f505854b01a681bab3684
Sard

評価方法で:
「テストデータセットの天候情報から、各商品の売上数。y(売上数)を非負整数で予測してくだい。」
が理由だと個人的に思います。

Icon6
T.Kaz

なるほどです。見逃していました。
ありがとうございます!

Aws4 request&x amz signedheaders=host&x amz signature=f78ba38eac4fa87ee86b0dbb94ae71e43661926c6b510e6a7f32128b7f9e44a9
tanuking0

最終的に四捨五入で後処理をすると統計的に少しスコアが改善しやすいみたいです。下記の過去のKaggle discussionがわかりやすいです。
https://www.kaggle.com/competitions/tabular-playground-series-jan-2022/discussion/301249

Aws4 request&x amz signedheaders=host&x amz signature=ba38b9911e80f6d9e159636ad9278c185e3896b0fe53ab632b125c76a85e5884
Akahachi

不勉強のため、kaggleのTPSで分位点回帰が題材になっていたことを知りませんでした。
シェアしていただき、ありがとうございます。

Icon6
T.Kaz

ありがとうございます!
内容確認してみます!

Aws4 request&x amz signedheaders=host&x amz signature=ba38b9911e80f6d9e159636ad9278c185e3896b0fe53ab632b125c76a85e5884
Akahachi

勘違いしてました。
ご紹介いただいたdiscussionのコンペは分位点回帰とは特に関係ありませんでした。

ちなみに上記のディスカッションは直観的に納得できる内容でしたが、予測誤差が0を中心に山型に分布していることが前提になっています。今回のような分位点回帰(特に0.5以外のq)の場合にも、その前提が成り立っているのか少し疑問です。

Aws4 request&x amz signedheaders=host&x amz signature=f78ba38eac4fa87ee86b0dbb94ae71e43661926c6b510e6a7f32128b7f9e44a9
tanuking0

Akahachiさま、ご確認ありがとうございます。
ご認識のとおりで、0.5のときのみ上記議論がなりたちます。しかし、τの影響で0.5のときの修正誤差の影響が0.01, 0.1, 0.9, 0.99による修正誤差の影響以上になるので、結果的にスコアが伸びるのかなと思います。

Favicon
new user
コメントするには 新規登録 もしくは ログイン が必要です。