画像がうまく表示されないので，どうしたら表示できるか教えてもらえると幸いです．

モデリングに関して、自分はしばらくLightGBM使っていたのですが、CatBoostに切り替えたところ精度がそこそこ上がりました

また、LightGBMモデルとCatBoostモデルのアンサンブルも（わずかに）効果がありました

弱教師あり学習について

自分は、弱教師あり学習が特徴らしい？コンペということで、citesがないデータに対して、まずcitesを予測するモデルを作成し、trainデータのcitesの欠損値を埋めることで、使用可能なデータを増やす(いわゆるpseudo labeling的な)ことを取り組みとしてここしばらく試していましたが、あまり上手くいきませんでした。
仕方ないので、とりあえず弱教師あり学習は無視してcitesが存在するデータのみを用いる以前の方法に戻ることにしようかな...と考えています。弱教師あり学習である点を活かした特徴量やモデルづくりをできている人がいるのかかなり気になります。

doi_citesについて

じゃあ、本コンペ、弱教師あり学習の目玉であるはずの低精度被引用数、doi_citesってなんなんだ？という話になってくるかと思います。
自分のモデルでもdoi_citesのimportanceはかなり高く出ていて、また、本ディスカッション上でもあげられていますが、doi_citesとciteの相関はそれなりに高いものとなっています。

そこで、doi_citesがどのように生成されたものなのかを考えるのが鍵なのかなと考えて、今は少し思案中です。 軽くEDAをしたところ、doi_citesとdoiは一対一の関係にあるっぽいことがわかったので、doiの情報を何かもっと活かせないかと考えているのですが、ベン図を作成してみたところ、trainとtestでdoiの重なりはあまりなさそうなので、ここからどうしようかなといった感じです。


# ベン図でtrainとtestの比較
columns = ['submitter', 'authors', 'title', 'journal-ref', 'doi', 'report-no', 'categories', 'license', 'update_date']
n_figs = len(columns)
n_cols = 4
n_rows = n_figs // n_cols + 1
fig, axes = plt.subplots(figsize=(n_cols * 3, n_rows * 3), ncols=n_cols, nrows=n_rows)
for c, ax in zip(columns, axes.ravel()):
    venn2(
        subsets=(set(train[c].unique()), set(test[c].unique())),
        set_labels=('Train', 'Test'),
        ax=ax
    )
    ax.set_title(c)

plt.savefig(f'./venn.png')
plt.show()

おまけ

titleとabstractに対して、自然言語処理的な特徴量生成を行えると思いますが、自分が軽く触った限り、あんまりいい特徴量を生成できていません。ここら辺の情報は結構大きいものとなる気はしているのですが、他の人はどんな感じなのか少し気になります。

弱教師あり学習について

citesありのデータだけで学習したモデルでcitesなしtrainデータを予測＆pseudo labelを振って学習データに突っ込むのはうまくいきませんでした。

分類問題では、ある程度自信を持って予測できているデータ（予測確率>=0.99など）のみをpseudo label振って学習データに突っ込むのがよくある方法とのことで、今回のような回帰問題でも取り入れられないか考えてみました。

具体的には、citesありデータを対象にCatBoostの 損失＝RMSEWithUncertainty で学習し、予測分散が小さいデータだけpseudo labelを振って学習データに突っ込むということをしました。 https://towardsdatascience.com/tutorial-uncertainty-estimation-with-catboost-255805ff217e

結果として、Public Score: 0.487558 (pseudo labelなし) → 0.486965 (pseudo labelあり)とスコア改善に繋がりはしたものの、劇的な向上は得られませんでした。

共有ありがとうございます。 0.49の壁が厚いと感じています。

doiはこちらのトピックで紹介されていたデータと紐づけて特徴として使用しています。 https://prob.space/competitions/citation_prediction/discussions/pn11-Postbc1b4fff9039ae354198

モデルは同じくCatBoostが一番精度が高かったですが、NNモデル作ってStackingすると効果ありました。 TabNetも試したみましたが効果があまり感じられなかったですね。