僕も同じような問題に頭を悩ませています。
僕の場合は CV: 150.371, Public: 72.258 です。外れ値処理はしていないです。

パッと考えただけで根拠はないですが、乖離が起こる原因としては前者ではなく後者なのではないかと考えています。
時系列が異なるけど2018年を境に不動産価格に急激な変化が起こったと考えにくいかなと思っています。
むしろ Public には 学習データにあるような外れ値（異常に高い価格）のデータが少ないかもしれないと考えています。

RMSE1標準偏差ととらえられるので、外れ値の影響をモロに受けます。 平均65に対してRMSEが100付近なので外れ値がかなり効いてますね。

値段の分布を確認すると

print((pd.cut(train_df['y'], [-1, 1, 10, 100, 1000, 10000, 100000])).value_counts())

(10, 100] 298760

(100, 1000] 28059

(1, 10] 27126

(1000, 10000] 1700

(-1, 1] 652

(10000, 100000] 47

これからある程度同じような分布の配列と、10％低く外れた予測値を用意します。 あと50000がない状態の配列、予測値も用意します。

mogi = np.array([5]600 + [50]6500+[500]600+[5000]40+[50000])

pred = mogi*0.9

mogi2 = np.array([5]600 + [50]6500+[500]600+[5000]40)

pred2 = mogi2*0.9

これをもとに今回の指標：RMSE、別の価格コンペで使われた指標（RMLSE、MAPE）とで見比べると

MSE = ((mogi-pred)**2).sum()/len(mogi)

print('RMSE', MSE**0.5) #RMSE 68.81

LMSE =((np.log1p(mogi)-np.log1p(pred))**2).sum()/len(mogi)

print('RMLSE', LMSE**0.5) #RMLSE 0.1022

print('MAPE', (np.abs(mogi-pred)/mogi).sum()*100/len(mogi)) #MAPE 10.00

MSE = ((mogi2-pred2)**2).sum()/len(pred2)

print('RMSE-50000', MSE**0.5) #RMSE-50000 38.81

LMSE =((np.log1p(mogi2)-np.log1p(pred2))**2).sum()/len(mogi2)

print('RMLSE-50000', LMSE**0.5) #RMLSE-50000 0.1022

print('MAPE-50000', (np.abs(mogi2-pred2)/mogi2).sum()*100/len(mogi2)) #MAPE-50000 10.00

となってRMSEは全体の0.1%しかない高い値に大きく左右されています。

高い値はpublicには含まれてなさそうなので、privateにどれくらい異常に高い値が含まれるか、それを当てられるか勝負かもです。 コメント欄の使い方慣れてなく見にくくて申し訳ないです。