#インポート
import pandas as pd
import numpy as np
import sklearn
import sklearn.metrics
import matplotlib.pyplot as plt
import lightgbm as lgb

# published リネーム準備
pair = [("所在地コード","市区町村コード"),("建蔽率","建ぺい率（％）"),("容積率","容積率（％）"),("駅名","最寄駅：名称"), 
        ("地積","面積（㎡）"),("市区町村名","市区町村名"),('前面道路の幅員','前面道路：幅員（ｍ）'), 
        ("前面道路の方位区分","前面道路：方位"),("前面道路区分","前面道路：種類"),("形状区分","土地の形状"), 
        ("用途区分","都市計画"), ('用途','地域')]
pair_dict = {key:value for key, value in pair}

# データ読み込み
path='./'
test_df = pd.read_csv(path+'test_data.csv')
train_df = pd.read_csv(path+'train_data.csv')
published_df = pd.read_csv(path+'published_land_price.csv',  dtype={'利用の現況': str})
published_df = published_df.rename(columns=pair_dict)
print(test_df.shape, train_df.shape, published_df.shape)

# train testを結合
train_df['logy'] = np.log1p(train_df['y'])
test_df['y'] = -1
train_df['logy'] = -1
all_df = pd.concat([train_df, test_df])
all_df = all_df.reset_index(drop=True)
print(all_df.shape)

all_df.columns

#all_df 前処理1
all_df['取引時点'] = all_df['取引時点'].str.replace('年第','.').str.replace('四半期','').str.replace('１','0').str.replace('２','25').str.replace('３','5').str.replace('４','75')
all_df["取引時点"] = pd.to_numeric(all_df["取引時点"], errors='raise')
all_df['面積（㎡）'] = all_df['面積（㎡）'].str.replace('000㎡以上','500')
all_df["面積（㎡）"] = pd.to_numeric(all_df["面積（㎡）"], errors='raise')
all_df.loc[(all_df['種類']=='林地') | (all_df['種類']=='農地'), '面積（㎡）']*=0.1
all_df['最寄駅：距離（分）'] = all_df['最寄駅：距離（分）'].replace('30分?60分','45').replace('1H?1H30','75').replace('1H30?2H','105').replace('2H?','120')
all_df["最寄駅：距離（分）"] = pd.to_numeric(all_df["最寄駅：距離（分）"], errors='raise')
all_df['間口'] = all_df['間口'].str.replace('0.0m以上','5')
all_df["間口"] = pd.to_numeric(all_df["間口"], errors='raise')
# all_df.loc[all_df['間口'].isna(), '間口'] = -(-(all_df.loc[all_df['間口'].isna(), '面積（㎡）']+1)**0.5//5)*5

#all_df 前処理2
all_df['延床面積（㎡）'] = all_df['延床面積（㎡）'].str.replace('㎡以上','').replace('10m^2未満','5')
all_df["延床面積（㎡）"] = pd.to_numeric(all_df["延床面積（㎡）"], errors='raise')
all_df['地域'] = all_df['地域'].str.replace('住宅地','0').str.replace('商業地','005').str.replace('宅地見込地','003').str.replace('工業地','009')
all_df["地域"] = pd.to_numeric(all_df["地域"], errors='raise')

#all_df 前処理3
all_df['最寄駅：名称'] = all_df['最寄駅：名称'].fillna('なし')
all_df['最寄駅：名称'] = all_df['最寄駅：名称'].str.replace('(東京)','').str.replace('(神奈川)','').str.replace('ケ','ヶ')
all_df['最寄駅：名称'] = all_df['最寄駅：名称'].str.replace('(メトロ)','').str.replace('(都電)','').str.replace('(つくばＥＸＰ)','')
all_df['最寄駅：名称'] = all_df['最寄駅：名称'].str.replace('(千葉)','').str.replace('(東京メトロ)','').str.strip('()')

#all_df 前処理4
all_df["地区詳細"] = all_df['市区町村名'] + all_df['地区名']
all_df["地区詳細"] = all_df["地区詳細"].str[:5]
all_df['市区町村名'] = all_df['市区町村名'].str.strip('市区町村').str.strip('西多摩郡東京')

#all_df 前処理5
all_df['建築年'] = all_df['建築年'].str.replace('戦前','昭和20年')
all_df['年号'] = all_df['建築年'].str[:2]
all_df['和暦年数'] = pd.to_numeric(all_df['建築年'].str[2:].str.strip('年'), errors='raise')
all_df.loc[all_df['年号']=='昭和','建築年(西暦)'] = all_df['和暦年数'] + 1925
all_df.loc[all_df['年号']=='平成','建築年(西暦)'] = all_df['和暦年数'] + 1988

#all_df 前処理6
all_df['間取り'] = all_df['間取り'].str.replace('オープンフロア','0、O').str.replace('スタジオ','0、T').str.replace('メゾネット','0、M')
all_df['間取り'] = all_df['間取り'].str.replace('Ｌ','、L').str.replace('Ｄ','、D').str.replace('Ｋ','、K').str.replace('Ｓ','、S').str.replace('Ｒ','、R')
all_df['間取り'] = all_df['間取り'].str.replace('１','1').str.replace('２','2').str.replace('３','3').str.replace('＋','')
all_df['間取り'] = all_df['間取り'].str.replace('４','4').str.replace('５','5').str.replace('６','6').str.replace('７','7')

#published_df 前処理
published_df["面積（㎡）"] = published_df["面積（㎡）"].clip(0, 3000)

['その他',  '住宅', '店舗', '事務所', '作業場', '倉庫', '共同住宅', '工場', '駐車場']
[         '住宅', '店舗', '事務所', '銀行', '旅館', '給油所', '工場', '倉庫', '農地', '山林', '医院', '空地', '作業場', '原野', 'その他', '用材', '雑木']
riyo_list = np.array(['住宅', '店舗', '事務所', '_', '_', '_', '工場', '倉庫', '_', '_', '_', '_', '作業場', '_', 'その他', '_', '_'])
riyo_list
riyo_now = [[0]*(17 - len(num))+list(map(int, list(num))) for num in published_df['利用の現況'].values]
riyo_now = np.array(riyo_now)

riyo_lists = ['、'.join(riyo_list[onehot.astype('bool')]) for onehot in riyo_now]
for i in range(len(riyo_lists)):
    if 'その他' in riyo_lists[i]:
        riyo_lists[i] = riyo_lists[i].replace('その他', published_df.loc[i, '利用状況表示'])
    riyo_lists[i] = riyo_lists[i].replace('_', 'その他').replace('、雑木林', '').replace('、診療所', '').replace('、車庫', '').replace('、集会場', '')\
    .replace('、寄宿舎', '').replace('、駅舎', '').replace('、劇場', '').replace('、物置', '').replace('、集会場', '').replace('、映画館', '')\
    .replace('、遊技場', '').replace('兼', '、').replace('、建築中', 'その他').replace('、試写室', '').replace('、寮', '').replace('、保育所', '')\
    .replace('、治療院', '').replace('、診療所', '').replace('、荷捌所', '').replace('建築中', 'その他').replace('事業所', '事務所').replace('、営業所', '')
published_df['利用の現況'] = riyo_lists

#最信念を取り出してpublished_df2を作成
kakakus = []
for i, year in enumerate(published_df.columns[-37:-38:-1]):
    df = pd.merge(published_df[published_df.columns[:-75:]], published_df[published_df[year]>0][['id', year]], on='id')
    df['取引時点'] = 2019-i
    df = df.rename(columns={year: 'y'})
    df['y'] = df['y'] /100000
    kakakus.append(df)
published_df2 = pd.concat(kakakus)
published_df2.shape

#published_df前処理1
published_df2['最寄駅：距離（分）'] = published_df2['駅距離']//50
published_df2.loc[:, '最寄駅：距離（分）'][published_df2['最寄駅：距離（分）']>120] = 120
published_df2['間口（比率）'] = published_df2['間口（比率）'].clip(10, 100)
published_df2['奥行（比率）'] = published_df2['奥行（比率）'].clip(10, 100)
published_df2['間口'] = np.sqrt(published_df2['面積（㎡）']/published_df2['間口（比率）']/published_df2['奥行（比率）'])*published_df2['間口（比率）']

#published_df前処理2
published_df2['種類'] = np.nan
published_df2['建築年(西暦)'] = np.nan
published_df2['建物の構造'] = published_df2['建物構造'].str.replace('SRC','ＳＲＣ').str.replace('RC','ＲＣ').str.replace('W','木造').str.replace('LS','軽量鉄骨造').str.replace('S','鉄骨造')
published_df2['建物の構造'] = published_df2['建物の構造'].str.replace('[0-9]','').str.replace('FB','').str.replace('B','_').value_counts()
published_df2['最寄駅：名称'] = published_df2['最寄駅：名称'].str.replace('ケ','ヶ')

#published_df前処理3
se = published_df2['住居表示'].str.strip('東京都').str.replace('大字', '').str.replace('字', '')
for num in ['１', '２', '３', '４', '５', '６', '７', '８', '９']:
    se = se.str.split(num).str[0].str.strip()
published_df2['地区詳細'] = se
published_df2['地区詳細'] = published_df2['地区詳細'].str[:5]
published_df2['市区町村名'] = published_df2['市区町村名'].str.strip('市区町村').str.strip('西多摩郡東京')

#published_df前処理4
rep ={'1低専':'第１種低層住居専用地域', '2低専':'第２種低層住居専用地域', '1中専':'第１種中高層住居専用地域', '2中専':'第２種中高層住居専用地域', '1住居':'第１種住居地域',
 '2住居':'第２種住居地域', '準住居':'準住居地域', '商業':'商業地域', '近商':'近隣商業地域', '工業':'工業地域', '工専':'工業専用地域',  '準工':'準工業地域', '田園住':'田園住居地域'}
for key, value in rep.items():
    published_df2.loc[:, '都市計画'] = published_df2.loc[:, '都市計画'].str.replace(key,value)

#published_df前処理5
published_df2['logy'] = np.log1p(published_df2['y'])
published_df2 = published_df2.rename(columns={'利用の現況': '用途'})
published_df2.columns

'''
id 経度 緯度 ○所在地コード 年次 ○市区町村名 住居表示 ◎地積 ◎利用の現況&利用状況表示 ◎建物構造 ◎形状区分 ◎間口（比率） ◎奥行（比率）階層（地上 階層（地下）◎前面道路区分 ◎前面道路の方位区分
◎前面道路の幅員　 ◎駅名 ◎駅距離 ◎用途区分  ◎建蔽率 ◎容積率 価格　◎用途

 連番 行政 施設 前面道路の駅前区分 前面道路の舗装状況 側道区分 側道方位区分 交通施設との近接区分 防火区分  森林区分 公園区分 共通地点区分 選定年次ビット 周辺の土地の利用の現況　都市計画区分

○種類 ◎地域 ○市区町村コード◎最寄駅：距離（分）◎面積（㎡）◎建ぺい率（％） ◎容積率（％）◎間口 取引時点◎前面道路：方位 
◎前面道路：種類 ◎前面道路：幅員（ｍ）◎建物の構造○市区町村名 地区名 ◎最寄駅：名称◎用途

id     ◎土地の形状  延床面積（㎡） 建築年  
今後の利用目的 ◎都市計画   ○改装  y

都道府県名　間取り 取引の事情等

'''

#　使う列を指定
# 
target_columns = ['地域', '種類', '市区町村コード', '面積（㎡）','建ぺい率（％）', '容積率（％）','最寄駅：距離（分）', '前面道路：方位', '地区詳細','土地の形状','市区町村名',
                  '前面道路：種類', '前面道路：幅員（ｍ）',  '間口', '建物の構造', '最寄駅：名称',  '用途', '都市計画', '建築年(西暦)', 'y', 'logy']

#平均値化取得用
tika = published_df2[target_columns]
tika.head()

#試しに見てみる
col ='最寄駅：名称'
print('only all_df', set(all_df[col].unique()) - set(published_df2[col].unique()))
print('only publish_df', set(published_df2[col].unique()) - set(all_df[col].unique()))
tdf = tika[[col, 'y']].groupby([col]).mean().sort_values('y', ascending=False)
tdf[tdf['y']>50]

# all_df を抽出
all_df_target = all_df[target_columns+['延床面積（㎡）', '改装', '間取り', '取引の事情等']]
all_df_target = all_df_target.reset_index(drop=True)

#部屋数などを取得
all_df_target['間取り数'] = pd.to_numeric(all_df_target['間取り'].str[0], errors='raise')
all_df_target['部屋数'] = all_df_target['間取り'].str[2:].str.len()//2+1+all_df_target['間取り数']

#published_df2の集計値を結合　面積と掛け算、最寄り駅距離で補正
cols = ['地域', '市区町村コード', '地区詳細', '建ぺい率（％）', '容積率（％）', '都市計画', '前面道路：方位', '前面道路：種類', '最寄駅：名称']
for col in cols:
    print(col, all_df_target.shape)
    all_df_target = pd.merge(all_df_target, tika[[col, 'y']].groupby(col).mean().rename(columns={'y':col+'y'}), on=col, how='left')

all_df_target.loc[all_df_target['地区詳細y'].isna(), '地区詳細y'] = all_df_target.loc[all_df_target['地区詳細y'].isna(), '市区町村コードy']
all_df_target.loc[all_df_target['最寄駅：名称y'].isna(), '最寄駅：名称y'] = all_df_target.loc[all_df_target['最寄駅：名称y'].isna(), '地区詳細y']
    
cols = ['市区町村コード', '地区詳細', '最寄駅：名称']
#cols = ['地域', '市区町村コード', '地区詳細', '建ぺい率（％）', '容積率（％）', '都市計画', '前面道路：方位', '前面道路：種類', '最寄駅：名称']
for col in cols:
    all_df_target['m2x'+col] = all_df_target[col+'y'] * all_df_target['面積（㎡）']/100
    #all_df_target['nm2x'+col] = all_df_target[col+'y'] * all_df_target['延床面積（㎡）']/100
    all_df_target['m2m2x'+col] = all_df_target[col+'y'] * (all_df_target['面積（㎡）']+all_df_target['延床面積（㎡）'].fillna(0))/100
    all_df_target['m2m2x'+col+'_sta'] = all_df_target['m2m2x'+col] * (1 - all_df_target['最寄駅：距離（分）'].clip(0, 10)*0.02)
print(all_df_target.shape)

all_df_target

#、で区切られてるのをonehot化
all_df_target = all_df_target.join(all_df_target['建物の構造'].str.get_dummies(sep='、'))
all_df_target = all_df_target.join(all_df_target['用途'].str.get_dummies(sep='、'))
all_df_target = all_df_target.join(all_df_target['間取り'].str[2:].str.get_dummies(sep='、'))
# all_df_target = all_df_target.drop(columns=['建物の構造', '用途', '間取り'])

all_df_target['m2kai'] = all_df_target['延床面積（㎡）'] / all_df_target['面積（㎡）']
all_df_target['men_magu'] = all_df_target['面積（㎡）'] / all_df_target['間口']
all_df_target['men_toshi'] = all_df_target['面積（㎡）'] * all_df_target['都市計画y']
all_df_target['douro_haba_syu'] = all_df_target['前面道路：種類y'] * all_df_target['前面道路：幅員（ｍ）']
all_df_target['toshi_tyoson'] = all_df_target['都市計画y'] * all_df_target['市区町村コードy']
all_df_target['syuru_magu'] = all_df_target['間口'] / all_df_target['前面道路：種類y'] 
all_df_target['haba_magu'] = all_df_target['間口'] / all_df_target['前面道路：幅員（ｍ）']
all_df_target['heya_m'] = all_df_target['面積（㎡）'] / all_df_target['部屋数'] 

#確認
all_des = all_df_target.describe(include='all')
all_des.round(2)

#ラベルエンコード
for col in all_df_target.columns:
    if all_df_target[col].dtype == 'object':
        print(col, all_df_target[col].dtype)
        #temp = all_df_target[[col, 'logy']].groupby(col).mean()['logy']
        #all_df_target[col] = all_df_target[col].map(temp)
        labels, uniques = all_df_target[col].factorize(sort=True)
        all_df_target[col] = labels

all_df_target.columns

#トレーニングデータ取り出し
x_train = all_df_target[all_df_target['y']>=0].drop(['y', 'logy'], axis=1).values
y_train = all_df_target[all_df_target['y']>=0].loc[:, 'y'].values
print(x_train.shape, y_train.shape)

#　テストデータ取り出し
x_test = all_df_target[all_df_target['y']<0].drop(['y', 'logy'], axis=1).values
y_test = -all_df_target[all_df_target['y']<0].loc[:, 'y'].values
print(x_test.shape, y_test.shape)

#外れ値と予想
large_y_index = [1305, 1960, 8069]

#5foldでモデルを作成、評価
from sklearn.model_selection import KFold
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.metrics import mean_squared_error
import lightgbm as lgb

kf = KFold(n_splits=5, shuffle=True, random_state=1)
s = list(kf.split(x_train, y_train))

#yに補正をかけて全体で推論
ymin = 0.1
ymax = 30000
n = 5
line = 7000
y_train2 = y_train.copy()
y_train2[y_train2>=line] = (y_train2[y_train2>=line]-line)/n+line
print(y_train2.max())

gbk = lgb.LGBMRegressor(n_estimators=500, max_depth=9, subsample=0.8, colsample_bytree=0.8, min_child_weight=1)
gbk.fit(x_train, np.clip(y_train2, ymin, ymax))
y_pred = np.clip(gbk.predict(x_test), 0, 100000)
y_val = y_test
acc_gbk = np.sqrt(mean_squared_error(y_val, np.where(y_val>10000, y_val, y_pred))).round(1)
acc_gbk2 = np.sqrt(mean_squared_error(y_val, np.where(y_val>5000, y_val, y_pred))).round(1)
print(n, line, 'rmse', acc_gbk, 'rmse-1000', acc_gbk2)

#yに補正をかけて全体で推論
ymin = 0.1
ymax = 30000
n = 5
line = 7000
y_train2 = y_train.copy()
y_train2[y_train2>=line] = (y_train2[y_train2>=line]-line)/n+line
print(y_train2.max())

gbk = lgb.LGBMRegressor(n_estimators=300, max_depth=6, subsample=0.8, colsample_bytree=0.8, min_child_weight=1)
gbk.fit(x_train, np.clip(y_train2, ymin, ymax))
y_pred2 = np.clip(gbk.predict(x_test), 0, 100000)
y_val = y_test
    
acc_gbk = np.sqrt(mean_squared_error(y_val, np.where(y_val>10000, y_val, y_pred2))).round(1)
acc_gbk2 = np.sqrt(mean_squared_error(y_val, np.where(y_val>5000, y_val, y_pred2))).round(1)
print(n, line, 'rmse', acc_gbk, 'rmse-1000', acc_gbk2)

#大きいもののみを使用して推論
gbk_l = lgb.LGBMRegressor(n_estimators=200, max_depth=4, subsample=0.8, colsample_bytree=0.8, min_child_weight=1)
gbk_l.fit(x_train[y_train>5000], y_train[y_train>5000])
y_pred_l = np.clip(gbk_l.predict(x_test), 0, 100000).round(1)
acc_gbk = np.sqrt(mean_squared_error(y_pred_l[large_y_index], y_test[large_y_index])).round(1)

#おみくじ
import itertools
a = [0.5, 1, 1.5, 2]
b = [0.5, 1, 1.5, 2]
c = [1, 2, 3]
for use in range(48):
    kumi = list(itertools.product(a,b,c))
    #use = 0
    use_kumi =np.array(kumi[use])
    use_kumi_str = '_'.join(list(map(str, kumi[use])))
    print(use_kumi, use_kumi_str)
    kesu=np.array([[0.25, 0.95]]).reshape(2,1)
    preds = (np.array([y_pred, y_pred2])*kesu).sum(0)
    preds[large_y_index] = y_pred_l[large_y_index]*use_kumi
    test_df['y'] = preds.round(1)
    test_df[['id', 'y']].head()
    test_df[['id', 'y']].to_csv('20200418_last_{}_{}.csv'.format(use, use_kumi_str), index=False)