目標

目標は、テストデータセットのクレジットカード使用者のデータに基づき、支払い不履行か、履行かを予測することです。それぞれの顧客IDにおいて、変数Y(支払い
不履行 or 履行)を1 or 0で予測してください。

メトリック

モデルの予測性能は3,000のテストデータセットのうち、予測が正解した割合で与えられます。

$$
\text{accuracy} = \frac{\text{correct prediction}}{\text{total}}
$$

提出ファイルの形式

回答用のsubmission.csvを用意する(3,000のエントリーとヘッダー行を含む) 。
提出されたファイルに余分な行や列(IDとY以外)が含まれていた場合はエラーとなります。

提出ファイルは以下の列のみを必ず含んでください:

• ID(テストデータセットと同じ順序)
• Y(支払い不履行かどうかの1, 0)

以下は提出ファイルの例です。

ID,Y
0,1
1,1
2,0
3,1
4,0

参加者ごとに1つのアカウント

複数のアカウントを使ってコンペティションに参加することはできません。

私的な情報共有の禁止

コードやデータを，特定のコンペティション参加者に個人的に共有することはできません。コンペティションの全ての参加者が利用できるような状態であれば、コードを共有することは問題ありません。

送信制限

1日あたり最大5件の応募が可能です。
審査のために最終提出を5件まで選択することができます。

コンペティションのタイムライン

賞金の支払い

優勝者は、以下の条件を満たすことで賞金を受け取ることができます。

1. モデルの提出
   最終成果物であるcsvの作成に使用した、学習済みモデルをご提出いただきます。提出後、弊社側で不正がないことを確認します。
   ※不正が疑われる場合は、コンペティション開催中であってもモデル提出を依頼する場合があります
2. モデルの説明
   ディスカッション&ナレッジにて、学習済みモデルの解説をお願いします。
   また解説では、学習済みモデルのソースコード（ファイル）を添付するか、ソースコードへのリンク（URL）を貼り付けてください。

外部データの使用は禁止

本コンペティションで公開されているデータのみを用いてチャレンジして下さい。また、学習済みモデルを用いることも外部データを用いているとみなします（FAQより転載）。

運営からのお願い

公平性の担保、チーティング等の不正防止のため、β版のコンペでは、予告なくルールの追加・変更を行う場合がございます。
ご不便をおかけすることもあるかと思いますが、サービス向上のためご了承ください。

このコンペティションでは賞金はでますか？

はい。最も精度の高い学習モデルを作成した優勝者には、賞金10万円を贈呈します。ただし、賞金を受け取るにあたっては、学習済みモデルの提出、解説の作成が必要となります。

チームで参加できますか？

可能です。現時点ではチームとして参加する機能は未実装のため、参加者ごとに同じ結果を提出いただいて構いません。
※ 同率スコアの場合は提出時間の早いユーザーが上位となりますこと、ご了承ください。

外部データを使うことは可能ですか？

本コンペティションで公開されているデータのみを用いてチャレンジして下さい。また、学習済みモデルを用いることも外部データを用いているとみなします。

どこでアカウントをつくればいいですか？

[こちら](https://prob.space/users/sign_up)から作っていただけます。
アカウントを作らないと、コンペティションに参加することはできないので気をつけてください。

コードを提出するにあたって Seed を固定する必要はありますか？

Seed を固定することが推奨です．ただし，Seed を固定しなくても提出用コードとしては認めていく方針です。

データの読み込み

まずはデータを読み込んで見ましょう．csvデータの読み込みは複数のやり方がありえますが，pandasのread_csv関数はその中でも機能が豊富で，扱いやすいためこれを使います．
これを使うと，csvデータを読み込み，pandas dataframeにして返してくれます．

また，dataframeには.head()というメソッドが定義されており，これを使うと先頭の数行を確認できます．

import pandas as pd

path = "./data/train_data.csv"
df = pd.read_csv(path)

# >>> df.head()
#    ID      X1  X2  X3  X4  X5  X6 ...   X18    X19    X20   X21   X22   X23  Y
# 0   0   20000   2   2   1  24   2 ...     0    689      0     0     0     0  1
# 1   1  120000   2   2   2  26  -1 ...     0   1000   1000  1000     0  2000  1
# 2   2   90000   2   2   2  34   0 ...  1518   1500   1000  1000  1000  5000  0
# 3   3   50000   1   2   1  57  -1 ...  2000  36681  10000  9000   689   679  0
# 4   4   50000   1   1   2  37   0 ...  2500   1815    657  1000  1000   800  0

最適化の際に収束性を保証するため，入力データに平均が0で分散が1であるという仮定を置くものがままあります．そこで，連続値のデータに対しては平均が0で分散が1になるように正規化しておきます．（標準化と呼ばれるケースもあります．）
ここでは，離散的な変数（性別や教育などのダミー変数）については除外し，正規化を行います．

from sklearn.preprocessing import StandardScaler

def standardize(df: pd.DataFrame) -> pd.DataFrame:
    """
    Parameters
    ----------
    df : pd.DataFrame

    Returns
    -------
    _df : pd.DataFrame
    """
    _df = df.copy()
    _df_subset = _df.iloc[:, 12:]

    if 'Y' in _df_subset.columns:
        _df_subset = _df_subset.drop('Y', axis=1)

    scaler = StandardScaler()
    X_subset_std = scaler.fit_transform(_df_subset)

    _df.loc[:, _df_subset.columns] = X_subset_std

    return _df

def load_train_data(path: str, standardized: bool=True) -> np.ndarray:
    """
    Parameters
    ----------
    path : str
        path of train_data.csv
    standardized : bool
        If True, train_data.csv will be standardized.

    Returns
    -------
    X : np.ndarray
    y : np.ndarray

    Examples
    --------
    >>> path = "./data/train_data.csv"
    >>> X, y = load_train_data(path, standardized=True)
    """
    df = pd.read_csv(path)

    if standardized:
        df = standardize(df)

    X = df.iloc[:, 1:-1].values
    y = df.Y.values

    return X, y

ここで定義した関数を用いると，以下のようにしてcsvデータを読み込むことができます．

path = "./data/train_data.csv"
X, y = load_train_data(path, standardized=True)

データの確認

訓練データにおいて，そもそも支払い履行と支払い不履行がどのような割合なのか確認してみましょう．

one_ratio = y.sum() / len(y)
print("ratio of 1 in label: ", one_ratio)
print("ratio of 0 in label: ", 1 - one_ratio)
# ratio of 1 in label:  0.222
# ratio of 0 in label:  0.778

支払い不履行が22%ほど含まれたデータであることがわかります．

pandas dataframeのメソッドには，describeメソッドという便利なものがあります．
これを使うと，dataframeの各列について，基本的な統計量を確認することができます．

path = "./data/train_data.csv"
df = pd.read_csv(path)
df.describe()
#                 ID              X1      ...                 X23             Y
# count  27000.00000    27000.000000      ...        27000.000000  27000.000000
# mean   13499.50000   166856.284444      ...         5238.613148      0.222000
# std     7794.37297   129363.239705      ...        17865.467132      0.415599
# min        0.00000    10000.000000      ...            0.000000      0.000000
# 25%     6749.75000    50000.000000      ...          140.000000      0.000000
# 50%    13499.50000   140000.000000      ...         1500.000000      0.000000
# 75%    20249.25000   240000.000000      ...         4002.250000      0.000000
# max    26999.00000  1000000.000000      ...       528666.000000      1.000000

# [8 rows x 25 columns]

識別モデルの作成

ここでは試しに，ロジスティック回帰モデルを作成してみましょう．
sklearnは多くの機械学習モデルが実装されたライブラリであり，これを使って実装してみます．

from sklearn.linear_model import LogisticRegression

path = "./data/train_data.csv"
X, y = load_train_data(path, standardized=True)
lr = LogisticRegression(tol=1e-6, class_weight={0: 0.4, 1: 0.6})
lr = lr.fit(X, y)

先ほどデータを確認した際に，支払い不履行の割合が22%でした．このように，ラベルごとにデータの割合がアンバランスであるようなデータを，不均衡データと言います．このようなデータを用いてモデルの学習を行うと，全て0と答えるモデルができてしまうケースがあります．（今回の場合，全て0と答えるだけで78%の正答率が得られています．しかし，これは我々が望んでいるモデルではありません．）
それを回避するため，class_weightオプションで，1を間違いなく識別することを，0を間違いなく識別することよりも重要視するように設定しています．

モデルの評価

sklearnの識別モデルには，.predict()メソッドが定義されており，これを使うと与えられたデータに対して，その0か1かの予測結果を返してくれます．

また，予測結果と実際の結果がどの程度異なるかを評価する関数がsklearn.metricsに定義されています．ここでは精度を確認してみましょう．

from sklearn.metrics import accuracy_score

y_hat = lr.predict(X)
print(accuracy_score(y, y_hat))
# 0.8162962962962963

このように，81.6%程度となり，全て0と識別するモデルに比べて4%ほど精度が増加しています．

これをベースにして，モデルのパラメータを変える，モデルを変える，有用な特徴量を探るなど試行錯誤して，モデルの性能を上げていきましょう．