今日のひとこと Challange IT For Future

FioneのAutoMLで極端に良い・低い検証スコアの通知を読む

Fione 読了 2分
目次
  1. 高いスコアでは予測時に入手できる列かを確認する
  2. 低いスコアでは入力と検証データを見直す
  3. 関連PR

Fione v2の開発版では、AutoMLの最終学習後に、検証スコアが極端に高い場合や低い場合に通知が出ます。検証時だけ使える入力列を見直すときや、入力から目的変数を予測できるか確認するときに使えます。

高いスコアでは予測時に入手できる列かを確認する

回帰のR²が0.999以上、または二値分類のAUCが0.9995以上なら near_perfect_fit が出ます。特徴量重要度が最上位の列名が通知されます。たとえば発送前の到着日予測に実際の配達完了時刻が入っていないか、予測を実行する時点で各列が得られるかを確認します。通知はデータ漏洩の可能性を示します。

低いスコアでは入力と検証データを見直す

回帰のR²が0.02以下、または二値分類のAUCが0.55以下なら no_skill が出ます。この水準では実行間の小さな差は偶然でも生じます。入力に目的変数を説明できる情報があるか、予測対象に合わせて期間やグループを分けた検証でも同様かを確認できます。

しきい値は固定で追加設定は不要です。多クラス分類や指標が欠損・非有限の場合は対象外です。回帰で target_transform=log1p を指定した場合や、相対誤差など目的変数の元の単位と異なる尺度で順位付けする場合は、低スコアの通知が省かれます。通知は学習イベントで、モデルの順位や出力を変更しません。

関連PR

fione #138