学習では値が入っていた列が、予測時にはほぼ空になることがあります。Fione v2の開発版では、バッチ予測ジョブの通知と予測結果画面に、該当する入力列が表示されます。PR #129はmainに反映済みです。
学習時と予測時の値の有無を比べる
学習時に値が入っていた行が80%以上で、予測データで値の入った割合が50ポイント以上下がった列が対象です。学習時に90%だった列が予測時に30%なら、60ポイントの差で通知されます。比較は予測データが10行以上で、同じ列が存在する場合に行われます。値の割合を記録していない旧モデルは対象外です。
予測時点で使える特徴量を点検する
例えば、前週の売上を使うモデルで履歴が途切れると、それ以降の予測行では前週の値を作れないことがあります。通知を確認したら、特徴量を作る時点と元データの最終日を照合します。予測時点で値を取得できない列は、除外して再学習したモデルと検証スコアを比較できます。
通知を有効にする設定は不要です。通知後も予測は続き、欠損を埋めたりモデルを変更したりする処理は追加されていません。