売上や費用が一部の大きな値に偏ると、平均を学ぶモデルがMAEでは良い結果にならないことがあります。Fione v2開発版では、MAEやMEDAEで順位を付ける回帰で、中央値を学ぶブースティング候補も探索する変更が入りました。
評価指標をMAEかMEDAEにする
通常の回帰で sort_metric を mae または medae にし、quantile とイベント列を指定しない場合が自動追加の対象です。quantile の初期値は未指定(null)です。sort_metric=auto やRMSEのままでは、この条件による中央値版の自動追加は行われません。
候補は LightGBM_L1、XGBoost_L1、CatBoost_L1 で、0.5分位点を学ぶ目的関数を利用します。新しい設定項目を有効にする手順はありません。通常の回帰の中で試され、アンサンブルへの寄与は評価結果で決まります。すべての構成モデルが中央値を出すモデルになるわけではありません。
短い実行では候補が動かないこともある
後発候補用の探索時間は内部定数 LATE_SHARE=0.15、探索時間の15%を取り分ける扱いです。中央値版はLinearWideやTextLinearの派生候補と同じ時間枠を使い、初回の学習が間に合う見込みがある場合に試します。短い実行や大きな表では動かないことがあり、別の後発候補に回る時間も減ります。
families を明示して他の候補だけに絞った場合、その一覧にない中央値版は追加されません。中央値版を明示する場合も、分類、分位点指定、イベント列のある学習では設定エラーになります。試行内ではpinball lossを使うため、従来の誤差と同じ尺度で並べられない中央値版は「これまでの最良誤差」やモデルの試行チャートから外れます。
定数だけの予測とも比較する
関連変更では、MAE、MEDAE、pinball lossについて検証予測と定数予測を同じ指標で比較します。各分割の学習行から中央値、pinball lossなら指定分位点を求め、検証行で採点します。改善が1%未満なら no_better_than_constant 通知の対象です。比較できる検証行は少なくとも30行必要で、定数側の誤差が0など比較できない場合は通知しません。
分位点を指定した学習をMAEやMEDAEで評価する場合は、目的が異なるためこの中央値比較の対象外です。通知は診断で、設定や入力を自動で変えません。候補追加による改善も保証されないため、学習に使わないデータで誤差を比較して採用します。