今日のひとこと Challange IT For Future

Fioneで各クラスを同じ重みで評価するbalanced_loglossを使う

Fione 読了 2分
目次
  1. 分類の順位付け指標に指定する
  2. 予測確率もクラス比率の補正を受ける
  3. 関連PR

希少なクラスと件数の多いクラスを同じ重みで評価したいとき、Fione v2の開発版では分類の順位付けに balanced_logloss を指定できます。PR #130はmainに反映済みです。

分類の順位付け指標に指定する

分類の学習設定で sort_metric を初期値の auto から balanced_logloss に変えます。指標はクラスごとに正解ラベルに対する対数損失を平均し、その平均をさらにクラス間で平均します。評価対象の行に一度も現れないクラスはこの平均から外れます。

予測確率もクラス比率の補正を受ける

この指標で順位付けして学習したモデルは、各クラスの確率を学習データでのクラス比率で割り、行ごとに合計が1になるよう調整します。補正後の最大確率が予測ラベルになり、二値分類の decision を指定してもこの場合は適用されません。バッチ予測と配信APIは同じ補正済み確率を返します。

補正後の確率は各クラスを等頻度とみなす用途に対応します。実際の発生率を見積もる用途では、予測先のクラス比率を反映する検証データで確率を評価します。保存済みモデルにはこの補正が遡って適用されません。

関連PR