満足度を1〜5で予測するような分類では、同じ1件の誤りでも、予測が正解から何段階離れたかが重要です。Fione v2の開発版では、順序のあるラベルを分類するときに、二次重み付きカッパ(QWK)で判定境界を調整できます。PR #99はmainに反映済みです。
ラベル順をそろえて学習設定を指定する
対象は3〜50クラスの分類です。Fioneは数値の順、または文字列のソート順をクラス順として使います。「低・中・高」など、文字列の並びと意味の順序が異なる場合は、学習データを数値ラベルなどへ変換し、対応表を残します。
学習APIで、通常の学習リクエストに次の2項目を加えます。
{
"sort_metric": "qwk",
"decision": "tuned"
}
判定方法の初期値は argmax です。3〜50クラスで sort_metric に qwk を指定し、調整を選ばなかった場合は ordinal_decision の通知が出ます。
確率からラベルを決める境界を検証する
学習時に、各クラスの確率と順番から期待クラス番号を計算し、その値をどこで区切ると検証予測のQWKが上がるかを探します。保存したモデル、Fione Serving、診断や説明でも同じ境界でラベルを決めます。予測確率そのものは変わりません。
境界の調整とスコアの計算に同じ検証予測を使うため、最終評価は境界の調整に使っていないデータで行います。回帰の rounded_qwk は従来の丸め方で、今回の分類用の境界調整は適用されません。分類のアンサンブルの重みは引き続き対数損失を使って決めます。