今日のひとこと Challange IT For Future

Fioneの回帰で整数評価に変換する境界をrounded_qwkで学習する

Fione 読了 2分
目次
  1. 回帰の順位付け指標に指定する
  2. 予測を使う処理で出力を確認する
  3. 関連PR

満足度を1〜5で予測するとき、回帰モデルの出力が中央に集まると、最上位の評価が予測に出にくくなります。Fione v2の開発版では、回帰の予測を整数評価に変換する境界を rounded_qwk で調整できます。PR #119はmainに反映済みです。

回帰の順位付け指標に指定する

整数評価の列を目的変数にして回帰で学習し、順位付け指標 sort_metric を初期値の auto から rounded_qwk に変更します。学習で使う評価が3〜50種類なら、交差検証で学習に使わなかった行の予測を使い、最終モデルが出す評価の境界を調整します。整数値が2種類または51種類以上の場合は指標の計算に通常の丸めを使います。指標の利用には最大値と最小値の差が1〜999の整数評価が必要です。

境界の調整に使った予測でスコアも計算するため、順位表の値はやや楽観的になり得ます。未使用の検証データで、特に件数の少ない評価がどの程度当たるかを確認します。

予測を使う処理で出力を確認する

調整した境界はモデルに保存され、predict、バッチ予測、サービングは整数相当の評価値を返します。回帰の生の小数値を前提に後処理している場合は、入力が変わります。keep_cv_predictions に保存される交差検証予測と、サービングの寄与度が説明する値には、変換前の小数値が使われます。

順序付き分類で sort_metric=qwk と decision=tuned を使う方法は、分類の確率から評価を決めるときに使います。

関連PR