Fioneの開発版では、二値分類の確率をどこで陽性と判定するかを、F1などのランキング指標に合わせて選べます。
学習フォームで判定方法と指標を選ぶ
二値分類の学習フォームで「ランキング指標に合わせる(二値分類)」を選び、ランキング指標をF1などに設定します。APIでは decision を tuned、sort_metric を f1 にします。アシスタントの学習提案にもランキング指標を指定できます。判定方法の初期値は argmax で、tuned は明示して選びます。
利用できるのは正解率、誤り率、バランス精度、クラスごとの誤り率の平均、F1、MCC、カッパ係数、二次重み付きカッパです。適合率や再現率だけを選ぶことはできません。3クラス以上では選択できず、回帰では通知を出して無視されます。
予測ラベルと検証スコアを確認する
しきい値は検証予測から決まり、保存したモデルの予測、バッチ予測、Fione Serving、説明に引き継がれます。予測確率そのものは変わりません。候補ごとのランキング値は各候補に合うしきい値で計算し、探索停止や学習中の進捗の計算は0.5を使います。しきい値を決める検証予測と結果のスコアが共通なので、性能は別に確保したテストデータでも確認します。
EasyMLとアシスタント提案では、二値分類でラベル順の最後のクラスが全体の10%未満なら、指定がないときのランキング指標が平均適合率（aucpr）になります。平均適合率は確率の順位を見る指標です。tuned を使う場合はF1など対応指標を指定します。