今日のひとこと Challange IT For Future

FioneのAutoMLで数値の行統計と文章の比較を特徴量にする

Fione 読了 3分
目次
  1. 10列以上の数値を行ごとに集計する
  2. 同じ行にある二つの文章を比較する
  3. 派生特徴量を有効にして採用結果を比べる
  4. 関連PR

商品別の購入数が横に並ぶ表では、列ごとの値だけでなく、購入した商品に限った平均や最大値も手掛かりになります。問い合わせの重複を判定する表では、二つの文章に共通する語が手掛かりになります。Fione v2の開発版では、この二種類を学習時に試す派生特徴量の候補に加えました。

10列以上の数値を行ごとに集計する

目的列を除いた入力のうち、数値として扱われる列が10本以上あると、行ごとの平均、中央値、最大値、標準偏差が候補になります。集計するのは0と欠損を除いた値です。各値は sign(x) * log1p(abs(x)) に変換し、符号を保ったまま値の大きさの差を圧縮します。集計できる値が一つもない行では、四つの結果はいずれも欠損になります。

例えば、店舗ごとの商品別販売数を横持ちにした表で、未販売を0で記録していると、平均は実際に売れた商品の分布を表します。0自体が重要な観測値の場合は、元の数値列や別候補のゼロ件数とあわせて結果を確認します。

同じ行にある二つの文章を比較する

重複問い合わせの判定なら、同じ行に question_a と question_b を置き、重複かどうかを目的列にします。テキストとして判定された入力が2列以上あると、自由文を優先して最大3列を選び、列の組み合わせごとに9個の値を作ります。

共通語の数、共通語が全体と短い側に占める割合、語数の差と比、先頭語・末尾語・数字の集合の一致、語順まで含めた一致を計算します。片方が欠損なら、その組の特徴量は欠損です。文字を小文字にし、文字や数字が連続する部分を語として扱います。語の重なりを測るため、言い換えや空白区切りのない日本語文では、期待した分かち書きや意味の近さが得られるとは限りません。

派生特徴量を有効にして採用結果を比べる

学習画面の「派生特徴量を追加」にチェックが入っていることを確認します。APIの feature_engineering は初期値が true です。列数の条件を満たすと候補になりますが、使うかどうかは検証分割での損失の比較で決まります。候補の評価には時間枠があり、短時間の実行では採否の確認が終わらない場合もあります。列数のしきい値や計算する統計は開発版の固定値です。

学習画面の設定を切り替え、同じ分割と時間上限で比較します。最後は候補の選別やモデル学習に使わなかったデータで確認すると、手元の表で改善したかを判断できます。

関連PR