Fioneで日付文字列と構造化IDをAutoMLに渡す

Fione v2の開発版で、日時が文字列のまま入ったCSVや、区切り記号を含む識別子を扱う処理が変わりました。

日付とIDの列を残して学習する

4桁の年を含む日付文字列を入力に入れると、列単位で日付として判定します。最初の数値が12を超える行があり、2番目が12を超える行がなければ日を先に読みます。年が先に来る形式は年を起点に読み、曖昧なデータは年月日の順序が明確な形式にそろえてから渡します。時刻を含む列の「時」は基本特徴量です。

group_12 のような値が95%以上で同じ2〜4項目に分かれる文字列は、最大2列まで、グループの学習行数や項目の頻度などを作る候補になります。学習画面の派生特徴量(feature_engineering、初期値は有効)を使い、評価で改善した候補が採用されます。ほぼ一意な項目は除外され、学習時に見ていないIDの項目は欠損になることがあります。一方、通常の頻度特徴量では未観測値を最もまれな学習時の出現割合として扱います。変更前に保存したモデルの頻度処理は従来のままなので、新しい処理は再学習で確認します。

分析画面と学習条件の提案では、非負の回帰目的列の歪度が1.0以上で log1p を提案します。これは提案のしきい値です。相対誤差を重視する場合と絶対的な誤差を重視する場合では結果が異なるため、適用前後を使う評価指標で比べます。

Fione #40 / Fione #41 / Fione #42 / Fione #43

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です