Fioneのアシスタントから結合した学習データを作る

Fione v2の開発版では、同じプロジェクトにある表をアシスタントに調べてもらい、提案カードから結合ジョブを開始できます。たとえば解約の有無を記録した顧客表に、予測時点までの購入履歴を顧客単位でまとめて追加できます。

予測したい列を指定する

学習に使う表を同じプロジェクトに置き、設定済みのアシスタントに「churned を予測するために、このプロジェクトの表をどう結合すればよいですか」と聞きます。接続先の初期値は Ollama です。Claude やリモートの Ollama を使う場合は、管理者による初回の同意も必要です。アシスタントの接続設定

Fioneは予測したい列を持つ表を土台にし、片側がキーごとに1行になる候補から最初の結合を提案します。customers.id と orders.customer_id のように名前が異なる列も、名前の関係と値の重なりを手掛かりにできます。名前が無関係な列は、片側に100種類以上の一意なキーがある場合など、より厳しい条件で比較します。連番を値だけで照合するときは、相手の列がその連番の少なくとも30%を含む必要があります。

カードを確認して結合する

「データの結合の提案」カードで、土台と追加する表、キー、集約の有無、追加する列を確認します。プロジェクトを編集できる人が「結合したデータセットを作る」を押すとジョブが始まります。結果は新しいデータセットとして保存され、元の表はそのまま使えます。結合は1回に1表ずつです。

Joinは左結合なので、相手の表に一致するキーがない行も土台に残ります。手動のJoinでは summarize の初期値は false で、追加側のキーが重複する場合は true にしてキー単位にまとめます。最初の結合を自動提案するときは、追加する表がキーごとに複数行ならFioneが集約を選びます。集約では件数に加え、数値列の平均・最小・最大・合計を追加します。 columns を省略すると対象は追加側の全列です。購入金額など使う列に絞れば、識別子の平均や合計を結果に含めずに済みます。

学習に回す前に確認する

キーの候補を調べる対象は最大8データセットで、探索は30秒で打ち切ります。500万行を超えるデータセットはサンプルで調べるため、実際に結合できる組み合わせを見落とすことがあります。結果は行数×列数で1億5,000万セルまでです。カードに一致率の低さや容量超過が表示されたら、キーの意味を確認し、追加列を絞ります。購入履歴には予測時点より後の取引を含めないようにします。

関連PR

  • 結合方法の説明と列指定 #60、#61
  • 結合の提案カードと最初の結合の選定 #62、#64、#68
  • キー候補の検出と絞り込み #65、#66、#69、#70

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です