今日のひとこと Challange IT For Future

Fioneで数万列のデータを分析・学習するときの制限

Fione 読了 2分
目次
  1. 相関の一覧と派生特徴量の境界を確認する
  2. 学習時間とメモリーを測る
  3. 関連PR

センサーの集計結果や多数の特徴量を横持ちにしたデータでは、行が少なくても列の数で分析・学習の負荷が上がります。Fione v2の開発版では、幅の広い表に対するプロファイルと学習用の前処理が変わりました。PR #106・#107はmainに反映済みです。

相関の一覧と派生特徴量の境界を確認する

条件開発版での挙動
数値列が1,000列を超える分析画面の相関の一覧と、アシスタントのプロファイルの correlations が空になります。
派生特徴量の探索が有効で、学習に入力した特徴量が5,000列を超えるAutoMLによる派生特徴量の探索を省略し、学習結果に通知を出します。

相関の上限は数値列、学習の上限はモデルに渡す特徴量の列数で判定します。上限は自動で適用され、今回の変更で新たな設定項目はありません。相関の一覧が必要なら分析する列を先に絞ります。必要な派生特徴量が分かっている場合は、データ準備の段階で追加してから学習します。

学習時間とメモリーを測る

学習用の表が2,000列を超えると、一部のモデル向けの表をまとめて持ち直し、交差検証で行を切り出す時間を短縮します。この処理の間は表のコピーが一時的に増えます。

PRでは、約100行・数万列のデータに学習時間300秒を指定し、3回ともLightGBMの試行を1つ完了しました。このときプロセスのピークメモリーは約22GBでした。300秒はこの検証の指定値です。実際には、学習を完了したモデルの数とメモリー消費を確認し、データや試したいモデルに応じて時間を調整します。

関連PR