Fess AutoML: Fione

Fioneというのをはじめました。ここ数ヶ月でFessにいろいろと機能を追加してきましたが、これを作るためだったとも言えます。

Fioneは簡単にいうと、Fessで実現するAutoMLです。結構前から作ろうとは思っていたものの、時間も経ってしまい、昨年末に株式会社コードリブズも始めたし、そこでの主力商品として出していくためにも、今回作った感じです。一応、株式会社コードリブズはオープンなテクノロジーで世の中を効率化していく、というのをモットーとしているので、Fione自体はApacheライセンスで提供するので自由に使ってもられば良いと思います。Fessと同様にコンサルティングやサポートで運営していければ良いと考えています。

Fioneの技術的なところでは、現時点では、Fess, Elasticsearch, H2O, MinIOで構成されています。なんで、Fessなのか?というのもあるかもしれませんが、Fessは10年近くやってきていることもあり、アーキテクチャはかなり汎用的に作られていて、全文検索システムを超えて、機能を差し込んだりも可能です。ゼロからそれなりのものを作ると時間もかかるので、Fessの拡張機能としてFioneは作りました。Fessの商用版のN2 SearchもFessに差し込む形で機能拡張をして販売しているので、仕組み的には同じ感じです。直近では、Fessのインデックスを作ったりはできませんが、どこかのタイミングでは検索との連携は考えています。

Fioneが目指している世界観は、5分でできる機械学習環境、という感じで、専門家でなくても、知識発見ができそうなデータがあれば、特徴や予測とかがそれなりにできる感じを作りたいと考えています。AutoML系のプロダクトやサービスがいろいろと出てきていますが、わかっている人には良いのかもしれませんが、まだまだいろいろな壁が存在していると考えています。Fessも利用者とSolrやElasticsearchの距離を縮めてきたと思っていますが、Fioneも利用者と機械学習の距離を縮めて、業務の効率化などを実現できる環境を提供出れば良いと思っています。

将来的にはFessのインデックスを作れるようにして、データの検索をできるようにしようと思いますが、それ以外のところを見ていくと、AutoMLの機能はH2O.aiを使っています。なので、FessからH2OのAPIを叩いて実行しています。H2OのREST APIも謎の部分があったりして、たまに怪しい挙動をするかもしれませんが、謎が解けるまでは運用回避的な対応しかできないかもしれません…。とはいえ、AutoMLの機能面はきちんと実行できるので、そこはH2Oに頼ろうかと思っています。AutoML周りではFioneとしては前処理部分で独自の機能を追加していくことは考えています。あとは、MinIOはデータの置き場とか、結果の保存とか、その辺のデータを置く場所として利用しています。Fessを含めて、それらの依存しているものたちはスケールアウトがしやすいものばかりだと思うので、全体的に大規模化とかもできるかなと考えています。

ドキュメントは近いうちに書いていこうかと思いますが、現時点でのFioneの提供方法や実行方法はdocker-fioneで提供して、docker-composeで簡単に実行して試せる状態にしていこうと思っています。今のところはH2OのAutoMLの処理の流れに近いものになっていて、わかる人しか使えない雰囲気なので、これは早めに改善していこうと考えています。

という感じで、もう少し手軽に使えるようになったら、使い方を書いていこうと思います。

Fessの管理画面の表示制御

次のFess 13.6での機能として、何年前にリクエストされたかわからないくらい前からの話で、管理画面を機能ごとに表示するかどうかを調整したい、というのを実現します。現状は、adminロールを保有するユーザーが管理画面すべてを表示していますが、admin-〜とadmin-〜-viewのロールを追加します。たとえば、admin-webconfigロールを持つユーザーはウェブクロール設定の表示&編集だけが可能で、admin-webconfig-viewはウェブクロール設定の表示だけが可能というような、細かく管理画面で表示したいものを制御することができます。

デフォルトではロールを追加していないので、利用したい場合は管理画面のロールでadmin-〜ロールを追加してから、ユーザーにそのロールを割り当ててください。〜の部分はschedulerなど、表示したいページのURL部分に表示されている名前になります。

必要なロールだけを複数割り当てて、作業させたいユーザーに権限を調整することが可能になると思います。

Fess 12.5のリリース

Fess 12.5をリリースしました。

今回の新機能はストレージ機能です。Fessを使っていると、別途ファイルサーバとか用意しないでもファイル置き場的な場所が欲しくなるケースもあります。とはいえ、独自に作るといろいろと考えることも多いので、MinIOと上手く連携することで処理できるようにしました。管理画面の全般でエンドポイントとかを指定すれば、管理画面のストレージでファイルにアクセスできるようになります。さらに、ファイルクロール設定でstorage://バケット名/パス的な感じで指定するとクロールすることもできます。試したことはないですが、MinIOはゲートウェイとしてS3やGCSなどにも繋げるようなので、いろいろな使い方ができるはずと考えています。

それ以外のところだと、ライブラリの依存関係を整理したりと細々として変更をいれてあります。どうぞ、ご利用ください。