Fessの歴史と今後

Fess (フェス) は「5 分で簡単に構築可能な全文検索サーバー」です。(実際に5分で構築できるかはおいておいて、それくらい簡単に構築して利用できる感じのものを目指しています) Java 実行環境があればどの OS でも実行可能で、Apache ライセンスなのです。
Fessもバージョン10になり、2009年にリリースしてから、7年近く開発を続けています。ここで、一度振り返り、今後も考えてみたいと思います。

Fess誕生の経緯

当時、主にポータルサーバ(Apache Jetspeed 2)を開発して、その導入をしていましたが、ポータルサーバを入れるときに検索システムの要求も結構ありました。検索システムへの要求に答えるために、Apache Solrが使えそうということで使い始めたものの、使ってみるとシステムとして導入して使えるようにするまでにはかなりのギャップがあることに気づきました。Solrは検索サーバであり、検索画面やクロールなどは開発する必要があり、単に検索システムをシステム全体の一部として導入したいだけだとしてもかなりの開発コストが必要でした。この問題を解決するために、2009年9月にFess 1.0をリリースして、手軽に検索システムを利用できる世界を目指し始めました。

Fessの進化

Fess 1.0はウェブとファイルシステムをクロールして、検索できるようにするくらいのシンプルなものでした。Fess 2.0〜3.0あたりから商用としても導入をいろいろと始め、ここからが案件ベースの要求により、機能拡張されていきました。SambaやFTPに対応したり、Active Directory/LDAPなどの認証システムと連携して、社内のドキュメントのセキュアな検索とか、実践でかなり鍛えられていくことで、よほどの要件がない限りは簡単に導入していくことができるようになったと思います。あとは、Solrも進化していったので、それに合わせて検索システムとしても強化されていったと思います。

Fess 9での停滞

機能拡張して、5年近く開発し続けているので、ベースのフレームワーク等が古くなっていってしまいました。Java 6やSeasar2/SAStrutsなどの過去の遺産を捨てる必要があるのに加えて、近年の検索システムへの要求が検索対象の大規模化が進み、検索システムのクラスタが必要な状況になり、アーキテクチャから見直しが必要になりました。フレームワーク等の選定において、以下のことを軸に考えました。

  • DBFluteを使う。依存するライブラリの中で、他のライブラリは変更しても良いのですが、DBFluteは使いやすさや信頼性の観点でこれなしの開発が考えられません。なので、DBFlute中心のフレームワーク選定を行いました。Springの利用も考えましたが、Seasar2からの移行のしやすさなどを考えて、LastaFluteという新しいフレームワークで開発することにしました。
  • SolrとDBをElasticsearchに移行する。当時、Solrで分散検索をするためには、SolrCloudを頑張るか、分散検索の設定を頑張るかになる気がするのですが、これらが案件で導入する作業としては現実感が全くありませんでした…。そのときに、Elasticsearchも十分にナレッジを持っていたこともあり、スケールアウトのしやすさ観点でElasticsearchへの移行を決めました。また、Fess 9まで設定データ等をDB(MySQLなど)に入れていたのですが、導入の際にDBまでの冗長化等を考えると、設計・構築コストが発生するので、すべてをElasticsearchに入れるようにしました。

Fess 10の誕生

新しいアーキテクチャが決まったので、Java 8, DBFluteやLastaFluteなどの〜Fluteシリーズ, Elasticsearchというものをベースに2015年あたりに開発を始めていきました。1年近くかかりましたが、2016年2月にFess 10をリリースすることができました。商用サービスとしても開始しているので、すでにいろいろな企業様で稼働しています。あとは、Fess 10からは日本にとどまらず、グローバルに展開するため、githubでの開発を中心に行っています。
機能的なところでは、Active Directory連携やロール検索を見直すことで、今まで商用でしか導入が難しかった機能が設定だけでできるようになったり、より利用しやすくなっているかと思います。あとは、Elasticsearchクラスタを適切に構築すれば、スケールアウトもしやすい感じになっていると思います。個人的には、Fess 9からFess 10へは劇的な進化になっていると思います。その進化の中で、DBの利用だったり、JavaEEサーバへのデプロイだったり、いくつか捨てたものはありますが、捨てることで得たものはかなり大きいと思います。

今後

今後も開発し続けます。細かい機能追加はあると思いますが、Elasticsearchのバージョンが上がるのに合わせた更新が増えるかと思います。
あとは、近年の要求としては、検索対象の大規模化、機械学習や自然言語処理的な要求が増えてきているので、このあたりでの機能拡張をしていくと思います。
まずは、年内か年明け辺りにElasticsearch 5に対応したFess 11がリリースすることになると思います。
あと、補足的な感じですが、Fessはオープンソースで提供し続けてきていますが、これは自社用独自カスタマイズや構築のコンサルティング等をリクエストしていただいているお客様がいることで成り立っていると思います。これらのビジネス上、重要な場所でいろいろと利用していただいていることに大変感謝しております。Fessは自由にご利用いただけると思いますが、検索のノウハウがないと1000万ドキュメントの検索システムの構築は難しかったり、セキュアな検索が求められるところではこれもノウハウが必要になるかと思います。この辺のことを様々な形で支援できると思いますので、気軽に商用サポートにご相談していただければと思います。(という感じで、今後も開発し続けることができるように宣伝…)