時間が空いてしまいましたが、OpenSearch 2.19がリリースされていたので、Fessも14.19系をリリースしました。Fessのメインの開発は15.0系になっているというのもあり、14系には必要なものだけ入れる感じなので、変更は少ないです。主な変更点は以下です。
これら以外には依存しているライブラリを更新していたりします。何かあれば、フォーラムをご利用ください。
カテゴリー: Fess
FessでOllamaの使い方を考える
Fessのクロール時にOllamaを呼んで、何かできないかなと考えてみる。
- クロールで取得したファイルをLLMに渡す
- ファイルから抽出したテキストをLLMに渡す
などが考えられるかな…。前者はExtractorを作る感じで、後者はIngesterあたりで処理する感じになるかな。とりあえず、前者から考えてみると、画像を渡して、そこからテキストにするとかかな。
という感じで、叩き台的な感じで、fess-crawler-ollamaを作ってみた。system.propertiesに設定を書くような感じにして、設定されているプロンプトでExtractorでファイルを処理する的な。テキストファイルも対象にするような感じで考えてみたものの、テキストファイルを丸ごと渡して、処理したいような場合もないような気も…。テキストを処理したいような場合は、Ingesterの方ですることを考えた方が良いかな。
これはこれでもうすこし整理したら、fess-ingest-ollamaみたいなものを作るかもしれない。
Fess 15に向けて
Lucene 10がリリースされ、OpenSearchも2.18のロードマップがなくなり、3.0に向かっている感じがするので、Fessも14から15に向けて、進んでいこうと思います。
何か変わるのか？というのは、たぶん、見た目は大して変えないと思います。しかし、内部実装的なところでは、サーブレットのバージョンを上げていく必要がり、それに伴うjavaxからjakartaパッケージに変える、という対応をしていきます。なので、依存ライブラリたちがいろいろと上がっていく感じになります。
とはいえ、この作業自体は、今年の初めに準備済みなので、それがようやく出番が来たみたいな感じです。そんな感じで、準備はしていたので、細々と更なる更新をするだけかなと思います。
ということで、githubのfessのmasterブランチは、15系に変わりました。
引き続きよろしくお願いしますー。