Fessのクロール時にOllamaを呼んで、何かできないかなと考えてみる。
- クロールで取得したファイルをLLMに渡す
- ファイルから抽出したテキストをLLMに渡す
などが考えられるかな…。前者はExtractorを作る感じで、後者はIngesterあたりで処理する感じになるかな。とりあえず、前者から考えてみると、画像を渡して、そこからテキストにするとかかな。
という感じで、叩き台的な感じで、fess-crawler-ollamaを作ってみた。system.propertiesに設定を書くような感じにして、設定されているプロンプトでExtractorでファイルを処理する的な。テキストファイルも対象にするような感じで考えてみたものの、テキストファイルを丸ごと渡して、処理したいような場合もないような気も…。テキストを処理したいような場合は、Ingesterの方ですることを考えた方が良いかな。
これはこれでもうすこし整理したら、fess-ingest-ollamaみたいなものを作るかもしれない。