今日のひとこと

Fess 14.9.1のリリース

Fess 14.9.1をリリースしました。セマンティックサーチ関連で調整が必要だったので、その修正をしました。

#2753はベクトル検索などから返ってくる結果が０件だったりすると例外が出る状態だったので修正しました。

#2754はベクトル検索などから返ってくる結果のスコアが低いものは足切りしないと、関連しないものが表示されるので、それを切り捨てるための最低スコア値を設定できるようにしました。

#2755はヘルパークラスなど、Config Loaderが実行される際に呼びさせるような処理を追加しました。

という感じで、fess-webapp-semantic-searchプラグインが利用する機能を追加しました。このプラグインは近いうちにりりーする予定ですが、これにより、自然な形でFessの結果にセマンティックサーチの結果を織り交ぜて、表示することができるようになります。

という感じですが、何かあればフォーラムをご利用ください。

Fess 14.9のリリース

Fess 14.9をリリースしました。大きな機能追加はないですが、OpenSearch 2.8がリリースされているので、それに対応するリリースです。今回の修正点は

#2749はFessのwebappプラグインで、CORSを修正できるようにしました。この機能がないと、ChatGPTプラグインをローカルモードで実行できなかったりするため、追加しました。

#2750はサムネイル生成スクリプトを修正しました。PDFからのサムネイル生成がうまく行かないケースがあるようなので、その対応です。

#2751は複数の検索結果を融合する機能です。今回は実験的に追加しました。この機能により、通常の検索結果に、ベクトル検索した結果を融合することができます。融合方法は、Reciprocal Rank Fusionで行います。今後、セマンティックサーチの機能検証をしながら、改善していく予定です。

という感じです。何かあれば、フォーラムに投げてください。

#2731, #2732, #2733, #2739は検索APIに関連する修正で、従来のJSONで返していた検索APIを一新しました。新しい検索APIはOpenAPIのyamlファイルを作成したので、これを参照してください。今までのJSONの検索APIやGSAの検索APIを利用したい場合は、fess-webapp-classic-apiとfess-webapp-gsa-apiのプラグインを入れることで、利用することができます。

#2734はクロール設定の入力欄の文字数上限のデフォルト値を4000文字から10000文字まで引き上げました。Boxのデータクロールの設定で、パラメーターへの入力が4000文字を超える場合があるため、増やしました。

#2735はcrawler.document.append.filename=trueを設定することで、ファイル名をcontentフィールドに追加するようにしました。普通に検索して、ファイル名でも検索できるようにするためです。

#2736はDocker版の実行時にaudit.logもECS形式でログをコンソールに出力するようにしました。

#2737と#2738は検索の実装的な修正です。FessをChatGPT PluginのRetrieverとして、動作するようなプラグインを作っているので、それに対応するために内部実装を変更しました。

#2742は利用しているOpenSearch 2.7に上げました。

#2743はコードの整理しただけです。

#2745はデータストアの設定で、キーがキャメル形式になっていたので、time_to_liveで指定できるように変更しました。

#2747はkeep_expires_docsの指定がtrueとfalseが期待する動作とは逆だったので、正しくしました。

という感じで、今回は検索APIが一新したのが大きな変更だと思います。ChatGPT Plugin対応など、このタイミングで検索API周りを整理しておかないと、今後の開発に影響がありそうだったので、整理しました。

何かあれば、フォーラムに投げてください。