今日のひとこと Challange IT For Future

Fessのハイブリッド検索で後ろのページに検索位置を引き継ぐ改善案

Fess 読了 3分
目次
  1. 順位統合からキーワード順に切り替わる位置
  2. 検索テーマとAPIクライアントで確認する
  3. 境目の応答時間と残る重複
  4. 関連PR

キーワード検索とベクトル検索を組み合わせた結果では、上位を統合順位で表示し、後ろのページをキーワード順位で取得することがあります。その境目で位置をそろえないと、ページを順に開いたときに文書が飛んだり重なったりします。Fess 15.10に向けて、検索APIが位置の補正値を返し、検索テーマが後続ページへ引き継ぐ変更が提案されています。

順位統合からキーワード順に切り替わる位置

対象は rank.fusion.engine.enabled=false(Fess本体の初期値)で、Fess側が複数の検索結果を統合する構成です。検索エンジン側で順位統合する true の構成では、この補正は使いません。

rank.fusion.window_size の初期値は200です。提案では、先頭に統合順位の上位100件を置き、次にキーワード検索の上位200件のうち先頭に入らなかった文書を、キーワード順位で並べます。その後にキーワード検索の201件目以降が続きます。先頭100件にキーワード上位200件の外から入った文書が7件あれば、後続のキーワード検索を始める境目は start=207 で、offset=7 を使ってキーワード側の開始位置を200に戻します。

検索テーマとAPIクライアントで確認する

同梱Bootstrapテーマと外部リポジトリーの11テーマに対応案があります。サーバーとテーマの両方の変更を含む検証環境で同じ検索を続けると、テーマは直前の /api/v2/search 応答の offset が正の整数の場合、start > 0 のリクエストと画面のURLに引き継ぎます。再読み込みやブラウザーの戻る操作でもURLから読み直します。検索語や絞り込みを変更して先頭へ戻ると、前の検索の値を破棄します。応答に項目がない旧サーバーでは0として扱います。

独自クライアントでも、先頭ページは offset を省略し、後続ページで同じ検索条件を使うときに直前の応答の値を渡します。最初の応答に7が含まれていた場合、例えばページの境目付近のリクエストは次の形です。

GET /api/v2/search?q=manual&start=210&num=10&offset=7

補正値の初期値は0で、Fess側の順位統合処理では0からウィンドウの半分までに収めます。サーバーは深いページで補正値を照合し直さないため、固定値を使ったり別の検索の値を流用したりすると、文書が抜ける場合があります。

境目の応答時間と残る重複

初期設定では、start=100 から 200 + offset の手前まで、変更前より広い範囲でベクトル検索も実行します。検証時は先頭だけでなくこの範囲の応答時間も測ります。統合上位に入った文書がキーワード検索ではウィンドウより後ろにある場合、その文書がキーワード順位の位置で再び表示されることがあります。ページを確認するときは件数だけでなく文書IDも比べると、このケースを切り分けられます。

関連PR