Fessの設定変更を再起動せずに反映する範囲を確認する

Fessの設定を管理画面で保存したり、system.propertiesを編集したりしても、起動時に読み込んだ値が残る項目がありました。開発版ではこの動作を改善し、テーマやRAGチャットの利用条件、埋め込み接続の設定変更を稼働中の処理へ反映するようにしました。

保存した設定と実際の動作をそろえる

system.propertiesはファイル変更時に再読み込みされます。今回の修正では、再読み込み後も残っていた解析済みの値を更新します。対象はrag.chat.permissions、rag.chat.labels、sort.value、label.value、virtual.host.valueです。手動編集とバックアップからの設定復元も対象になります。

rag.chat.permissionsとrag.chat.labelsの初期値は空です。前者はチャット利用権限の追加制限なし、後者は検索対象ラベルの追加制限なしという意味で、文書そのものの検索権限を解除する設定ではありません。たとえば、すでに有効化したチャットを特定グループへ限定する設定は次のようになります。

rag.chat.permissions={group}developer

対応版では、保存・再読み込み後のアクセス判定で新しい値を使います。グループ内外のアカウントで実際に確認しておくと、反映漏れを見つけやすくなります。

theme.defaultはテーマ解決時に読み直します。また、osdd.link.enabled=autoの場合、SSO種別の変更に合わせてブラウザー向け検索登録リンクと/osddの提供可否を判定し直します。

埋め込み接続の変更を反映する

OpenSearch埋め込みのcontent_chunker.embedding.opensearch.api.url、username、passwordはリクエストごとに参照します。HTTPクライアントに古い認証情報を保持していたために、接続先を変更しても以前の認証情報を送る問題を改善しています。

埋め込みプロバイダーのtimeoutとconnect.timeoutを変更すると、次の利用時にHTTPクライアントを作り直します。OpenSearchの応答タイムアウトの初期値は60000ミリ秒です。処理中のリクエストがすべて直ちに新しいタイムアウトへ切り替わるわけではなく、旧クライアントは進行中の処理のために一定時間残ります。

content_chunker.embedding.opensearch.timeout=30000
content_chunker.embedding.opensearch.availability.check.interval=60

上のタイムアウト30秒は調整例です。可用性チェックの初期値は60秒で、間隔変更は実行待ちのチェックが終わって次のチェックを予約するときに反映します。短い間隔へ変更してから戻しても、古い周期のチェックが重複して残らないようにする修正も入りました。

マルチモーダルプラグインでは、CLIP接続先と画像設定も利用時に読み直します。画像の初期値は224×224、受け付ける最大サイズは3000×2000、形式はpng、接続先はhttp://localhost:51000です。この変更には対応するプラグインも必要です。

再起動が必要な設定を区別する

fess_config.propertiesの設定は引き続き再起動が必要です。system.propertiesの値が優先され、-Dfess.system.*はその値がない場合のフォールバックになる順序も変わりません。起動コマンドの-Dを書き換える操作が、稼働中のJVMを直接変更するわけではありません。

管理画面の「システムプロパティ」に対応するapp.valueは、手動編集による変更も5秒ごとに確認します。この欄で設定した値を変更・削除すると更新・復元しますが、fess.*以外のキーが起動オプションなど別の経路ですでに設定されている場合は、それを優先します。

SPNEGOの設定反映も別PRで提案されていますが、確認時点ではFessプラグインのPR #2は未マージです。ライブラリ側の変更だけで利用できるとは案内できません。提案されている実装でも、keytabの差し替え、同じ場所のkrb5.confやlogin.confの内容変更、AD側だけのサービスアカウントのパスワード変更は再起動が必要とされています。

関連PR

FessのWebクロールでrobots.txtと再取得の動作を改善する

FessのWebクロールで、robots.txtの判定、クロール間隔、過負荷時の再試行、変更のないページの再取得を見直しました。クロール先のルールを適切に扱い、再クロール時の無駄な転送も減らすための変更です。

robots.txtのルール判定

robots.txtをオリジン単位で解決し、AllowとDisallowの最長一致を使って判定します。同じ長さならAllowを優先します。以前のようにAllowをクロール全体のURL許可パターンへ変換する方式をやめ、開始URLにもルールを適用します。

HTTPクライアントとPlaywrightクライアントで共通の判定処理を使うようにしました。ルールで禁止されたURLはINFOログに残し、アクセス失敗URLには登録しません。

robots.txtを取得できない場合

404などの4xxは許可として扱いますが、429、5xx、タイムアウトなどの場合は待機と再試行を行います。標準では最初の失敗後に3回まで再試行し、それでも取得できなければ、そのクロール中は対象オリジンへのアクセスを停止します。

従来の「robots.txtを取得できなければ許可する」挙動から変わる点です。従来の扱いが必要なクロール設定では、パラメーター欄に以下を指定できます。

client.robotsTxtAllowOnUnavailable=true

これはrobots.txtのルールそのものを無効にする設定ではありません。取得失敗も障害として追えるように、後続の修正でアクセス例外を報告し、同じURLの重複報告を抑えています。ルールによる禁止と通信障害を区別して確認できます。

間隔とバックオフ

robots.txtのCrawl-delayをオリジンごとに適用します。小数の値にも対応し、標準の待機上限は60秒です。増分クロールで同じURLに対して行うHEADとGETの間隔を個別に空ける仕組みではなく、URL単位でペースを調整します。

429や503の応答ではRetry-Afterを使い、ない場合は指数的に待機時間を増やして再試行します。既存のクロール設定の間隔と組み合わせて利用できます。

条件付きGETで再転送を減らす

増分クロールでは従来のHEADとLast-Modifiedの比較を残し、それだけで変更を判断できない場合に、保存したETagや更新日時をGETの条件へ渡します。

If-None-Match: <保存済みのETag>
If-Modified-Since: <保存済みの更新日時>

304 Not Modifiedなら本文を再取得・再解析せず、保存済みアンカーを使って後続URLを処理し、有効期限を延長します。対象はHTTP・HTTPSで、ファイル、SMB、FTPやPlaywrightの条件付きGETには適用しません。

クロール設定変更後などに本文を必ず取り直したい場合は、増分クロールを無効にして再取得してください。アップグレード後は、取得できないrobots.txtが原因で停止していないかログを確認するとよいと思います。

関連PR

Docker版FessのOpenSearchで検索遅延を避ける暫定設定

docker-fessのOpenSearch 3.9.0向けCompose定義に、検索処理の低レベルキャンセルを無効にする設定が追加されました。検索中のキャンセル確認に伴う性能低下を避けるための暫定的な対策です。

docker-fess #91を紹介します。Fessの最新リリースとして確認したのは15.8.0で、15.9のリリースを意味するものではありません。以下は変更を含むCompose定義と対応するOpenSearch環境を利用する場合の説明です。

変更された設定

OpenSearchノードのenvironmentに、次の項目が追加されています。

environment:
  - "search.low_level_cancellation=false"

OpenSearch側の初期値はtrueです。今回のCompose定義ではfalseへ変更します。標準のcompose-opensearch3.yaml、vanilla版、multi-instance版、snapshotの5ノード構成が対象です。変更済み定義を使えば項目は含まれています。独自にComposeファイルを管理している場合は、利用する各OpenSearchノードの設定を確認してください。

環境変数として指定する場合、Compose定義を編集しただけでは稼働中のコンテナへ反映されません。通常のCompose更新手順で対象コンテナを再作成して反映します。反映後はOpenSearchのノード設定APIで、各ノードのsearch.low_level_cancellationがfalseになっていることを確認できます。

どのような遅延への対策か

OpenSearch 3.7〜3.9では、Luceneの検索処理を包むキャンセル確認の実装が、一括処理の高速経路や処理オブジェクトの再利用を妨げることが指摘されています。高頻度語のAND・OR件数集計、前方一致、ワイルドカードなど、一致候補を広く走査する検索が影響を受ける場合があります。

背景と修正内容はOpenSearchのIssue #23107とPR #23117で説明されています。利用者の検索条件やデータ量によって影響は異なるため、この設定による高速化の倍率を一律に保証するものではありません。docker-fessのPRで確認されているのは設定の反映であり、Fess環境での性能測定は行われていません。

キャンセルの応答性との引き換え

falseにすると、Lucene内部を走査している最中のキャンセル確認が行われなくなります。キャンセルやタイムアウトした検索は、次の処理フェーズの境界で停止するため、停止までに時間がかかる場合があります。

検索のキャンセルを全面的になくす設定ではありませんが、重い検索をすぐ止めたい運用ではこの違いを考慮してください。検索時間だけでなく、タイムアウト後の処理継続時間や負荷も検証する必要があります。

今回の対策は、修正を含まないOpenSearch 3.9.0に対する回避策です。Composeのコメントでも、上流の修正を含むリリースがイメージへ取り込まれた後に設定を外すよう記載されています。OpenSearchを更新するときは修正の収録状況を確認し、初期値trueへ戻すか再評価してください。

関連PR