Fess 15.10に向けた開発版では、クロール先が返したHTTP 5xxが標準設定で「障害URL」に記録されます。Tikaが危険な展開の疑いで拒否したファイルも、障害URLから調べられるようになります。以下の動作には関連変更を含むビルドが必要です。
カスタム設定に5xxを追加する
fess_config.properties の crawler.failure.url.status.codes の初期値は 404,403,410,401,5xx です。従来の一覧に 5xx が加わり、500から599までをまとめて記録対象にします。既存環境でこの項目を上書きしている場合は、必要な既存コードを残して 5xx を追記し、設定を反映してからクロールします。
crawler.failure.url.status.codes=404,403,410,401,5xx
たとえば503はクローラーの再試行が尽きた後に障害として記録されます。この初期値には429は含まれません。検証用のクロール先で500や503を返し、クロール後に管理画面の「障害URL」で対象URLとステータスを確認すると、設定が反映されたか判断できます。
圧縮ファイルを拒否した場合
通常の本文抽出例外を無視する crawler.ignore.content.exception の初期値は true のままです。ただし、Tika抽出処理から返る例外またはその原因に reason=zipBombDetected がある場合は、既定の設定でも処理を失敗として記録し、そのクロールでは文書を登録しません。抽出できるファイルサイズや圧縮率の閾値を変更するPRではありません。既に登録された文書の扱いは別に確認してください。
障害URLに載ることと、次回のクロールで除外されることは別の処理です。障害回数による除外の初期値は無効です。除外を設定している環境では、障害件数の増加と合わせて閾値を確認します。
関連PR
- HTTP 5xxを標準の記録対象に追加 Fess #3752
- 圧縮爆弾の疑いを障害URLに記録 Fess #3757