今日のひとこと Challange IT For Future

Fessで大きな抽出テキストを取り込むためのOpenSearchとクローラーの上限

Fess 読了 3分
目次
  1. 15.9でも文字列上限はJVMオプションで指定する
  2. 15.10開発版で追加された二つの上限
  3. 読み取れないクロールデータの後処理
  4. 関連PR

巨大なExcelファイルなどをクロールすると、抽出本文をシリアライズしてBase64化したデータが、OpenSearchのJSON文字列の上限に達することがあります。標準の上限は50,000,000文字で、元のファイルサイズとは別の値です。途中のクロールデータを読み戻せず、処理が進まなくなるケースに対して、Fess 15.10の開発ブランチに対策が入りました。

15.9でも文字列上限はJVMオプションで指定する

引き上げが必要な場合は、すべてのOpenSearchノードの config/jvm.options、またはコンテナーの OPENSEARCH_JAVA_OPTS に -Dopensearch.xcontent.string.length.max=104857600 を追加します。Fessクローラーの jvm.crawler.options にも同じオプションを追加し、既存のJVMオプションを維持します。opensearch.yml に書くと未知の設定として起動に失敗します。

15.10開発版で追加された二つの上限

TikaExtractor の maxTextBytes は初期値36,000,000バイトで、UTF-8本文が超えた場合に途中までを残して警告を出します。OpenSearchDataService の maxDataSize は初期値37,000,000バイトで、シリアライズ後のデータが超えた場合は警告を出して本文などのクロールデータを落とします。

本文をさらに長く取り込む場合は、crawler/extractor+tikaExtractor.xml の maxTextBytes と crawler_opensearch+dataService.xml の maxDataSize を変更します。前者を後者より小さくし、後者はOpenSearchの文字列上限の4分の3以下にします。上のJVM設定例なら、本文72,000,000バイト、データ74,000,000バイトが文書の例です。長い文字列は読み込み時にメモリーを使うため、OpenSearchとクローラーのヒープも見直します。取得サイズとTikaの展開制限は別に確認します。

読み取れないクロールデータの後処理

15.10向けのインデクサーは、部分的なシャード失敗から読み取れないクロールデータを特定できた場合、そのレコードを警告付きで削除して処理を進めます。全シャードが失敗して検索自体がエラーになる場合には、この処理で復旧できません。上限で切られた文書の全文を登録するには、設定を調整した後で再抽出が行われる形でクロールし直します。

関連PR

fess-crawler #242、fess #3799、fess-docs #646