今日のひとこと Challange IT For Future

FessでShift_JISやEUC-JPのプレーンテキストを再クロールする

Fess 読了 2分
目次
  1. 判定の順序を確認する
  2. 日本語を含むファイルで確認する
  3. 関連PR

Shift_JISやEUC-JPのテキストファイルをUTF-8で開くと、日本語が置換文字になり、Fessの検索に出てこないことがあります。fess-crawlerの開発ブランチに、プレーンテキスト抽出器が設定された文字コードで読めないバイトを検出した場合の処理が入りました。

判定の順序を確認する

TextExtractor はBOMがあればその指定を使います。BOMがなければ設定済みの文字コードを優先し、初期値はUTF-8です。先頭最大1 MiBがその文字コードで妥当なら、そのまま読み取ります。不正なバイトが見つかると、その行の先頭から最大16 KiBを使い、抽出パラメーターの Content-Encoding があればヒントとして推定します。候補で先頭の検査範囲を読めなければ設定値に戻ります。

日本語を含むファイルで確認する

対象は TextExtractor に渡るファイルです。検査範囲の後ろで初めて不正なバイトが出るファイルや、設定の文字コードでも読めるバイト列では、推定が始まらない場合があります。新しい有効化設定はありません。

修正版のクローラーを含む環境で、代表的なファイルの本文を再取得し、日本語の語句で検索して確認します。既存インデックスの抽出済み本文は再取得後に更新されます。

関連PR