カテゴリー: Fess

Fessの検索結果に自分のタグを付けて文書を整理する

Fessの検索結果に、ログインしたユーザーがタグを付ける機能が追加されました。「あとで読む」「提案資料」のような名前で文書を整理し、タグから検索結果を絞り込めます。

タグ付けを有効にする

初期状態では無効です。fess_config.propertiesに次の設定を行い、設定変更を反映してから利用します。

user.tag.enabled=true
user.tag.name.max.length=50
user.tag.max.document.tags=100

タグ名の長さは初期値で50、1文書に付けられるタグ数は100です。画面の対応は同梱のbootstrapテーマです。追加・削除にはログインが必要で、アクセストークンだけでは代替できません。検索で閲覧できない文書にはタグを付けられません。

タグをラベルとして管理する

タグは種類がtagのラベルとして保存します。同じ名前を追加すると同じタグを利用し、追加したユーザーをそのタグのパーミッションに加えます。名前はNFKC正規化と空白の整理を行い、制御文字などを含む名前を拒否します。

管理画面のラベル設定から、グループやロールへ共有できます。タグの対象はURLの完全一致で管理するため、再クロールやインデックスの再構築でもタグ情報を保持できます。

ユーザーの削除操作は、自分をタグのパーミッションから外す動作です。別のユーザーやグループ、ロールが残っているときは、タグそのものと対象文書の関連は残ります。

移行と共有時の注意

既存の文書インデックスにはtagをkeyword型で追加するか、再インデックスを行ってから有効化してください。自動の動的マッピングに任せると、絞り込みに適した型にならない可能性があります。

タグもラベル取得件数の上限page.labeltype.max.fetch.sizeに含まれます。初期値は1000で、上限に達すると新しいタグを作成できません。管理画面でタグを変更した場合は、再クロールかラベル更新ジョブを実行するまで文書側の値が残ります。

表示するタグやファセットは呼び出したユーザーのラベル権限で絞ります。ただし、名前から算出した値を指定して検索すると、表示権限のないタグについても自分が閲覧できる文書との関連を推測できる制限があります。機密情報の分類をタグ名だけで保護する運用には注意が必要です。

利用できるバージョン

Fess 15.9.0から使えるようになる予定です。

関連PR

Fessの検索結果をCSV・JSONでエクスポートする

Fessの検索結果をCSVまたはJSONファイルとしてダウンロードできる機能を追加しました。検索で絞り込んだ文書の一覧を表計算ソフトに取り込んだり、別のツールで加工したりする用途に使えます。管理画面の検索ログ出力とは別の、検索利用者向けの機能です。

エクスポートを有効にする

デフォルトでは無効です。fess_config.propertiesで有効にし、必要に応じて件数や出力項目を調整します。

api.search.export=true
api.search.export.max.size=1000
api.search.export.fields=title,url_link,last_modified,content_length,filetype
api.search.export.rate.limit.per.minute=10

標準のbootstrapテーマでは、機能を有効にすると検索結果の状態表示の横にCSV・JSONのエクスポートメニューが表示されます。現在の検索条件を引き継ぎ、画面のページング条件は引き継ぎません。

APIからダウンロードする

エンドポイントはGET /api/v2/documents/exportです。formatはcsvまたはjsonで、省略するとCSVになります。通常の検索APIと同様に、q、ex_q、fields.*、sortなどを指定できます。

curl --get 'http://localhost:8080/api/v2/documents/export' \
  --data-urlencode 'q=運用手順' \
  --data-urlencode 'format=csv' \
  --output search-results.csv

これはログイン不要の環境での例です。ログイン必須の環境では、検索APIと同様にセッションやアクセストークンなど、環境に合った認証が必要になります。

エクスポートは内部で検索結果を順に取得します。numは無視され、ファイルに書き出す件数はapi.search.export.max.sizeで制限します。標準の上限は1000件です。

出力形式と閲覧権限

CSVはcsv.file.encodingの文字コードを使い、UTF-8ではBOMを付けます。複数値のフィールドは空白で連結し、数式として評価される文字で始まる値には引用符を付けて保護します。

JSONは{"data":[...]}形式で、複数値は配列のまま出力します。出力フィールドを追加しても、APIレスポンスで許可されていないフィールドは書き出しません。

文書の閲覧権限は通常の検索と同じロールフィルターで確認します。エクスポートを有効にしても、検索で閲覧できない文書まで取得できるようにはなりません。

運用上の制限

標準ではユーザーごとに1分あたり10回まで、ゲストはクライアントIPごとに制限します。超過時はHTTP 429とRetry-Afterを返します。

出力件数が多い場合は上限を確認してください。また、ダウンロード開始後に取得処理が失敗するとファイルが途中で終了する可能性があります。取得した件数を確認してから集計に利用すると安心です。エクスポート自体は検索ログには記録しません。

関連PR

Fessで画像とスキャンPDFをOCR検索する

Fessで、画像やスキャンしたPDFに含まれる文字を検索できるように、Tesseract OCRを有効にする設定を追加しました。紙の見積書や請求書をPDF化して保管している場合など、これまで本文を抽出できなかった資料を検索対象にできます。今回はFess 15.9向けにマージされた変更を紹介します。

OCRの仕組み

画像はTika経由でTesseractを呼び出して文字を抽出します。PDFは従来どおりPDFBoxで本文を取り出し、本文が空の場合に限ってTikaへ処理を引き継ぎ、ページを画像化してOCRを行います。文字情報のあるPDFを一律にOCRし直す仕組みではありません。

OCRはデフォルトでは無効です。Fessの設定に加え、クローラープロセスが動く環境にTesseract本体と利用する言語データが必要になります。

設定方法

日本語と英語を読み取る場合は、fess_config.propertiesに以下を設定します。

crawler.document.ocr.enabled=true
crawler.document.ocr.language=jpn+eng
crawler.document.ocr.timeout=120

言語のデフォルトはeng、タイムアウトのデフォルトは120秒です。タイムアウトは画像1枚、またはPDFの1ページに対するTesseractの実行時間です。変更後はFessを再起動します。既にインデックスされたファイルにOCR本文を反映するには、本文抽出が再実行されるように再クロールしてください。

Tesseractの言語データは次のコマンドで確認できます。

tesseract --list-langs

日本語の文字間に不要な空白が入り、単語検索に一致しなくなる問題を避けるため、OCR設定ではpreserve_interword_spacesも有効にしています。

Dockerで利用する場合

docker-fessにcompose/tesseract/Dockerfileを追加しました。Tesseract本体とosd、eng、jpnのデータを含めたイメージをビルドするための構成です。osdはページの向きなどを判定する処理で利用します。

Composeではimage:の代わりにbuild: ./tesseractを使い、既存のJVMオプションに以下を加えます。

-Dfess.config.crawler.document.ocr.enabled=true
-Dfess.config.crawler.document.ocr.language=jpn+eng

追加時点のDockerfileは15.8.0をベースにしているため、そのままでは今回の設定を利用できません。OCR対応の15.9ビルドにベースイメージを合わせる必要があります。

既存環境での注意点

独自に変更したtika.xmlが保持されている環境では、TesseractOCRParserの除外設定が残っていないか確認してください。OCRを有効にしてもTesseractが使えない場合は警告を出します。また、クロール設定のconfig.tika.tesseract.configは全体設定より優先されます。

本文が空だった際の再解析ではOCRをスキップするため、文字のない画像などに同じOCR処理を繰り返さないようにしています。対象資料と必要な言語を確認しながら有効にすると、画像として保存していた文書にも検索を広げられます。

関連PR