カテゴリー: Fess

FessをCodeLibsプラグインなしのOpenSearchへ接続するvanilla設定

Fessの15.9開発版に、CodeLibsの検索エンジンプラグインを導入できないOpenSearch向けの種別 vanilla が追加されました。マネージドサービスなどを使う場合に、作成するインデックスと利用できる管理機能を明示できます。

初期値と使い分け

search_engine.type の初期値は default です。これはCodeLibsのanalysis-fess、analysis-extension、minhash、configsyncを導入したOpenSearchを前提にします。プラグインなしでは vanilla を指定します。aws も同じインデックス定義を使い、cloud は非推奨の別名として起動時に警告を出します。プラグインの自動判定はありません。

設定手順

DockerではFessサービスに次の環境変数を追加します。接続先URLは実際のOpenSearchに合わせてください。

SEARCH_ENGINE_HTTP_URL=http://search01:9200
SEARCH_ENGINE_TYPE=vanilla

ZIP/RPM/DEB版では fess_config.properties に search_engine.type=vanilla を指定し、Fessを再起動します。Docker以外の bin/fess.in.sh は SEARCH_ENGINE_TYPE を読み込まないため、環境変数だけで設定したつもりにならないようにします。

初回起動前に種別を決めてください。後から変更しても既存インデックスのマッピングは変わりません。独自の _aws / _cloud 定義を使っていた環境は、15.9で _vanilla が使われる点も確認します。

利用条件と制限

CodeLibsのプラグインは不要ですが、OpenSearch公式の analysis-kuromoji、analysis-nori、analysis-smartcn、opensearch-knn は必要です。起動時のプラグイン確認は不足を警告するだけで、起動継続をもって全機能の利用可能とは判断できません。

辞書管理と辞書API、辞書初期化、ドキュメントインデックスのリロード、検索結果の重複折り畳み、重複文書レポートは利用できません。休眠文書レポートは利用できます。日本語などの解析はOpenSearch標準の解析器になり、default と分割結果が異なります。ベトナム語と繁体字中国語の専用言語フィールドは空の解析器ですが、共通のcontent/titleフィールドには登録されます。

Amazon OpenSearch ServiceではOpenSearch 3.x、必要なプラグイン（Noriはオプションのパッケージ）、HTTPS、内部ユーザーのBasic認証を確認します。IAMのSigV4署名にはまだ対応していません。

関連PR

FessのMicrosoft 365クロールでPurview機密ラベルを扱う

Microsoft 365データストアのOneDriveDataStoreに、Microsoft Purviewの機密ラベルを読み取り、ラベルに応じてクロール結果を制御する変更が入りました。OneDrive、SharePointの文書ライブラリー、Microsoft 365グループのドライブで、本文を取り込まない運用や対象から外す運用を選べます。

有効化とポリシー例

初期値はsensitivity_label_enabled=falseです。データストア設定のパラメーター欄に、1行ずつ次のように設定します。

sensitivity_label_enabled=true
sensitivity_label_policy.Highly Confidential=skip
sensitivity_label_policy.Confidential=no_content;restrict:{group}legal@example.com

この例ではHighly Confidentialとその子ラベルを取り込まず、Confidentialとその子ラベルは本文を取得せず、法務グループに絞ります。indexは通常の取り込み、skipは除外、no_contentは名前などのメタデータだけの取り込み、restrictは閲覧ロールの絞り込みです。

ラベルのID、名前、親ラベル、暗号化を示す@protected、残りを表す*をルールに利用できます。複数ラベルの結果は厳しい側へ組み合わせます。ルールが不正な場合はクロールを停止するため、実際のラベルと権限を用意してから設定します。

権限と取得対象

ファイルの機密ラベル取得には既存のFiles.Read.Allを使います。ラベルの名前、親子関係、暗号化設定を読むには追加でSensitivityLabel.Readが必要です。定義を取得できない場合、基本的にはそのラベル自身のIDと*だけで一致判定します。名前や親ラベルによる規則を安全に解決できない場合は失敗ポリシーへ進みます。

初期設定の取得対象はOffice形式とPDFです。対象ファイルごとにGraphへの追加リクエストが発生します。sensitivity_label_extensionsで対象拡張子を指定できます。取得APIは古いラベルを再抽出し、Microsoft 365側のメタデータを更新する場合もあります。

制限はACLとの共通部分

restrictは既存ACL、デフォルト権限、クロール設定の権限から作るロールを狭めます。新しい閲覧権限を与える設定ではなく、共通するロールがなくなると取り込みません。Graphから暗号化ラベルの許可ユーザー一覧を取得できないため、管理者が対応するロールを指定します。グループ経由ではなく直接権限を与えたユーザーが除外される場合にも注意してください。

必要ならスクリプトでsensitivity_label=file.sensitivity_label_namesとマッピングできます。検索APIへ返す場合やフィールド検索に使う場合は、対応する追加フィールド設定も必要です。

暗号化ファイルと失敗時の扱い

定義を取得できる暗号化ラベルのファイルは、個別ルールがない場合、原則として本文なしで取り込みます。Graphが返すファイルは暗号化されたままで、本文を抽出できません。定義を取得できないとこの暗号化判定が使えない場合があります。

sensitivity_label_failure_policyの初期値skipは、ラベルを取得できないファイルを失敗URLとして記録して取り込みません。index_without_labelへ変えると取得できた情報で処理を継続するため、意図した制限を適用できない可能性があります。二重キー暗号化のファイルは423 Lockedで失敗ポリシーへ進みます。

このPRの検証はGraphの模擬応答によるもので、実テナントの検証は行われていません。変更を含むMicrosoft 365プラグインを用意し、少数のファイルでラベル・権限・失敗URLを確認してから対象を広げてください。

利用できるバージョン

Fess 15.9.0に含まれる予定の機能になります。現時点では、まだ、リリースしていないので、今後のテストで変更される可能性もあります。

関連PR

Fessのカナ表記と長音記号の揺れを検索時に吸収する

Fessの日本語検索で、カナの一部の表記揺れと、長音記号の代わりに使われたダッシュを吸収する変更が入りました。「ラヴ」と「ラブ」、「サ―バ－」と「サーバー」のような違いを検索しやすくします。

今回増えた正規化

標準のtitle、content、important_contentで使う辞書は、これまでもひらがなや小書き文字、半角カナを大きな全角カタカナへ変換していました。今回、ゐ・ゑ、小さいヵ・ヶなど、変換されず残っていた文字を補っています。

ヴ、ゔ、半角のｳﾞ、ウやうに結合濁点を付けた表記も、ブなどに統一します。*_jaフィールドの日本語辞書にもヴ系の変換を追加しますが、形態素解析に必要なひらがなと小書き文字はそのまま保持します。

カナの後のダッシュを長音として扱う

新しい文字フィルターで、カナに続く―、−、全角の－などをーへ変換します。対象は標準のインデックス用・検索用アナライザーです。新規インデックスでは標準設定として適用し、機能を有効にする追加スイッチはありません。

ASCIIの-や、漢字・英数字の後のダッシュは対象にしません。テスト-ケース、東京－大阪、2026−10−02を一律に長音へ変換しないためです。また、複合語の形態素解析を崩す可能性があるため、この長音フィルターはjapanese_analyzerには追加しません。

既存環境へ反映する

既存インデックスの解析設定と辞書は更新だけでは変わりません。メンテナンスの再インデックスで「辞書のリセット」を選び、新しい設定と辞書で作り直す必要があります。

辞書のリセットは管理画面で加えたmapping.txtやja/mapping.txtの編集も上書きします。独自の変更がある環境では、内容を保存してから再構築してください。

今回の変更は「取り扱い」と「取扱い」、あるいは任意の長音の有無を全て吸収する同義語辞書の追加ではありません。日本語フィールド全体のひらがな・カタカナ統一も行いません。適用後は実際の文書を使い、ヒット数やハイライト、複合語への影響を確認するとよさそうです。

利用できるバージョン

Fess 15.9.0に含まれる予定の機能になります。現時点では、まだ、リリースしていないので、今後のテストで変更される可能性もあります。

関連PR