Fessの日本語検索で、カナの一部の表記揺れと、長音記号の代わりに使われたダッシュを吸収する変更が入りました。「ラヴ」と「ラブ」、「サ―バ－」と「サーバー」のような違いを検索しやすくします。
今回増えた正規化
標準のtitle、content、important_contentで使う辞書は、これまでもひらがなや小書き文字、半角カナを大きな全角カタカナへ変換していました。今回、ゐ・ゑ、小さいヵ・ヶなど、変換されず残っていた文字を補っています。
ヴ、ゔ、半角のｳﾞ、ウやうに結合濁点を付けた表記も、ブなどに統一します。*_jaフィールドの日本語辞書にもヴ系の変換を追加しますが、形態素解析に必要なひらがなと小書き文字はそのまま保持します。
カナの後のダッシュを長音として扱う
新しい文字フィルターで、カナに続く―、−、全角の－などをーへ変換します。対象は標準のインデックス用・検索用アナライザーです。新規インデックスでは標準設定として適用し、機能を有効にする追加スイッチはありません。
ASCIIの-や、漢字・英数字の後のダッシュは対象にしません。テスト-ケース、東京－大阪、2026−10−02を一律に長音へ変換しないためです。また、複合語の形態素解析を崩す可能性があるため、この長音フィルターはjapanese_analyzerには追加しません。
既存環境へ反映する
既存インデックスの解析設定と辞書は更新だけでは変わりません。メンテナンスの再インデックスで「辞書のリセット」を選び、新しい設定と辞書で作り直す必要があります。
辞書のリセットは管理画面で加えたmapping.txtやja/mapping.txtの編集も上書きします。独自の変更がある環境では、内容を保存してから再構築してください。
今回の変更は「取り扱い」と「取扱い」、あるいは任意の長音の有無を全て吸収する同義語辞書の追加ではありません。日本語フィールド全体のひらがな・カタカナ統一も行いません。適用後は実際の文書を使い、ヒット数やハイライト、複合語への影響を確認するとよさそうです。
利用できるバージョン
Fess 15.9.0に含まれる予定の機能になります。現時点では、まだ、リリースしていないので、今後のテストで変更される可能性もあります。