今日のひとこと Challange IT For Future

FessのHTMLクロールでtemplate要素を検索本文から除く設定案

Fess 読了 2分
目次
  1. 本文から除くタグを確認する
  2. クロール方式と再クロールを確認する
  3. 関連PR

WebページのHTMLには、JavaScriptが表示内容を組み立てるための <template> が含まれることがあります。Fessの開発版向けのPR #3789では、その要素に入った文字列を検索本文の抽出対象から既定で除く案が出ています。

本文から除くタグを確認する

提案では fess_config.properties の crawler.document.html.pruned.tags の初期値が次のようになります。

crawler.document.html.pruned.tags=noscript,script,style,template,header,footer,aside,nav,a[rel=nofollow]

このプロパティをすでに指定している場合は、その設定が使われます。除外したいときは既存のリストに template を加えます。これまでの挙動を使う必要がある場合は、template を含まないリストを明示します。

クロール方式と再クロールを確認する

標準のHTTPクライアントはJavaScriptを実行しません。本文が <template> の中にしか存在しないページでは、除外を有効にするとその文字列が検索本文に入りません。Playwrightでクロールし、スクリプトが取得時点までにテンプレートの内容を通常のDOMに展開していれば、展開先の文字列は抽出できます。

すでにインデックスに入っている本文には再クロールが必要です。設定を反映した後、対象ページを再クロールし、テンプレート内だけにある語と表示本文にある語の検索結果を確認します。

関連PR