今日のひとこと Challange IT For Future

Fessで認証付きクロールの資格情報をURLからWeb認証へ移す

Fess 読了 2分
目次
  1. クロール設定とWeb認証を登録し直す
  2. ログへの反映範囲を確認する
  3. 関連PR

Fessで認証が必要なページをクロールする場合は、資格情報をWeb認証に登録します。開発版向けの提案では、ホスト名の前にユーザー名を含むURLをPlaywrightがブラウザー起動前に拒否し、Fess本体が該当する開始URLに警告を出します。標準HTTPクライアントは、この形式をリクエストの送信前に拒否します。

クロール設定とWeb認証を登録し直す

  1. Webクロール設定の開始URLを、資格情報を含まない https://example.com/start.html のようなURLに変更します。クロール対象のURLパターンも、変更後のURLに合うことを確認します。
  2. 管理画面のWeb認証で該当するクロール設定を選び、対象ホストとユーザー名・パスワードを登録します。ホスト欄の初期状態は空欄で、空欄では同じクロール設定でたどる別ホストにも適用され得ます。ポートやレルムも、認証を適用する範囲に合わせて指定します。
  3. クロールを実行し、対象ページが取得できることを確認します。修正を含むPlaywrightプラグインでは、URLにユーザー名だけが入っている場合も拒否の対象です。

ログへの反映範囲を確認する

Fess本体の提案では既定のINFOレベルで出るクロール統計ログ fess-urls.log から、URLに含まれるユーザー情報を取り除きます。fess-crawler側の提案ではリダイレクト先のINFOログと、子URL処理のDEBUGログも対象です。開始URLの警告、統計ログ、リダイレクトログ、Playwrightの拒否は、それぞれ該当する修正を含む本体やプラグインが必要です。

変更は今後の処理に適用されます。過去に出力されたログや、以前に保存された検索インデックス・障害URLのレコードは、該当する運用手順で個別に確認します。

関連PR