次にリリースされるFess 15.4で、Amazon S3とGoogle Cloud Storage(GCS)のファイルクロールに対応する予定です。
これまでFessでは、file、smb、ftp、storageなどのプロトコルでファイルをクロールできましたが、クラウドストレージに対応してほしいという要望があったので、S3とGCSのサポートを追加しました。
設定としては、crawler.file.protocolsにs3とgcsが追加されるので、ファイルシステムクロールの設定でs3://bucket/pathやgcs://bucket/pathといったURLを指定することで、クラウドストレージ上のファイルをクロールできるようになります。
クロール処理の内部では、これらのURLをファイルパスとして認識して、適切に処理するようにProtocolHelperに対応を追加しています。詳細はPR #2982を参照してください。
Fess 15.4がリリースされたら、ぜひ試してみてください。