Fessのウェブクロール設定でrobots.txtを参照するしないを指定する設定はパラメータ欄に
client.robotsTxtEnabled=true
で、metaタグのrobotsを参照するしないを指定する設定はパラメータ欄に
config.ignore.robots.tags=false
としておく。上記は個別設定ですが、デフォルトを設定しておくにはfess_config.propertiesの以下を変更する。
crawler.ignore.robots.txt=false
crawler.ignore.robots.tags=false