行儀が良くなりました

今まで、robots.txt は無視していましたが、RobotsTxtHelper を使って読めるようになりました(RobotsTxtHelperはこれはこれでDIして、S2Robotなしでも使えます)。というわけで、行儀が良いボットなったかと。