カテゴリー: Seasar

S2Robot と Fess の開発を交互にやっている感じもあるけど、Fess も検索部分の機能が落ち着いてきたし、S2Robot も大きなところは結構整理された感もあるので、

• ROBOT-6 圧縮ファイルを処理するExtractorの追加
• ROBOT-17 UrlQueueのS2Robotインスタンスの複数起動対応

を処理したら、0.1.0 にしようかと。まぁ、Fess も含めた結構がんばったな、っていう感じかな。

今まで、robots.txt は無視していましたが、RobotsTxtHelper を使って読めるようになりました(RobotsTxtHelperはこれはこれでDIして、S2Robotなしでも使えます)。というわけで、行儀が良いボットなったかと。

近頃、id:bowez さんにパッチやご意見をいただき(ありがとうございますー)、ややこしい部分とかが整理されてきてます。IntervalGeneratorもIntervalControllerに置き換えて、すべての待ち時間を管理するようになりました(今まで一部待ち時間がrobotConfigにあったりで…)。アクセス間隔の制御はしやすくなったかと。という感じで、外も明るくなってきた…。