カテゴリー: S2Robot

近頃、id:bowez さんにパッチやご意見をいただき(ありがとうございますー)、ややこしい部分とかが整理されてきてます。IntervalGeneratorもIntervalControllerに置き換えて、すべての待ち時間を管理するようになりました(今まで一部待ち時間がrobotConfigにあったりで…)。アクセス間隔の制御はしやすくなったかと。という感じで、外も明るくなってきた…。

S2Robot では、結構、一時ファイルを作って消してみたいな処理をやっているのだけど、消し忘れみたいなとこがあった…。現在、ローカルファイルのクロールで数万件のクロールとかして(Webクロールだけだと、数万件のクロールテストは環境面で準備とかが大変なので、ローカルファイル対応は正解だったね)、ファイルデスクリプタが限界値超えして IOException で気がついた。何か面倒な問題だな、とも思ったけど、

lsof -p [プロセスID]

して、コードを見直したら、さっくり解決した。はまらずに解決できて良かった…。

JIRA を使い始め増した。今まで使ってなかったのだけど、ガツガツ変更していく感じでもなくなってきているので、タスクを管理していくために利用していきます。バグや要望などありましたら、あげてくださいませ～。