Nutch

てっきり、Nutch は活動が止まったのかと思っていたのだけど、3月にリリースされていたのね。Nutch がなくなったと思ったから、自分で Fess を作り始めたのだけどな…。まぁ、Fess はカスタマイズ性の高さという意味で、ちょっと目指すところが異なるから、Fess自体は進めるのだけど。それは置いておいて、Nutch のクロール部分をどうしているのか気になったから、ちょっと見てみたら、import しているパッケージに Hadoop の MapReduce があるっぽいな。S2Robot では自前でスレッド管理してやっているから、それらを MapReduce で処理するコードはちょっと気になるところ。ちょっと重い話だから、時間があるときに見てみよ。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です