Sitemapsに対応
S2Robot で半年以上放置してきたサイトマップ対応をしました。sitemaps.xml とかをクロールの対象としてクロールすると、そのサイトマップのリンクを…
CodeLibs
目標達成: 100万ドキュメント
目標としていた100万ドキュメントのクロールおよびインデックス化を達成することができました。先月くらいからあれやこれやとチューニングをし続け、…
1.2 -> 2.0
次は Fess 1.2 として、リリースしようと思っていたけど、大幅に機能が拡張されているし、2.0 とした方が適切な気がしてきました。Solr 1.4 を適用し…
100万ドキュメントへの挑戦
-Xmx512m くらいでやるとだいたい50万件のドキュメントをSolrに突っ込んだところで、GC 多発により停止してしまうので調査してみた。まともなログも…
パフォーマンス改善
近頃、師走な感じに忙しい。Fess についてはパフォーマンスチューニングが中心な作業。現在、Fess 1.2 の機能的にはほぼ一段落しているので、今のゴ…
クロール可能なドキュメント数
近頃はクロールさせっぱなしにしたりと、負荷テストみたいなのが多い感じ。ここ数日試していたのが、クロール用データを格納するのに H2 を利用して…
Fess 1.1.2 リリース
リリースしました。特に新機能の追加はなく、クロールのパフォーマンス改善が中心の修正になっています。ここからダウンロードできます。どうぞ、ご…
検索結果のソート
今までは「title:検索語」とすればタイトルに対して検索することが可能だったのだけど(QueryHelperでカスタマイズ可能)、検索結果をソートしたいとい…
SolrJでブースト値
Fessでクロール設定ごとにブースト値を設定したい話があり(検索時にクエリーにブースト値を設定は可能)、SolrJでどうすればよいのか調べる。見てみる…
h2databaseのコンパクト
データを大量に削除したりすると、H2のファイルサイズと実際のデータサイズがあわなくなってくるようだけど、こんなときにコンパクトすると良いらし…