CodeLibsでは、Elasticsearch Repository SSHプラグインを提供しています。Elasticsearchの標準ではHTTPとローカルファイルシステムでスナップショットを保存できますが、このプラグインを利用することでElasticsearchのクラスタからSSHで接続可能なサーバに対して接続して、SSH（実際にはSFTP）でファイルを転送することができます。スナップショットを置くサーバが普通にマウントとかできれば、ローカルファイルシステムで利用すれば良いですが、状況によってはそうはできない場合もあるかと。このプラグインを利用すると、リポジトリの設定がssh用の設定になるだけで、スナップショットとリストアの操作自体は通常と変わりません。という感じなので、必要に応じてご利用ください。
投稿者: shinsuke
DynaRankプラグインとMinHashプラグイン
CodeLibsで提供している、検索結果の上位N件を動的に並び替えるDynaRankプラグインとドキュメント内の指定されたフィールドのMinHash値を計算するMinHashプラグインですが、ドキュメントを書かなければと思いつつ、時間が経ってしまっていました…。
そんな感じで、時間が過ぎてしまっていたのですが、@takezoenさんによりこちらに利用方法を書いていただきました。（すばらしいー）Elasticsearchを全文検索的に利用していて、EC系だとありがちな気もしますが、似たような検索結果が出て困るとか言うようなときにその組み合わせとかで試してみるといい感じでばらまいてくれるので良いかもしれません。
DynaRank自体は別にMinHashに依存しているわけではなく、汎用的な感じで、自由に検索結果を並び替える目的で利用することができます。
意図的に上位N件を並び替えたいとかいうときに便利です。
こことかここを見ると、ebayでもdiversityに取り組んでいるみたいだけど、そんな感じのこともDynaRankで実装できるといいのにな〜と思う今日このごろです。
Fessの中のSolr
はじめに
これは Solr Advent Calendar 2014 – Qiita 、10日目の記事です。
Fessの中で使われているSolrについて、ご紹介します。
Tomcat上でウェブアプリとか作っておいて、そこにSolrを相乗りとかさせるときに参考になるかもしれません。
Fessの中のSolr
ざっくりではありますが、Solrを同梱しているFessの配布物についてまとめます。
- FessはTomcatで配布している
- solr.warをTomcatに配備している(Fessのfess.warと相乗り)
- SolrにBASIC認証を設定している
- Fess内ではSolrJでアクセスしている
今回は、FessでSolrJを使って、どのように呼び出しているかの細かい話は省略しますが、SolrLibというものを作って、SolrJをラップして利用しています。
続いて、実際の中身を見ていきたいと思います。
ダウンロード
まずは、Fessをダウンロードします。
現在、ここから fess-server-9.3.1.zipをダウンロードできます。
今回は、特に実行とかが目的ではないので、これ以外は特に必要はありません。
展開
fess-server-9.3.1.zipを展開します。
$ unzip fess-server-9.3.1.zip $ cd cd fess-server-9.3.1
展開すると、Tomcatをご存じの方はすぐわかるかと思いますが、ほぼTomcatな感じです。
FessでSolrをTomcat上で動かすために変更している部分は以下になります。
- solrディレクトリ
- webapps/solrディレクトリ
- bin/setenv.*ファイル
- conf/tomcat-users.xmlファイル
Fessの配布物を生成するビルドスクリプトの中で、Tomcatをダウンロードして、Solrをダウンロードして、fess.warをビルドして、必要なファイルを置き換えてTomcatに固め直す、ということを行っています。
それを行っているのがfess-serverというプロジェクトになります。
ですので、そのプロジェクトのbuild.xmlを見ると、solr.warをTomcatにどのように配備しているのかが分かるかと思います。
簡単にですが、置き換えている概要的な説明をしておきます。
solrディレクトリ
Solrの配布物に含まれるexampleをベースにcollection1などを持ってきて、必要なファイルを置き換えています。
schema.xml、solrconfig.xml、solr.xml、core.propertiesはFess独自で用意しています。
あとは、Fessは通常の全文検索のインデックスをcore1として、サジェスト用インデックスにはcore1-suggestという感じで2つのコアを利用しています。
webapps/solrディレクトリ
Solrの配布物に含まれるsolr.warを展開して、webapps以下に置いています。
BASIC認証を適用しているので、web.xmlにその設定を加えています。
bin/setenv.*ファイル
Solr用にはsolr.solr.homeを設定しています。
conf/tomcat-users.xmlファイル
BASIC認証用のユーザーを追加しています。
以上のような形でSolrをFessに組み込んでいます。
という感じで、Solrの配布物を持ってきて、上記のファイルを持ってきて編集すれば、ご利用の環境にSolrを配備して利用することができるようになるかと思います。機会があれば、試してみるのも良いかと。