Challange IT For Future
Lucene 10がリリースされ、OpenSearchも2.18のロードマップがなくなり、3.0に向かっている感じがするので、Fessも14から15に向けて、進んでいこうと思います。
何か変わるのか？というのは、たぶん、見た目は大して変えないと思います。しかし、内部実装的なところでは、サーブレットのバージョンを上げていく必要がり、それに伴うjavaxからjakartaパッケージに変える、という対応をしていきます。なので、依存ライブラリたちがいろいろと上がっていく感じになります。
とはいえ、この作業自体は、今年の初めに準備済みなので、それがようやく出番が来たみたいな感じです。そんな感じで、準備はしていたので、細々と更なる更新をするだけかなと思います。
ということで、githubのfessのmasterブランチは、15系に変わりました。
引き続きよろしくお願いしますー。
検索のシンプルな実装を作ってみる系の話です。simple-spladeとか、ちょこちょこ作れるときに作ってみたりしているけど、基本に返って、シンプルなDenseなベクトル検索用の実装を作ってみるかな、と思い始めたのがsimple-dense-retrievalです。
いつものように利用しているデータはESCIのAmazonの商品検索データです。テキストのembeddingには、multilingual-e5-smallをベースにモデルを作る感じです。
ESCIのデータをダウンロードしておけば、python main.pyで学習してモデルができる感じです。query_encoderとdocuemnt_encoderという形で、モデルを保存します。
推論用APIも用意しておこうと思い、今回はTorchServeを利用してます。torchserveの中に置いてあります。query_encoderとdocument_encoderのMARファイルを作って、それをTorchServeのDockerで読み込んで利用するみたいな感じです。
モデルのチューニングの余地は結構ありそうな気がしますが、気が向いたときに調整するかもしれませんが、simple-〜は仕組みの理解のための作っている感じなので、これをベースにいろいろと考えるための叩き台みたいな感じの想定です。
そんな感じですが、simple-dense-retrievalで他にやってみたいこととしては、TorchServe以外にも推論APIはあるので、Triton Inference Serverとかでも動くようにしたいところではあります。ですが、これをするには、model.pyをリファクタリングしないと無理そうなので、これは諦め気味…。他には、実際にOpenSearchとかにインデックスして、検索して試せるようにするとかはできそうな気がするので、これはやってみたい気はしてます。
Fess 14.17をリリースしました。いつものように細々とした修正をしている感じではありますが、このリリースから、1つのOpenSearchのクラスターに対して、複数のFessのインスタンスを起動することができます。OpenSearch上のインデックスは、それぞれおのインスタンスとして、利用することができるようになります。今までも、設定としてはあったのですが、それぞれのFessのインスタンスから制御できなくなっていたので、設定周りを整理しました。
それ以外では、canonical URLのチェックで大文字小文字は無視するようにしたり、ファイルアップロード周りの処理を見直したりした感じです。
あとは、ソースコードの修正とは関係ないところで、リリースノートの文面はChatGPTで生成するようにしていましたが、フォーラムでのリリースのお知らせもChatGPTで生成するようにしたので（今までただのリンクしか置いてなかった…）、それっぽくなったような気もします。毎回、文面を考えるのも結構めんどくさいので…。
何かあれば、フォーラムへ投げてください。