BEIRは検索関連のデータセットを実行して、精度評価とかできるようなベンチマークツールみたいなものですが、Fessも検索品質を定量的に改善していけると良いなーと思い始め、BEIRをノートブックで簡単に実行できるようにcodelibs/beir-fessを作ってみました。
BEIRのサンプルには、BM25で試したりすることはできるので、同じような感じで、Fessにもインデクシングと検索ができるようにしました。一応、BEIR-fess.ipynbを実行すると、FessをDockerで起動して、インデクシング、検索、Dockerを終了、という感じで一連の処理をしてくれます。なので、簡単に実行はできると思います。
今回、BEIRで実行できるように、Fess自体にも修正を入れたので、次のFessのリリースには反映されていると思います。BEIRの検索クエリーは、単語でなく、質問文みたいな感じなので、これをFessにそのまま渡すと、単語のAND検索になるので、全くヒットしないのです…。なので、今回、ゼロ件ヒットのときには、OR検索にして、再度投げるという感じの処理を入れてます。この辺は将来的には、改善の余地がありそうではありますが…。
あとは、検索クエリーが質問文なので、Fessのセマンティック検索版とかもBEIRで試せるようにする必要はあるかなとは考えてます。
そんな感じで、定量的な評価ができるようになると良いなと思います。