fess-kopfで既存インデックスの設定から新しいインデックスを作る

fess-kopfのインデックス作成画面にある「copy from index」を、OpenSearch 2.x/3.xで使えるように修正しました。既存インデックスの設定やマッピングを参考にして、別のインデックスを作成するときの改善です。

設定を読み込んでも作成に失敗していた理由

従来はクラスター状態のメタデータをそのまま作成用JSONへ入れていました。このデータには_docなどの型の下にマッピングが入り、OpenSearchが割り当てるprovided_name、uuid、version、creation_dateも含まれます。そのまま作成すると「The mapping definition cannot be nested under a type」や設定項目のエラーになります。

修正後はマッピングを型の外へ取り出し、上記4つの自動割り当て設定を除いて作成用JSONに変換します。通常のマッピングやrefresh_intervalなどの設定は残ります。画面で既存インデックスを閲覧する処理は、引き続き元のメタデータを使います。

利用手順

修正を含むfess-kopfを用意し、インデックス作成画面で新しいインデックス名を入力します。「copy from index」で元のインデックスを選び、読み込まれたJSONのsettingsとmappingsを確認してから作成します。必要に応じてシャード数や更新間隔などを用途に合わせて調整してください。

このPRはコピー時の変換を修正するもので、新しい初期値や有効化設定を追加するものではありません。コピー元の設定が出発点になります。OpenSearch 3.9.0では、変更したrefresh_intervalとマッピングを引き継いで作成できることがPRで検証されています。

コピーされる範囲

ここでコピーするのは設定とマッピングです。元のインデックスの文書をコピーする機能ではなく、作成したインデックスへデータを入れる工程は別に必要です。スナップショット復元やReindexと同じ処理とは扱わないでください。

OpenSearchへ新規インデックスを作成できる接続と権限が必要です。既存のインデックスを置き換える操作ではないため、新しい名前を使い、作成後に設定とマッピングを確認してから利用先を切り替えます。

関連PR

FessのCSV取り込みでコメント直後の空行による読み込み停止を防ぐ

CSVのコメント行と空行を同時に無視する設定で、コメントの直後に空行があると、その後のデータを読み込まず終了する問題が修正されました。エラーを出さず0件のクロールになることもあるため、投入件数の確認が役立ちます。

問題が起きる設定と入力

CSVデータストアのパラメーターで次の2項目を同時に指定した場合が対象です。

ignore_line_patterns=^#.*
ignore_empty_lines=true

例えばコメント、空行、データ行という並びで読み込みが止まりました。ignore_empty_lines の初期値はfalse、ignore_line_patterns は未指定なら行パターンによる除外は行いません。それぞれ単独で指定する使い方は従来どおりです。

修正後の確認手順

両方を指定した場合は、空行も行除外のパターン側で扱うことで、使用ライブラリーの読み込み停止を回避します。コメントと空行がデータの前や途中にあるCSVを使い、修正を含むプラグインでクロール件数と検索結果を確認してください。今回の変更を有効にするための新しい設定はありません。

既存のデータストア設定を維持したままプラグインを更新し、CSVを再クロールして、これまで読み込まれなかった行を登録します。ヘッダーを飛ばす skip_lines や列から本文へのマッピングは別設定なので、読み込み件数が想定と違う場合は併せて確認します。

CSVから消した行はすぐ消えるとは限らない

同日の15.9文書修正では、旧文書の削除条件も明確になりました。delete_old_docs と keep_expires_docs はいずれも初期値trueです。通常は全般設定の「以前のドキュメントを削除」による有効期限が文書に付くため、再登録されなかった文書もkeep_expires_docsによって残り、期限後にドキュメントパージャーが削除します。

CSVの行削除が直ちにインデックス削除になると決めつけないでください。keep_expires_docs=false の指定や有効期限設定の無効化で挙動が変わります。同じデータ設定に別々のCSVを投入して蓄積する環境では、旧文書削除との関係を確認します。この文書変更は削除機能を新設したものではありません。

関連PR

Fessの検索APIでファセット指定の誤りを400として扱う

Fessの/api/v2/searchでファセットの数値を誤ったとき、検索結果が0件だったのか、リクエストが間違っていたのかを区別しやすくする修正を行いました。APIを利用する検索画面や連携プログラム向けの変更です。

空の検索結果からリクエストエラーへ

従来はfacet.size=abc、facet.size=0、facet.size=-1やfacet.minDocCount=xを指定すると、HTTP 200でrecord_countが0、partial=trueの応答になる場合がありました。修正後は検索を開始する前に検証し、HTTP 400のinvalid_requestとして返します。

facet.sizeは1以上の整数、facet.minDocCountは整数で指定します。facet.fieldやfacet.queryの要素数・文字列長の制限超過も、検索開始前のリクエストエラーとして扱います。

指定例と初期値

curl --get 'http://localhost:8080/api/v2/search'   --data-urlencode 'q=manual'   --data-urlencode 'facet.field=label'   --data-urlencode 'facet.size=20'   --data-urlencode 'facet.minDocCount=1'

数値を省略した場合は設定値を使います。開発版の初期値はquery.facet.fields.size=100、query.facet.fields.min_doc_count=1です。facet.sizeの上限を制御するquery.facet.fields.size.maxは1000、最小文書数の上限query.facet.fields.min_doc_count.maxは2147483647です。

上限を超える有効な数値は従来どおり上限へ調整されます。負のfacet.minDocCountも拒否する変更ではなく、検索側で0に調整されます。クライアントでは意味の分かりやすい0以上の値を指定するとよいと思います。

クライアントでの確認

HTTPステータスを確認してから検索結果を扱い、400 invalid_requestなら送信したパラメーターを見直します。特に「ファセットを出さない」という意味でfacet.size=0を送っている実装は、不要なfacet.fieldやfacet.queryを送らない形へ変更します。ファセットを要求しない場合、facet.sizeとfacet.minDocCountは読み取られません。

検索エンジンなどの障害時に空の部分的結果を返す挙動は維持されます。partial=trueを一律に入力誤りと判断しないでください。変更対象はv2 APIで、旧v1 APIや他の検索経路へ一律に適用するものではありません。num=abcやstart=abcが既定値になる挙動も今回の対象外です。

関連PR