CSVのコメント行と空行を同時に無視する設定で、コメントの直後に空行があると、その後のデータを読み込まず終了する問題が修正されました。エラーを出さず0件のクロールになることもあるため、投入件数の確認が役立ちます。
問題が起きる設定と入力
CSVデータストアのパラメーターで次の2項目を同時に指定した場合が対象です。
ignore_line_patterns=^#.*
ignore_empty_lines=true例えばコメント、空行、データ行という並びで読み込みが止まりました。ignore_empty_lines の初期値はfalse、ignore_line_patterns は未指定なら行パターンによる除外は行いません。それぞれ単独で指定する使い方は従来どおりです。
修正後の確認手順
両方を指定した場合は、空行も行除外のパターン側で扱うことで、使用ライブラリーの読み込み停止を回避します。コメントと空行がデータの前や途中にあるCSVを使い、修正を含むプラグインでクロール件数と検索結果を確認してください。今回の変更を有効にするための新しい設定はありません。
既存のデータストア設定を維持したままプラグインを更新し、CSVを再クロールして、これまで読み込まれなかった行を登録します。ヘッダーを飛ばす skip_lines や列から本文へのマッピングは別設定なので、読み込み件数が想定と違う場合は併せて確認します。
CSVから消した行はすぐ消えるとは限らない
同日の15.9文書修正では、旧文書の削除条件も明確になりました。delete_old_docs と keep_expires_docs はいずれも初期値trueです。通常は全般設定の「以前のドキュメントを削除」による有効期限が文書に付くため、再登録されなかった文書もkeep_expires_docsによって残り、期限後にドキュメントパージャーが削除します。
CSVの行削除が直ちにインデックス削除になると決めつけないでください。keep_expires_docs=false の指定や有効期限設定の無効化で挙動が変わります。同じデータ設定に別々のCSVを投入して蓄積する環境では、旧文書削除との関係を確認します。この文書変更は削除機能を新設したものではありません。