sklearnのVectorizer
sklearnのVectorizerは文を渡して、それをベクトル化してくれるものですが、sklearnに含まれているCountVectorizerとTfidfVectorizer試してみる。 ま…
2014年
pydotのdot_parserエラー
Couldn't import dot_parser, loading of dot files will not be possible. というエラーが出る場合は、/usr/local/lib/python2.7/dist-packages/dot…
PythonとElasticsearchで形態素解析
Elasticsearchから取り出してsklearnでテキストデータをゴニョゴニョするときにPython側ではIgoを使って形態素解析とかしていたけど、Elasticsearch…
PythonでURLエンコード
urlibのquote/unquoteを利用する。 $ python Python 2.7.6 (default, Mar 22 2014, 22:59:56) [GCC 4.8.2] on linux2 Type "help", "copyright", "cr…
Pythonでunicode正規化
unicodedataを使えばよい。 $ python Python 2.7.6 (default, Mar 22 2014, 22:59:56) [GCC 4.8.2] on linux2 Type "help", "copyright", "credits" …
elasticsearch-pyを試す
ElasticsearchのPython用クライアントであるelasticsearch-pyを試してみる。 pipが利用できる環境であれば、 $ sudo pip install elasticsearch とす…
PythonでIgoを使う
形態素解析器IgoをPythonで利用する方法をまとめます。Mecabとかもありますが、クロスプラットフォームとかで環境準備しようとすると、面倒な部分も…
Synonymプラグイン
Elasticsearch Analysis SynonymはLUCENE-5252で上がっているNGramSynonymTokenizerをElasticsearchで利用できるようにしたプラグインです。詳しいこ…
Reindexingプラグイン
ReindexingプラグインはElasticsearchでドキュメントを追加したときにJSONデータを保存しているsourceフィールドを利用して、スクロールスキャンで既…
Elasticsearchプラグインを作ってみよう
はじめに これは Elasticsearch Advent Calendar 2014 - Qiita 、13日目の記事です。 Elasticsearchはプラグインを作成することで、様々な機能を拡張…