以前にllama.cppを試して便利だなーとか思って、ちょっと時間が経ったら、langchainでOllamaというのを使っていたので、試してみたら、結構便利だった。
いろいろなLLMをAPIなどでも実行できるようにしてくれる。起動も簡単。Dockerも提供されているので、それを利用することにする。モデルを保存するディレクトリとして、ollamaディレクトリを事前に作っておくとして、起動自体は以下でできる。
docker run -d -v ./ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
GPUを利用する場合は、–gpus=allも-dの次あたりに追加して実行すればOK。
たとえば、llama2を利用したい場合は、まず、モデルをダウンロードしておく。
docker exec -it ollama ollama pull llama2
利用可能なモデルはここに使用メモリサイズなどの情報とかと一緒に書いてある。
コマンド実行で試して見るなら、以下を実行すると試すことができる。
$ docker exec -it ollama ollama run llama2 >>> Why is the sky blue? The sky appears blue because of a phenomenon called Rayleigh scattering, which occurs when sunlight passes through the Earth's atmosphere. The atmosphere contains tiny molecules of gases such as nitrogen and oxygen, which scatters the light in all directions. ...
後は、APIでのアクセスも提供されているが、ここに一通り書いてある。以下のようにアクセスすると結果が取得できる。
$ curl http://localhost:11434/api/generate -d '{
"model": "llama2",
"stream": false,
"prompt": "Why is the sky blue?"
}'
EmbeddingのAPIもあるので、いろいろなことができそうではある。
あとは、Modelfileなどを作成すると、カスタマイズしたモデルを登録できるようなので、カスタマイズが必要になったら使えそうです。
という感じで、手軽にローカルでLLMを試すことができる感じになってきました。