llama.cppをmake LLAMA_CUBLAS=1でビルドすると、このエラーが起きた…。-arch=nativeだと、GPUを検知してビルドしてくれるらしいのだけど、RTX 4060の手元の環境だとエラーになる。CUDAのバージョンも影響している感じもするけど、とりあえず、Makefileを
- MK_NVCCFLAGS += -arch=native + MK_NVCCFLAGS += -arch=all-major
という感じに修正して対応した。
Challange IT For Future
llama.cppをmake LLAMA_CUBLAS=1でビルドすると、このエラーが起きた…。-arch=nativeだと、GPUを検知してビルドしてくれるらしいのだけど、RTX 4060の手元の環境だとエラーになる。CUDAのバージョンも影響している感じもするけど、とりあえず、Makefileを
- MK_NVCCFLAGS += -arch=native + MK_NVCCFLAGS += -arch=all-major
という感じに修正して対応した。