第一节 CentOS环境下使用Docker安装Ollama

亮子 2025-08-10 22:05:34 347 0 0 0

1、下载ollama镜像

# CPU 或者 Nvidia GPU 
docker pull ollama/ollama

# AMD GPU
docker pull ollama/ollama:rocm

注:如果读者想要使用具体的版本的镜像,明确运行环境,可以使用下面的指令:

# CPU 或 Nvidia GPU下载ollama 0.3.0
docker pull ollama/ollama:0.3.0
# AMD GPU下载ollama 0.3.0
docker pull ollama/ollama:0.3.0-rocm

image.png

image.png

2、创建ollama容器

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

image.png

3、运行ollama

# 进入容器
docker exec -it ollama bash

# 查看本地模型
ollama list

image.png

4、下载并运行deepseek-r1:1.5b大模型

ollama run deepseek-r1:1.5b

image.png

image.png