如果你在 Linux 上想先用本地模型给 VS Code 做代码补全,又不想把代码发到云端,可以把 Ollama 放进 Podman 容器里运行,再让编辑器扩展连接这个本地服务。完成后的状态是:容器在后台提供 HTTP 接口,模型权重保存在持久卷中,VS Code 通过扩展把补全请求发到本机端口。下面按“确认环境→启动容器→准备模型→连接编辑器→排查问题”的顺序走一遍,每一步只做一个动作,并说明你应该看到什么结果。

开始前:确认 Linux 环境与资源
检查 Podman 是否可用
先打开终端,确认 Podman 已经安装,并且版本不要太旧:
podman --version
如果命令返回版本号,说明 Podman 可用。如果提示找不到命令,需要先通过发行版包管理器安装 Podman。不同发行版的包名可能不同,安装后重新打开终端再试。
评估硬件与磁盘空间
本地模型的大小差异很大,常见模型权重从 4 GB 到 40 GB 以上不等。运行前至少确认两件事:
- 内存是否足够。模型越大,对内存和显存的要求越高。初学者可以先从较小的模型开始,确认流程跑通后再换更大的模型。
- 磁盘剩余空间是否足够。模型权重会下载到 Podman 卷中,建议预留比模型体积更宽裕的空间,避免下载到一半失败。
可以用下面的命令查看磁盘和内存概况:
df -h
free -h
确认端口没有被占用
Ollama 默认使用 11434 端口。先检查这个端口是否已被其他程序占用:
ss -ltnp | grep 11434
如果没有任何输出,说明端口空闲。如果已有程序占用,可以换一个主机端口,例如 4134,后面在 VS Code 配置里也要改成对应端口。
用 Podman 启动 Ollama 容器
创建持久化卷
模型权重不适合放在容器可写层里,否则容器重建后还要重新下载。先创建一个 Podman 卷:
podman volume create ollama_storage
预期结果是终端返回卷名 ollama_storage。这个卷会挂载到容器内的 /root/.ollama,用来保存模型和配置。
运行 Ollama 容器
执行下面的命令启动容器:
podman run -d
--name ollama
-v ollama_storage:/root/.ollama
-p 11434:11434
docker.io/ollama/ollama:latest
参数含义如下:
-d:让容器在后台运行。--name ollama:给容器起一个固定名称,方便后续操作。-v ollama_storage:/root/.ollama:把持久卷挂载到模型目录。-p 11434:11434:把主机的11434端口映射到容器内的11434端口。- 最后的镜像名表示使用 Ollama 官方镜像。
命令执行后通常会返回一串容器 ID。接着确认容器状态:
podman ps
你应该能在列表中看到 ollama 容器处于运行状态。如果容器没有出现,可以用 podman ps -a 查看已退出的容器,再用 podman logs ollama 看日志。
如果本机 11434 端口已被占用,可以把端口映射改成:
-p 4134:11434
这样容器内部仍然监听 11434,但主机上通过 4134 访问。后续 VS Code 里的 API 地址也要相应改成 http://localhost:4134。
确认服务可访问
容器运行后,用下面的命令检查 Ollama 的本地 API:
curl http://localhost:11434/api/tags
如果服务正常,会返回一段 JSON。刚启动时模型列表可能为空,这是正常的。如果连接被拒绝,先回到上一步确认容器是否在运行,以及端口映射是否写对。

准备一个本地模型
拉取并运行模型
容器已经在后台运行,接下来在容器内拉取模型。以 llama3 为例:
podman exec -it ollama ollama pull llama3
这条命令只负责下载模型。下载时间取决于网络速度和模型体积。下载完成后,可以进入交互模式测试:
podman exec -it ollama ollama run llama3
看到提示符后,输入一句简单的话,例如让它写一个函数,确认模型能返回内容。输入 /exit 可以退出交互模式。
用 API 验证模型列表
退出交互模式后,再次检查 API:
curl http://localhost:11434/api/tags
这次返回的 JSON 中应该能看到刚才拉取的模型名称。这个名称就是后面在 VS Code 扩展里要填写的模型标识。
让 VS Code 连接本地 Ollama
安装 Continue 扩展
在 VS Code 的扩展面板中搜索 Continue 并安装。安装完成后,侧边栏会出现 Continue 的图标。这个扩展负责把编辑器里的补全请求转换成对 Ollama API 的调用;Ollama 负责加载模型并生成结果;Podman 负责让服务在隔离环境中运行。三者职责分开,排查问题时也更容易定位。
配置本地模型连接
打开 Continue 的模型配置入口,添加一个 Ollama 类型的模型。关键配置通常包括:
- Provider 或类型:选择
Ollama。 - API base:填写
http://localhost:11434。如果你之前改了端口映射,这里要改成对应端口,例如http://localhost:4134。 - Model:填写刚才通过
ollama pull拉取的模型名称。
不同版本的 Continue 界面和配置文件字段可能不同。如果扩展允许手动编辑配置,大致结构类似下面这样,具体字段名以你安装的版本为准:
{
"models": [
{
"title": "本地 Ollama",
"provider": "ollama",
"model": "llama3",
"apiBase": "http://localhost:11434"
}
]
}
保存后,在 Continue 的模型选择中切换到刚添加的本地模型。
验证代码补全
打开一个代码文件,触发一次补全或向 Continue 提问。如果配置正确,请求会发到本机 11434 端口,由容器里的 Ollama 处理。你可以在终端里同时观察容器日志:
podman logs -f ollama
如果看到请求记录,说明编辑器已经连上本地服务。如果补全没有反应,先检查 Continue 里选中的模型是否与 ollama list 中的名称一致,再看 API base 是否指向正确的端口。

常见问题与回退方式
端口无法访问
如果 curl http://localhost:11434/api/tags 连接失败,按顺序检查:
- 容器是否在运行:
podman ps -a。 - 端口映射是否正确:启动命令里是否有
-p 11434:11434。 - 主机端口是否被占用:
ss -ltnp | grep 11434。如果被占用,改用其他主机端口,并同步修改 VS Code 的 API base。 - 日志是否有报错:
podman logs ollama。 - 如果启用了 SELinux,卷挂载可能需要额外标签或安全选项。可以尝试在卷挂载后加
:Z,例如-v ollama_storage:/root/.ollama:Z;或者在确认安全影响后使用--security-opt=label=disable。
另外,Ollama 默认没有认证机制,不要把 11434 端口直接暴露到公网。仅在本机使用时,保持默认的本地访问即可。
资源不足或容器退出
如果容器启动后很快退出,或者模型加载时卡住,常见原因是内存或磁盘不足:
- 换一个更小的模型,先验证流程。
- 关闭其他占用内存较高的程序。
- 用
podman system df查看镜像、容器和卷占用,清理不再使用的资源。 - 如果使用 GPU,先确认驱动和容器工具包是否配置正确;不确定时可以先退回 CPU 模式,确认基础流程能跑通。
停止、删除与重试
需要停止服务时:
podman stop ollama
需要删除容器并重新创建时:
podman rm ollama
如果连模型也不想保留,可以删除卷:
podman volume rm ollama_storage
注意,删除卷会同时删除已经下载的模型权重,下次需要重新下载。删除后,重新执行前面的 podman run 命令即可从干净状态开始。
后续可以调整的方向
完成一次可验证的本地连接后,你可以再按需调整:换用更适合代码补全的模型、调整扩展的上下文长度、尝试 GPU 加速,或者研究 Podman 的 systemd 用户服务,让容器在登录后自动启动。具体性能取决于你的硬件、模型大小和编辑器扩展配置,建议先用小模型确认链路,再逐步替换成更符合自己需求的组合。
















































端口占用这块太容易踩坑了
小模型确实更适合先跑通流程