Linux 初学者如何用 Podman 运行本地 Ollama 并连接 VS Code

内容总结生成中
你看见的,不仅是一个总结

如果你在 Linux 上想先用本地模型给 VS Code 做代码补全,又不想把代码发到云端,可以把 Ollama 放进 Podman 容器里运行,再让编辑器扩展连接这个本地服务。完成后的状态是:容器在后台提供 HTTP 接口,模型权重保存在持久卷中,VS Code 通过扩展把补全请求发到本机端口。下面按“确认环境→启动容器→准备模型→连接编辑器→排查问题”的顺序走一遍,每一步只做一个动作,并说明你应该看到什么结果。

代码编辑器连接本地模型服务的示意图

开始前:确认 Linux 环境与资源

检查 Podman 是否可用

先打开终端,确认 Podman 已经安装,并且版本不要太旧:

podman --version

如果命令返回版本号,说明 Podman 可用。如果提示找不到命令,需要先通过发行版包管理器安装 Podman。不同发行版的包名可能不同,安装后重新打开终端再试。

评估硬件与磁盘空间

本地模型的大小差异很大,常见模型权重从 4 GB 到 40 GB 以上不等。运行前至少确认两件事:

  • 内存是否足够。模型越大,对内存和显存的要求越高。初学者可以先从较小的模型开始,确认流程跑通后再换更大的模型。
  • 磁盘剩余空间是否足够。模型权重会下载到 Podman 卷中,建议预留比模型体积更宽裕的空间,避免下载到一半失败。

可以用下面的命令查看磁盘和内存概况:

df -h
free -h

确认端口没有被占用

Ollama 默认使用 11434 端口。先检查这个端口是否已被其他程序占用:

ss -ltnp | grep 11434

如果没有任何输出,说明端口空闲。如果已有程序占用,可以换一个主机端口,例如 4134,后面在 VS Code 配置里也要改成对应端口。

用 Podman 启动 Ollama 容器

创建持久化卷

模型权重不适合放在容器可写层里,否则容器重建后还要重新下载。先创建一个 Podman 卷:

podman volume create ollama_storage

预期结果是终端返回卷名 ollama_storage。这个卷会挂载到容器内的 /root/.ollama,用来保存模型和配置。

运行 Ollama 容器

执行下面的命令启动容器:

podman run -d 
  --name ollama 
  -v ollama_storage:/root/.ollama 
  -p 11434:11434 
  docker.io/ollama/ollama:latest

参数含义如下:

  • -d:让容器在后台运行。
  • --name ollama:给容器起一个固定名称,方便后续操作。
  • -v ollama_storage:/root/.ollama:把持久卷挂载到模型目录。
  • -p 11434:11434:把主机的 11434 端口映射到容器内的 11434 端口。
  • 最后的镜像名表示使用 Ollama 官方镜像。

命令执行后通常会返回一串容器 ID。接着确认容器状态:

podman ps

你应该能在列表中看到 ollama 容器处于运行状态。如果容器没有出现,可以用 podman ps -a 查看已退出的容器,再用 podman logs ollama 看日志。

如果本机 11434 端口已被占用,可以把端口映射改成:

-p 4134:11434

这样容器内部仍然监听 11434,但主机上通过 4134 访问。后续 VS Code 里的 API 地址也要相应改成 http://localhost:4134。

确认服务可访问

容器运行后,用下面的命令检查 Ollama 的本地 API:

curl http://localhost:11434/api/tags

如果服务正常,会返回一段 JSON。刚启动时模型列表可能为空,这是正常的。如果连接被拒绝,先回到上一步确认容器是否在运行,以及端口映射是否写对。

终端中查看容器运行状态与持久化存储

准备一个本地模型

拉取并运行模型

容器已经在后台运行,接下来在容器内拉取模型。以 llama3 为例:

podman exec -it ollama ollama pull llama3

这条命令只负责下载模型。下载时间取决于网络速度和模型体积。下载完成后,可以进入交互模式测试:

podman exec -it ollama ollama run llama3

看到提示符后,输入一句简单的话,例如让它写一个函数,确认模型能返回内容。输入 /exit 可以退出交互模式。

用 API 验证模型列表

退出交互模式后,再次检查 API:

curl http://localhost:11434/api/tags

这次返回的 JSON 中应该能看到刚才拉取的模型名称。这个名称就是后面在 VS Code 扩展里要填写的模型标识。

让 VS Code 连接本地 Ollama

安装 Continue 扩展

在 VS Code 的扩展面板中搜索 Continue 并安装。安装完成后,侧边栏会出现 Continue 的图标。这个扩展负责把编辑器里的补全请求转换成对 Ollama API 的调用;Ollama 负责加载模型并生成结果;Podman 负责让服务在隔离环境中运行。三者职责分开,排查问题时也更容易定位。

配置本地模型连接

打开 Continue 的模型配置入口,添加一个 Ollama 类型的模型。关键配置通常包括:

  • Provider 或类型:选择 Ollama。
  • API base:填写 http://localhost:11434。如果你之前改了端口映射,这里要改成对应端口,例如 http://localhost:4134。
  • Model:填写刚才通过 ollama pull 拉取的模型名称。

不同版本的 Continue 界面和配置文件字段可能不同。如果扩展允许手动编辑配置,大致结构类似下面这样,具体字段名以你安装的版本为准:

{
  "models": [
    {
      "title": "本地 Ollama",
      "provider": "ollama",
      "model": "llama3",
      "apiBase": "http://localhost:11434"
    }
  ]
}

保存后,在 Continue 的模型选择中切换到刚添加的本地模型。

验证代码补全

打开一个代码文件,触发一次补全或向 Continue 提问。如果配置正确,请求会发到本机 11434 端口,由容器里的 Ollama 处理。你可以在终端里同时观察容器日志:

podman logs -f ollama

如果看到请求记录,说明编辑器已经连上本地服务。如果补全没有反应,先检查 Continue 里选中的模型是否与 ollama list 中的名称一致,再看 API base 是否指向正确的端口。

在代码编辑器中配置本地模型连接

常见问题与回退方式

端口无法访问

如果 curl http://localhost:11434/api/tags 连接失败,按顺序检查:

  1. 容器是否在运行:podman ps -a。
  2. 端口映射是否正确:启动命令里是否有 -p 11434:11434。
  3. 主机端口是否被占用:ss -ltnp | grep 11434。如果被占用,改用其他主机端口,并同步修改 VS Code 的 API base。
  4. 日志是否有报错:podman logs ollama。
  5. 如果启用了 SELinux,卷挂载可能需要额外标签或安全选项。可以尝试在卷挂载后加 :Z,例如 -v ollama_storage:/root/.ollama:Z;或者在确认安全影响后使用 --security-opt=label=disable。

另外,Ollama 默认没有认证机制,不要把 11434 端口直接暴露到公网。仅在本机使用时,保持默认的本地访问即可。

资源不足或容器退出

如果容器启动后很快退出,或者模型加载时卡住,常见原因是内存或磁盘不足:

  • 换一个更小的模型,先验证流程。
  • 关闭其他占用内存较高的程序。
  • 用 podman system df 查看镜像、容器和卷占用,清理不再使用的资源。
  • 如果使用 GPU,先确认驱动和容器工具包是否配置正确;不确定时可以先退回 CPU 模式,确认基础流程能跑通。

停止、删除与重试

需要停止服务时:

podman stop ollama

需要删除容器并重新创建时:

podman rm ollama

如果连模型也不想保留,可以删除卷:

podman volume rm ollama_storage

注意,删除卷会同时删除已经下载的模型权重,下次需要重新下载。删除后,重新执行前面的 podman run 命令即可从干净状态开始。

后续可以调整的方向

完成一次可验证的本地连接后,你可以再按需调整:换用更适合代码补全的模型、调整扩展的上下文长度、尝试 GPU 加速,或者研究 Podman 的 systemd 用户服务,让容器在登录后自动启动。具体性能取决于你的硬件、模型大小和编辑器扩展配置,建议先用小模型确认链路,再逐步替换成更符合自己需求的组合。

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布或转载收集发布,发布内容都是作者本人发布,与本站无关。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
2 条回复 A文章作者 M管理员
  1. 幽灵小馆

    端口占用这块太容易踩坑了

  2. 幽灵掠夺

    小模型确实更适合先跑通流程

❯
个人中心
购物车
优惠劵
有新私信 私信列表
搜索