Cherry Studio支持哪些本地模型?

17 人参与

最近我在用Cherry Studio时发现了一个超赞的功能,就是它对本地模型的支持。说实话,作为一个经常需要处理敏感数据的博主,我特别在意数据隐私,所以对本地模型特别关注。今天就跟大家聊聊Cherry Studio到底支持哪些本地模型,顺便分享一些我的使用体验。

Ollama:我的首选本地模型

Ollama在Cherry Studio里的支持真的很棒!我记得上周写稿子的时候,用Ollama跑了一个7B的模型,速度超级快,而且完全不用担心数据泄露。最让我惊喜的是,Cherry Studio和Ollama的集成特别丝滑,安装完就能直接用,连我都没想到配置会这么简单。

LM Studio:另一个不错的选择

除了Ollama,LM Studio也是个宝藏。我用它测试了几个不同的模型权重,从3B到13B的都试过,切换起来特别方便。有时候我需要处理一些创意写作,就会切换到更大型号的模型,效果真的很惊艳。

实际使用的小技巧

经过这段时间的使用,我发现几个小窍门。比如在运行大型模型时,记得把其他占用显存的应用关掉;还有就是模型文件最好放在SSD硬盘上,加载速度会快很多。这些细节看似不起眼,但实际体验差别真的很大。

  • 支持多种模型格式,包括GGUF、GGML等
  • 可以同时运行多个本地模型
  • 内存管理做得很智能,不会卡死系统

说实话,用本地模型最大的好处就是安心。我那些没写完的稿子、还在构思的方案,都不用担心会被传到云端。而且响应速度也很快,有时候比调用在线API还要快。不过要提醒大家的是,本地模型的性能还是取决于你的硬件配置,如果显卡不够强,可能就得耐心等等了。

最近我还发现Cherry Studio在持续更新本地模型的支持,据说后续还会加入更多功能。作为一个重度用户,我真的很期待看到它变得越来越强大。

参与讨论

17 条评论
  • 飞云侠

    Ollama配Cherry Studio真香,跑7B模型一点不卡

  • 薰衣草香

    LM Studio切模型是挺方便,但我13B跑起来还是有点吃力🤔

  • 夜露独凝

    这配置得啥显卡啊,我GTX1060能用吗?

  • XenoChaos

    感觉还行,至少不用把稿子传到外网担惊受怕了

  • 风烬灵

    之前搞过本地模型,光部署就折腾了一整天

  • 樱雪

    多个模型同时跑?内存炸了怎么办

  • 幻梦流沙

    GGUF格式现在这么火了吗,我还一直用GGML

  • 翼影

    SSD确实关键,我放机械盘加载慢到想砸电脑

  • Party Penguin

    要是能出个硬件推荐清单就好了,小白真的懵

  • 除夕守岁

    本地跑AI确实安心,就是显存动不动就红了

  • 星光笔记

    7B模型跑起来真挺快

    1. 魔法傀儡师

      7B的模型处理日常任务够用了

  • 骆驼峰

    666,我现在写东西都靠本地模型,安全感拉满

  • 软绵绵小羊

    那如果是笔记本用户呢,没独立显卡能玩吗?

  • 暴躁的河马

    求问Ollama那个7B模型你用的是哪个版本?

  • 惊蛰鸣雷

    LM Studio兼容性咋样,会冲突吗?

    1. ZiKX ᓚᘏᗢ (作者)

      兼容性挺不错的,和Ollama一起跑也没冲突

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索