M芯片Mac运行AI性能实测

说实话，当初买这台搭载M2 Max芯片的MacBook Pro时，我纯粹是冲着视频剪辑去的。谁曾想，这大半年用下来，它反倒成了我跑AI模型的”主力军”。以前总觉得要在本地跑个大语言模型，怎么也得弄个噪音像飞机起飞的显卡服务器，结果现在抱着笔记本在咖啡厅就能搞定，这种感觉真的很奇妙。

本地跑AI，到底行不行？

我特意做了一次比较”极端”的测试。手里这台是32GB内存的版本，我拉取了Llama 3 8B的量化模型，同时也试了试那个最近很火的Stable Diffusion XL。

先说结论：太香了。

运行Llama 3的时候，推理速度基本能稳定在45到50 tokens每秒。这是什么概念？就是它生成文字的速度，比我阅读的速度还要快一点，完全没有那种”等半天憋出一句话”的焦虑感。而且最让我感动的是功耗，整个推理过程中，风扇居然纹丝不动，键盘区域也就微微温热。要是换做以前那些独显笔记本，这会儿估计已经开始”起飞”了。

内存才是硬道理

跑AI这事儿，说白了就是”大力出奇迹”，但这个”力”不光是算力，更是内存带宽。苹果这M系列芯片的统一内存架构（Unified Memory），简直是给本地AI量身定做的。

以前在PC上跑图，显存稍微小点，稍微复杂点的模型就直接爆显存报错。但在Mac上，系统内存就是显存。我试过同时开着绘图模型和一个写作助手，内存占用飙到了26GB，机器依然流畅得一批。这就好比你有一辆大卡车，虽然极速可能跑不过法拉利（顶级显卡），但咱能装啊，而且还能在闹市区（日常使用场景）畅通无阻。

画图也能凑合用

当然，如果你是冲着Stable Diffusion去的，得稍微泼点冷水。M芯片跑图的速度肯定比不上RTX 4090那种怪兽。生成一张标准分辨率的图，大概需要15到20秒。虽然比不上云端秒出，但这个速度用来”抽卡”找灵感已经完全够用了。我经常写稿卡文的时候，就让它在那跑几张图找找感觉，等图出来了，灵感也来了。

折腾了一圈下来，我发现M芯片Mac跑AI最大的优势不是”快”，而是”省心”。不用折腾各种CUDA驱动，不用担心驱动版本冲突，下载个LM Studio或者DiffusionBee，拖进去就能跑。对于我们这种不想在环境配置上浪费生命的创作者来说，这才是最奢侈的体验。