得益于 Apple 的 MLX 框架,Ollama 现在在 Mac 上运行得更快

Ollama 是一款在计算机上本地运行人工智能模型的流行应用程序,它发布了一个更新,该更新利用了苹果自己的机器学习框架 MLX。

结果是搭载 Apple 芯片的 Mac 速度大幅提升。

据 Ollama 称,新版本处理提示的速度提高了约 1。

6 倍(预填充速度),生成响应的速度(解码速度)几乎提高了一倍。

据称,得益于苹果新的 GPU 神经加速器,配备 M5 系列芯片的 Mac 得到了最大的改进。

预览版可以作为 Ollama 0。

来源:MacRumors