观澜Media

AI技术 · 深度资讯 · 前沿观察

得益于 Apple 的 MLX 框架,Ollama 现在在 Mac 上运行得更快

Ollama 是一款在计算机上本地运行人工智能模型..

Ollama 是一款在计算机上本地运行人工智能模型的流行应用程序,它发布了一个更新,该更新利用了苹果自己的机器学习框架 MLX。

结果是搭载 Apple 芯片的 Mac 速度大幅提升。

据 Ollama 称,新版本处理提示的速度提高了约 1。

6 倍(预填充速度),生成响应的速度(解码速度)几乎提高了一倍。

据称,得益于苹果新的 GPU 神经加速器,配备 M5 系列芯片的 Mac 得到了最大的改进。

预览版可以作为 Ollama 0。

来源:MacRumors

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关于我们

观澜Media

AI技术 · 深度资讯 · 前沿观察。专注科技、AI、互联网领域的深度报道与前沿资讯。

搜索归档

Access over the years of investigative journalism and breaking reports