Ollama 是一款在计算机上本地运行人工智能模型的流行应用程序,它发布了一个更新,该更新利用了苹果自己的机器学习框架 MLX。
结果是搭载 Apple 芯片的 Mac 速度大幅提升。
据 Ollama 称,新版本处理提示的速度提高了约 1。
6 倍(预填充速度),生成响应的速度(解码速度)几乎提高了一倍。
据称,得益于苹果新的 GPU 神经加速器,配备 M5 系列芯片的 Mac 得到了最大的改进。
预览版可以作为 Ollama 0。
来源:MacRumors

AI技术 · 深度资讯 · 前沿观察
Ollama 是一款在计算机上本地运行人工智能模型..

Ollama 是一款在计算机上本地运行人工智能模型的流行应用程序,它发布了一个更新,该更新利用了苹果自己的机器学习框架 MLX。
结果是搭载 Apple 芯片的 Mac 速度大幅提升。
据 Ollama 称,新版本处理提示的速度提高了约 1。
6 倍(预填充速度),生成响应的速度(解码速度)几乎提高了一倍。
据称,得益于苹果新的 GPU 神经加速器,配备 M5 系列芯片的 Mac 得到了最大的改进。
预览版可以作为 Ollama 0。
来源:MacRumors
上一篇
下一篇
AI技术 · 深度资讯 · 前沿观察。专注科技、AI、互联网领域的深度报道与前沿资讯。
Access over the years of investigative journalism and breaking reports