观澜Media

AI技术 · 深度资讯 · 前沿观察

借助 Ollama 的 MLX 支持,在 Mac 上运行本地模型变得更快

Ollama 是一个用于在本地计算机上操作大型语言..

Ollama 是一个用于在本地计算机上操作大型语言模型的运行时系统,它引入了对 Apple 机器学习开源 MLX 框架的支持。

此外,Ollama 表示它还提高了缓存性能,现在支持 Nvidia 的 NVFP4 格式进行模型压缩,从而在某些模型中实现更高效的内存使用。

综合起来,这些发展有望显着提高配备 Apple Silicon 芯片(M1 或更高版本)的 Mac 的性能,而且时机再好不过了,因为本地模型开始以外部研究人员和爱好者社区前所未有的方式获得动力。

OpenClaw 最近取得了巨大成功,在 GitHub 上获得了超过 300,000 颗星,通过 Moltbook 等实验成为头条新闻,尤其在中国引起了人们的关注,许多人开始尝试在自己的机器上运行模型。

来源:ArsTechnica

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关于我们

观澜Media

AI技术 · 深度资讯 · 前沿观察。专注科技、AI、互联网领域的深度报道与前沿资讯。

搜索归档

Access over the years of investigative journalism and breaking reports