IT之家 4 月 1 日消息,科技媒体 Ars Technica 昨日(3 月 31 日)发布博文,报道称本地 AI 工具 Ollama 发布 0。
19 预览版,全面接入苹果 MLX 机器学习框架,提升苹果 Mac 运行本地大模型速度。
本次更新深度优化统一内存的使用效率,改进缓存性能,并新增支持 NVFP4 模型压缩格式,并针对部分模型专项优化,大幅降低其在 Mac 运行时的内存占用。
对于最新搭载 M5 芯片的 Mac 设备,Ollama 还可以直接调用神经网络加速器,进一步提升每秒生成词元(token)数与首词响应速度。
该功能目前仅在 Ollama 预览版中提供,模型方面,首批仅支持阿里巴巴开源的 350 亿参数 Qwen3。
IT之家注:MLX 是专为 Apple 芯片打造的开源阵列框架,能够高效地执行机器学习任务,并支持用户使用 Python 和 Swift 直接在设备上运行大型语言模型。
来源:IT之家









