Apple 2025 年技术报告。
我们引入了两种多语言、多模式的基础语言模型，它们为 Apple 设备和服务中的 Apple Intelligence 功能提供支持：(i) 通过 KV 缓存共享和 2 位量化感知训练等架构创新，针对 Apple 芯片优化的 ∼3B 参数设备上模型。
(ii) 基于新颖的并行轨道专家混合 (PT-MoE) 转换器构建的可扩展服务器模型，该模型结合了轨道并行性、专家混合稀疏计算和交错的全局-本地注意力，可在 Apple 私有云计算平台上以具有竞争力的成本提供高质量。
这两种模型都在通过负责任的网络爬行、许可语料库和高质量合成数据获取的大规模多语言和多模式数据集上进行训练，然后在新的异步平台上通过监督微调和强化学习进一步完善。
生成的模型在理解图像和执行工具调用的同时支持多种其他语言。
Apple Intelligence 模型的最新进步植根于我们负责任的 AI 方法，包括内容过滤和特定于区域的评估等保障措施，以及我们通过私有云计算等创新来保护用户隐私的承诺。
来源：HackerNoon
