观澜Media

AI技术 · 深度资讯 · 前沿观察

让外部知识“长入”模型:动态化与参数化 RAG 技术探索

演讲嘉宾|艾清遥 博士 编辑|Kitty 策划|Q..

演讲嘉宾|艾清遥 博士 编辑|Kitty 策划|QCon 全球软件开发大会 检索增强生成(RAG)已成为帮助大型语言模型(LLMs)利用和学习外部知识的主流范式。

然而,传统的 RAG 方法通常将 LLMs 视为静态的黑箱,仅依赖提示词和上下文工程来整合检索到的信息。

这忽略了两个重要的问题,即 LLM 推理过程中的动态信息需求和 LLM 在内、外部知识利用过程存在的机制鸿沟。

在 2025 年 QCon 全球软件开发大会(上海站) 上,清华大学计算机科学与技术系副教授,博士生导师自艾清遥 博士作了题为 “ 让外部知识“长入”模型:动态化与参数化 RAG 技术探索 ”的演讲,他介绍了如何从注意力网络和多层感知机权重两个角度实现动态化和参数化的检索增强,在不改变 LLM 原有参数的前提下实现无缝且实时的外部知识注入。

实验表明,与传统 RAG 相比,基于动态化和参数化的检索增强技术可以在提升系统的准确性和适应性的同时显著减少计算开销。

背景与动机 大语言模型的出现,已经深刻地改变了我们生活的方方面面。

来源:InfoQ中文

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注