观澜Media

AI技术 · 深度资讯 · 前沿观察

万字拆解 LLM 运行机制:Token、上下文与采样参数 – JavaGuide

【摘要】在探讨 RAG、Agent 工作流、MCP..

【摘要】在探讨 RAG、Agent 工作流、MCP 协议等复杂架构的过程中,我发现一个非常普遍的现象:很多开发者在构建 Agent 工作流或调优 RAG 检索时,往往会在最底层的 LLM 参数上踩坑。

比如,为什么明明设置了温度为 0,结构化输出还是偶尔崩溃。

为什么往模型里塞了长文档后,它好像失忆了,忽略了 阅读全文。

来源:博客园

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注