观澜Media

AI技术 · 深度资讯 · 前沿观察

代码模式:在 WASM 沙箱中批量调用 MCP 工具,将 LLM 代币使用量减少 30-80%

问题:每转一次调用工具的成本很高。 如果您曾从事过..

问题:每转一次调用工具的成本很高。

如果您曾从事过法学硕士和工具使用工作,您就会了解其中的模式。

模型读取结果、原因,并决定需要另一个工具调用。

该模型每次都会重新读取整个对话历史记录。

对于涉及 5-10 个工具的工作流程 – 想想“查找客户、检查他们的订阅、获取最近的发票、计算使用情况、起草摘要” – 您需要一遍又一遍地为相同的上下文窗口付费。

该模型立即获得所有结果并在整个情况下进行推理。

来源:Dev.to

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注