在生产中使用大型语言模型 (LLM) 是一件很神奇的事情。
蜜月期通常持续大约一个月，直到您收到不可避免的 API 账单。
如果您曾经不小心将 LLM 生成调用放入深度嵌套的后台循环中（别撒谎，我们都做过），或者如果您只是想防止某个重度用户耗尽组织的日常预算，那么您可能知道其中的痛苦。
当前的 LLM 可观察性平台要么是重型 SaaS 产品，有自己的按事件定价，要么完全缺乏硬性预算执行。
我想要一些免费的、OpenTelemetry 原生的东西，并且专注于 Go 中成本受限的应用程序的硬预算限制。
它包含 Anthropic、OpenAI、Gemini 和 Ollama 的官方 SDK，让您能够拦截和跟踪成本，而无需大幅更改代码库。
来源：Dev.to
