今天，我们宣布推出 CougarLLM，这是一款基于 Tigris 构建的全球分布式推理服务器。
它采用任何开放权重模型，在全球范围内分配其权重，并从最接近用户的任何区域提供推理。
它是如此的全球化，甚至你的后备区域也有一个后备区域。
在我们绝对公正的内部基准测试中，CougarLLM 显着改善了推理延迟并降低了服务成本。
凭借 CougarLLM，我们正与 vLLM、TGI、Triton 和 SGLang 步入同一舞台。
如果您想要该故事的实用版本，请从多区域存储桶放置开始。
来源：HackerNews New
