Agoda 工程师 自研了Storefront,这是一款基于Rust开发、兼容S3协议的反向代理 ,用于优化大规模对象存储系统的负载均衡、请求路由与可观测性。
该代理解决了 DNS 流量分发的固有局限性,实现了延迟感知路由、跨数据中心优化、IO 安全防护、无凭证认证,并能够通过 OpenTelemetry 对外暴露遥测数据。
Agoda 的数据处理与分析工作流高度依赖对象存储,包含大量读写海量文件的流水线。
据工程团队介绍,其存储服务商 VAST Data 提供的 S3 端点采用 DNS 轮询机制在多个虚拟 IP 之间分发流量。
但应用客户端通常会缓存 DNS 解析结果,这会导致请求持续集中转发至同一后端节点。
该服务基于 Rust 语言开发,底层依赖 Cloudflare 开源代理框架 Pingora。
来源:InfoQ中文


