netflix的官方技术博客发了篇长文介绍模型服务中的路由现状网页链接“这是一个多篇系列博客的第一篇，分享了我们如何通过机器学习模型服务基础设施在多个领域（例如，标题推荐、商务）大规模提供个性化体验的技术见解。在这篇介绍性博客中，我们将深入探讨我们的领域无关 API 抽象及其流量路由能力，该能力由中央 ML 模型服务平台向多个特定领域的微服务暴露，用于模型推理。这个单一的 API，即进入 ML 模型服务平台的入口，显著提升了在现有 ML 体验上迭代新版本的创新速度，同时也支持使用 ML 构建全新的产品体验。”
在大规模在线推理系统里，路由不只是把请求分发到任意实例，而是要在延迟、吞吐、成本、可用性、模型/硬件异构性和实时负载变化之间做权衡；文章梳理了从简单静态/轮询式负载均衡，到更智能的、感知服务状态与性能指标的自适应路由思路，强调好的 routing layer 应该把模型副本、容量、队列、SLO、降级策略和观测数据结合起来，动态决定请求去哪里，从而提升资源利用率并稳定用户体验。
AI创造营
