Perplexity 在 11 月 17 日发布 Orchestrator API,在多个模型之间路由请求,并在某个模型退化时自动切换。同期报道:其年化收入运行率约 10 亿美元,约为年初的四倍。

产品是什么

Orchestrator 坐在多个模型前面,决定某个请求交给谁。主打的卖点是故障切换——当某个模型开始报错或延迟变差,流量自动转移,调用方不用自己处理。

这是不性感的基础设施,也恰恰是生产系统需要的东西。每个建立在单一供应商上的团队,最终都会在某个凌晨两点、某次故障中,把这个层写得很难看。买它是理性的。

为什么故障切换比听起来难

显而易见的版本——健康检查、出错就切——恰好在要紧的场景里失效。模型退化很少是一个干净的 500。它是延迟的缓慢漂移、拒答率上升,或者答案变短、依据变少。这些都不会触发错误处理器。

有用的编排器必须为每类任务定义质量信号:答案有没有给出处、JSON 能不能解析、响应是否符合 schema。然后切换是对这些信号的策略,而不是对 HTTP 状态码的策略。

Perplexity 没有公布它的质量判据,这是第一个该问的问题。一个只按延迟切换的路由器,会很乐意更快地给你更差的答案。

收入那个数字

年化 10 亿美元、一年涨约四倍,对一个被反复宣判死刑的品类是有意义的数据点。它说明答案引擎能赚钱,至少在消费级规模上能,也说明订阅制比广告制更适合这个产品。

它也改写了竞争问题。Perplexity 不再只是和谷歌的答案框竞争,它在向开发者卖基础设施,那是另一个市场,也是另一种毛利结构。

战略上的张力

一边卖编排、一边跑消费级答案引擎,会形成冲突:Perplexity 自己的产品是最好的参考客户,因此它的路由决策既是产品,也是销售话术。

这很正常——AWS 也一样——但它意味着这个 API 的路线图会被消费级经济性塑造。如果消费产品需要便宜模型扛住大部分流量,API 就会被优化成成本路由。需要质量路由的企业买家,应该先看清默认值指向哪边。

该测什么

采用之前问三件事。什么信号触发切换,能不能自定义?提示词会不会被改写——按模型改写会改变输出格式吗?以及增加多少延迟,因为路由器在请求路径上,每一次调用都要付毫秒,不只是失败的那次。

老实的判断

编排正在变成一层,而不是一个功能。拥有这一层的公司会在每个请求上赚一道差价,却不拥有任何模型。如果可靠性声明站得住,这是门好生意;如果每家供应商都开始自带同样的能力,它就变成大宗商品——考虑到前沿实验室补路由功能的速度,一年内出现后者的概率更大。