Perplexity 推出用于模型路由和故障转移的 Orchestrator API

模型更新 MarkTechPost 原文语言:英文

Perplexity 发布了 Perplexity Orchestrator API,为开发者提供单一托管推理端点以接入前沿和开源模型。该 API 根据可用性、容量和延迟自动选择服务商,并统一通过单一账户进行结算。

全文

Perplexity 推出了 Perplexity Orchestrator API,这是一个面向前沿模型和开源权重模型的单一终端节点。它根据可用性、容量和延迟选择服务提供商,并通过 1 个账户统一计费。开发者可以减少集成工作并获得 1 张账单。

什么是 Perplexity Orchestrator API?

Perplexity Orchestrator API 是一个托管式推理网关,在 1 个基础 URL 后面提供许多模型。它涵盖了来自 OpenAI、Anthropic、Google 和 xAI 的前沿模型。它还提供由 Perplexity 或推理合作伙伴托管的开源权重模型,例如 GLM、Kimi 和 DeepSeek。

它接受 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 请求。大多数团队只需更改 API 密钥和基础 URL。OpenAI 基础 URL 为 https://api.perplexity.ai/orchestrator/v1。Anthropic SDK 用户则指向 https://api.perplexity.ai/orchestrator,不带 /v1。

Perplexity 在内部运行相同的层,涵盖 85 个以上的模型和十几个提供商。

提供商故障转移是如何工作的?

故障转移保持模型固定并切换部署。在 Anthropic 上失败的 Claude 请求可以改由 AWS Bedrock 提供服务。可靠性文档规定了以下规则:

触发条件包括提供商错误、速率限制和超时。

每次尝试都有首字延迟(time-to-first-token)限制和总持续时间限制。这些数值未公开发布。

无效请求或超出上下文的请求返回 HTTP 400 且不会重试。

如果所有部署均失败,API 将返回带有 Retry-After 的 HTTP 429。

在产生输出之前失败的请求不予计费。

您无法自行选择部署。

可靠性和速度数据说明了什么?

Perplexity 测量了 2026 年 10 月 4 日至 11 月 2 日的生产流量。通过 Perplexity 发出的 Claude 和 GPT 请求的成功率高于测得的任何单一提供商的请求。在提供商发生故障期间,每日成功率的波动也较小。该文章未给出具体的成功率百分比。

速度也因提供商而异。对于 Claude Opus 5.5,Anthropic 在 30 天中有 15 天速度最快,AWS Bedrock 在 15 天中最快。Azure 的 GPT-5.6 Sol 中位输出速度比 OpenAI 高出 27%。速度感知的路由功能仍在开发中。

使用 perplexity/auto 进行自动路由是如何工作的?

路由功能目前处于预览阶段。您将 model 设置为 perplexity/auto 并传递一个 routing 对象。它包含一个 default_model 以及 1 到 5 个路由,每个路由都有名称、描述和模型。

决策模型会读取对话和路由描述。它绝不会看到路由名称或模型 ID。如果没有匹配项,或者决策模型失败或超时,则由默认模型进行回答。媒体输入也是如此。

响应标头会报告结果:x-perplexity-autoroute-outcome、-route 和 -confidence。默认策略将流量发送到 GPT-6.1 Sol,将简单请求发送到 GPT-6 Luna。Perplexity 还列出了内置的 Lower cost(更低成本)、Balanced(平衡)和 Higher quality(更高质量)配置文件,以及一个 Auto effort 预览。

路由能否绕过拒绝响应?

Perplexity 在在 Claude Code 中运行的 Terminal-Bench 4.1 的 63 个任务子集上测试了这一点。Anthropic 的文档指出,Claude Fable 5.2 的安全防护可能会阻止良性的安全和生命科学工作。

仅 Claude Fable 5.2:38/63 个任务。

Fable 外加路由到 GPT-6.1 Sol:41/63 个任务。

Fable 外加路由到 GPT-6 Astra:41/63 个任务。

这些路由涵盖了安全、生物学和 after_refusal(拒绝后)请求。这增加了 3 个任务,但每个任务的估计成本更高。Perplexity 称其为调整后的比较;结果因工作负载而异。

Orchestrator 的定价是如何规定的?

每个请求都按回答模型公布的每令牌费率计费。故障转移到另一个提供商不会改变费率。Perplexity 表示,在积分之上不会收取额外的平台费用。

例如,perplexity/glm-5.3 的标价为每 100 万令牌输入 1.4 美元、输出 4.4 美元以及缓存读取 0.26 美元。使用量将从预付费的 Perplexity API 积分中扣除,也可以通过 AWS Marketplace 购买。

访问权限按累计积分购买量分级:

级别 0:Google、xAI 和开源权重模型。

级别 1(50 美元):OpenAI 和大多数 Anthropic 模型。

级别 2(250 美元):Claude Opus 5、Opus 5.5 和 Fable 模型。

它与 OpenRouter 和 Vercel AI Gateway 相比如何?

FeaturePerplexity OrchestratorOpenRouterVercel AI Gateway

Model catalogFrontier (OpenAI, Anthropic, Google, xAI) plus open-weight GLM, Kimi, DeepSeek; count not disclosed (blog)400+ models, 70+ providers (source)400+ models (source)

API 格式Chat Completions、Responses、Anthropic Messages (docs)Chat Completions、Responses、Anthropic Messages (docs)Chat Completions、Responses、Anthropic Messages (docs)

平台费用额度无额外平台费用 (blog)充值额度收取 5.5% (标准版)、8% (商业版) (pricing)无平台费用,无 Token 加价 (pricing)

Token 定价回答模型的公布费率 (FAQ)提供商价格直接传导 (FAQ)提供商标价 (docs)

同模型提供商故障转移支持,自动 (docs)支持,自动回退 (source)支持,自动 (changelog)

基于提示词的自动路由perplexity/auto、预览版,1 到 5 个路由 (docs)openrouter/auto,无路由费用 (docs)未披露

自带密钥不支持 (FAQ)支持,超出额度部分收取 5% 费用 (FAQ)支持,无加价 (docs)

核心要点

1 个端点即可访问 OpenAI、Anthropic、Google、xAI 以及开源模型。

跨提供商的同模型故障转移,按相同费率计费。

perplexity/auto 根据自然语言描述进行路由,处于预览阶段。

拒绝路由:在 Terminal-Bench 4.1 上从 38/63 提升至 41/63,官方自测数据。

查看发布文章、技术博客、快速入门、模型目录和路由文档。

正文为 AI 译文。

参考来源

← 返回每日AI报告