跳到主要内容

并发限制与超时说明

并发管理​

并发计算方式​

  • WebSocket：以活跃的 context_id 数量计算
  • 同一 context_id 的多次请求视为单个并发
  • HTTP 请求：每个独立请求计为一个并发

超出限制处理​

当超出并发限制时，系统将返回 429 Too Many Requests 错误响应。

业务场景建议​

实时对话场景​

  • 实际支持的并行对话数约为并发限制的 4 倍
  • 示例：并发限制为 10，可支持约 40 个并行对话
  • 具体支持能力取决于对话类型，建议根据实际需求联系我们进行评估

批量处理场景​

  • 并发限制与实际处理能力直接对应
  • 示例：并发限制为 15，可同时处理 15 个语音生成任务
  • 建议使用连接池控制并发数量

WebSocket 连接管理​

超时机制​

  • 空闲连接将在 5 分钟后自动关闭
  • 维持长连接方案：
    • 定期发送请求保持连接活跃
    • 根据业务需求设置合适的心跳间隔

最佳实践​

  • 合理规划并发使用
  • 实现请求重试机制
  • 监控连接状态
  • 及时处理超时重连