返回 文章 apply CMS 文章

Deepgram 语音模型原生登陆 Together AI,助力实时语音代理

Deepgram 语音模型与 Together AI 集成,简化实时语音代理的构建与部署。

DeepgramTogether AI语音识别语音合成
成长分 / 100 69 综合收获、行动、留存与影响

Deepgram 语音模型原生登陆 Together AI,助力实时语音代理
为什么值得读了解如何通过单一平台整合 STT、LLM 和 TTS,降低语音代理系统的延迟和复杂性。

掌握 Deepgram 模型在嘈杂环境、多语言场景下的生产级表现。

关键洞察
  1. Deepgram Nova-3、Flux 和 Aura-2 模型现已在 Together AI 专用模型推理上原生运行。
  2. Flux 模型通过对话上下文实现话轮检测,结束检测延迟仅 250 毫秒。
  3. Nova-3 支持词汇自定义,无需重新训练即可提升领域特定术语的识别能力。
转成行动

深入阅读

正文与原文对照

原文保真覆盖:全文原文字符:6369
  • Deepgram Nova-3、Nova-3 多语言、Flux 和 Aura-2 现已在 Together AI 专用模型推理上原生运行
  • Deepgram 在一个模型系列中覆盖了语音管道的两端,从转录到合成
  • Together AI 为团队提供了一个单一的生产平台,用于实时语音代理,在一个平台上实现 STT、LLM 和 TTS
  • 企业级控制包括零数据保留、SOC 2 Type II、支持 HIPAA 以及数据驻留选项

当语音被视为转录而非对话时,实时语音代理常常会失败。正确识别词语只是挑战的一部分:系统还必须检测话轮边界、处理打断和重叠,并足够快速地响应以保持交流的自然感。当团队试图用端点检测逻辑、路由层和额外的提供商来弥补这些差距时,他们往往会在系统中增加延迟和操作脆弱性。Deepgram 的模型正是为此层而构建的,其中转录、话轮转换和响应性必须实时协同工作。

Deepgram 的 STT 和 TTS 模型系列现已在 Together AI(用于构建实时语音代理的 AI 原生云)上原生运行,因此团队可以将 Deepgram 的转录和合成与 Together 目录中的任何 LLM 配对,并在一个生产平台上运行完整的语音管道。有关更广泛的架构,请参阅我们的实时语音代理公告。

“语音代理的成败取决于延迟,提供商之间的每一次网络跳转都是体验崩溃的地方。通过在 Together AI 的基础设施上原生托管 Deepgram 的 STT 和 TTS,我们为开发者提供了生产级转录,而无需权衡。快速、准确,并与管道的其余部分共置。”

  • Abe Pursell,Deepgram 合作伙伴关系副总裁

Flux:具有话轮检测的对话式 STT

准确的转录只是工作的一部分。语音代理还必须知道说话者何时真正结束,因为如果它误判了话轮,要么会打断呼叫者,要么等待太久而显得反应迟钝。

Flux 是 Deepgram 用于实时代理的对话式 STT 模型,它不仅用于转录语音,还用于从对话上下文(而非仅静默)产生话轮信号。这一点很重要,因为许多团队仍然依赖额外的端点检测逻辑来弥合这一差距,这增加了复杂性并使延迟更难控制。Flux 简化了堆栈的这一部分,并通过 250 毫秒的结束检测帮助使话轮转换在生产中更可预测。

Nova-3:用于真实世界音频的生产级转录

生产环境中的音频比基准音频更嘈杂。通话带有背景噪音、重叠的说话者、口音、电话压缩和打断,模型仍然必须返回管道其余部分可以信任的文本。Nova-3 专为这些条件而构建,支持词汇自定义,因此团队无需重新训练即可提高领域特定术语的识别能力。

Nova-3 多语言将这种方法扩展到多种语言,这在呼叫者在对话中途切换语言的部署中很重要。

Aura-2:用于生产语音代理的企业级 TTS

Aura-2 覆盖了管道的合成端,适用于清晰度和一致性至关重要的商业环境。团队可以同时使用 Deepgram STT 和 TTS,同时保持领域特定术语和结构化实体的输出稳定。

这种差异体现在交付上。声音必须保持清晰、直接且

当它向用户回读结构化信息或专业语言时,也要承担责任。如果语音在交互开始运行后出现卡顿,那么仅在演示中听起来不错是不够的。

用例

联络中心语音代理

联络中心本质上是混乱的环境。通话质量参差不齐,说话者重叠,中断不断,而延迟仍需保持足够低以实现自然的来回交流。Deepgram的模型帮助代理在这些条件下保持流畅,使对话保持响应性和清晰度,而不是让它们陷入延迟、错过轮次或回答不清的境地。

医疗语音代理

医疗语音代理需要准确转录药物名称、手术术语和临床语言,同时在向患者回读相同术语时保持输出清晰。管道起始处的转录错误可能会在后续表现为流畅但不正确的响应,而这正是这些系统无法承受的失败类型。Nova-3帮助团队将识别适应临床语言,而Aura-2则保持面向患者的输出清晰一致。

金融服务

金融语音系统依赖于精确性。账号、路由号码、交易确认和结构化金融语言需要首次就正确捕获,因为一次转录失误可能导致交易失败、合规问题或客户交互中断。Deepgram的语音模型为这些受监管的工作流程提供了更坚实的基础。

多语言客户支持

全球支持团队需要语音模型在通话者在同一交互中切换语言和口音时保持稳定。Nova-3 Multilingual帮助团队服务这些对话,而无需为每个市场构建单独的STT管道,这使得多语言支持更易于扩展和运营。

Together AI上的生产基础设施

Deepgram模型在Together AI专用模型推理上运行,与LLM和TTS工作负载共享隔离容量。将转录、推理和合成保持在相同的生产环境中,使实时系统更易于运营,并在扩展时让团队对性能有更紧密的控制。

Together AI是用于生产推理的AI原生云,专用模型推理为团队提供了大规模运行语音代理所需的控制和可靠性。

Together AI在一个地方支持广泛的语音目录,因此团队可以在管道中混合搭配而无需增加供应商。这包括与驱动代理推理的LLM一起部署的开源和专有模型。

查看Together AI语音解决方案

开始使用

  • Deepgram的公告
  • 阅读STT文档
  • 阅读TTS文档
  • 阅读语音代理公告
  • 联系销售部门获取专用端点部署和批量定价