Jack Dorsey 的 Block 发布了其研究实验室推出的一款新语音模型,该模型可在本地运行,其笑声、停顿和哭声等表达听起来异常像真人。该公司表示,这款名为 Dessa 的模型完全基于人类语音和单个 NVIDIA GPU 机架进行训练。
Dessa 是一个全双工模型,这意味着它可以同时说话和倾听,就像OpenAI 今年早些时候发布的 GPT-Live 模型一样。通常,语音模型会与大型语言模型配对以进行知识检索。Block 表示,Dessa 的知识来源于它所拥有的对话数据。
Block 表示,当前的模型可能听起来不自然且令人厌烦,因为它们的流程中包含驱动语音生成的文本。许多模型,如 ElevenLabs v4 或 Fish Audio Drama 3,使用语音标签来驱动语音生成中的情感。Dorsey 的公司声称,情感已内置于其模型中。目前尚不清楚这种情感是否由某种标签来引导。
“与当前的语音 AI 交互简直糟透了。它把你的声音转成文本,并丢弃了大量仅靠文本无法承载的信息。世界上最强大的 AI 听不出你的感受。我们认为这很荒谬,会导致更差的体验,并且可能具有危险性,”该公司在一篇博客文章中表示。
该公司的研究人员发布了多个与 Dessa 对话的示例,其中智能体具有不同的声音、语调和情感。例如,在对话中,机器人说自己工作累了,而那时它听起来确实很累。
在下面的示例中,机器人正在谈论那个人让它感到舒适,同时听起来情绪激动,几乎要崩溃。
另一个示例显示一名 Block 团队成员与语音助手一起玩游戏。
该公司表示,该模型可以在消费级计算机上本地运行,例如 MacBook M4 Max 或更高配置。然而,目前 Dessa 尚未公开访问,Block 已发出呼吁,邀请安全研究人员测试该模型。这很可能是为了测试语音智能体可能欺骗另一端人员的案例。
Block 从事金融业务,并向小企业销售其解决方案。Square 已经使用语音 AI 来处理点单。但凭借其可在设备上运行的自家语音模型,它可以以更低的成本支持更多的商业和消费者体验。
