视频已成为最受欢迎的信息分享媒介之一。然而，互联网上热门视频内容的语言分布并不一定反映全球观众的多样性。例如，一项先前的研究发现，YouTube 前 250 个频道中 66% 的视频是英语，而第二常见的语言西班牙语仅占 15% [1,2]，这使得全球许多观众无法访问这些内容。这一差距凸显了对可扩展视频翻译解决方案的需求。
尖端的 AI 能否帮助打破语言障碍，让全球观众更容易获取视频内容？
今天，我们很高兴推出 Violin —— 一款完全开源的视频翻译工具，由 Together API 驱动。Violin 流程使用最先进的语音识别、大语言模型和语音合成来实现高质量的视频翻译。
除了标准翻译，我们还开发了交互式和个性化功能，例如视频内容感知聊天助手和自然语言语音选择器。我们希望 Violin 能够帮助不同语言的用户更轻松地获取信息，并帮助高质量视频内容在网络上传播得更远。
Violin：打破视频分享的语言障碍
为了展示 Violin 的能力，我们选取了 Together AI 最近的一次技术演讲 并将其翻译成另一种语言。
与视频聊天。 Violin 还包含一个内置的多模态聊天助手，可以根据视频内容回答问题。用户可以在同一界面中查询视频中的细节、请求摘要或深入探讨特定主题。
Violin 视频助手：提出关于视频的任何问题，并获取基于音频和视觉内容的答案。
Violin 的工作原理
Violin 的工作原理：* 从输入视频到完全翻译的输出，Violin 协调三个核心阶段：ASR（自动语音识别）、LLM 翻译和 TTS（文本转语音）语音合成，同时支持视频聊天助手和语音风格个性化。全部在 Together AI 云上完成。*
Violin 通过三个简单的阶段工作：
首先，它提取视频的音频并将其转录为带时间戳的文本。我们使用 Together 的 Whisper V3 大型端点，以优化的速度提供高质量的多语言转录。
然后，大语言模型翻译该转录文本。这里我们默认使用 Deepseek V4 Pro 的最新进展作为翻译器。我们还允许用户输入预定义的翻译规则列表，以保持忠实度和准确性。
最后，TTS 模型生成翻译后的语音，允许用户以纯文本指定所需的语音特征。Together 托管的 Cartesia 的 Sonic 3 支持多种母语语音，如韩语、荷兰语、意大利语和中文，使翻译后的视频听起来自然。请注意，我们的工具不允许语音克隆，而是使用与原始说话者不同的语音，默认情况下以低音量将新语音叠加在原始语音之上。
此外，视频聊天模块让您可以询问关于视频的问题，它由视觉语言模型驱动，该模型能理解音频中的内容和屏幕上显示的内容。这是通过采样最近的视频帧以及字幕上下文，并将其发送给像 Qwen3.5-397B-A17B 这样的视觉语言模型进行自由问答来实现的。这样，模型可以根据这些上下文返回适当的回答。
为所有人设计：Web 应用、CLI 和智能体技能
我们以可用性为核心构建了 Violin。无论您是喜欢简单 Web 界面的内容创作者、生活在命令行中的开发者，还是将工具集成到自主智能体中的 AI 从业者，Violin 都能满足您的需求：
- Web 应用 – 一个简洁、极简的前端，用于上传视频、选择翻译选项、预览结果以及与视频助手交互。无需代码。
- CLI 工具 – 一个直观的命令行界面，用于脚本编写、批处理和集成到现有流程中。
- 智能体技能 – 我们将 Violin 的功能打包成一项技能，可以放入常见的智能体框架中。
从 GUI 到后端模型再到智能体技能，一切都是完全开源的。我们以宽松的 MIT 许可证发布代码库，邀请社区进行适配、扩展和改进。我们相信，开放协作是使视频内容真正实现语言无关的最快途径。
参与进来
我们才刚刚起步，非常希望得到您的帮助。如果您觉得 Violin 有用，或者您有改进它的想法：
- 访问我们的 GitHub 仓库： github.com/shang-zhu/violin - 给我们发邮件：
[email protected] - 提交 GitHub issue 或发起讨论——我们珍视每一条反馈。
- 在此处尝试我们的演示应用 这里（发布后短期内将托管）
致谢
我们感谢 Martijn Bartelds、Yongchan Kwon、Federico Bianchi 和 Kaitlyn Zhou 的深思熟虑的反馈。我们感谢 Whisper、DeepSeek、Qwen 和 Cartesia 背后的开源模型构建者，他们的工作构成了 Violin 的基础。特别感谢 Hassan El Mghari 和 Percy Liang 在开发过程中提供视频和反馈。
免责声明
Violin 提供翻译工具；用户对其翻译的内容全权负责，包括遵守版权和其他适用法律。在演示应用中，上传的视频将在 24 小时后删除。
[1] Wikipedia, "Languages used on the Internet," accessed May 8, 2026. https://en.wikipedia.org/wiki/Languages_used_on_the_Internet
[2] Brian Yang, "6 Common Features Of Top 250 YouTube Channels," Twinword, accessed May 12, 2026. https://www.twinword.com/blog/features-of-top-250-youtube-channels/