视频已经成为最受欢迎的信息分享媒介之一。然而，互联网上热门视频内容的语言分布，并不一定反映全球受众的多样性。例如，已有研究发现，YouTube 前 250 个频道中 66% 的视频是英语的，而第二常见的语言西班牙语仅占 15% [1,2]，这使得大量内容对世界各地的观众而言难以获取。这一差距凸显了对可扩展视频翻译方案的需求。
前沿 AI 能否帮助打破语言障碍，让全球观众更容易获取视频内容？
今天，我们很高兴推出 Violin——一款完全开源、由 Together API 驱动的视频翻译工具。Violin 流水线结合最先进的语音识别、大语言模型和语音合成，实现高质量的视频翻译。
除了标准的翻译功能，我们还开发了交互式和个性化功能，例如能感知视频内容的聊天助手和自然语言选声功能。我们希望 Violin 能帮助不同语言的用户更轻松地获取信息，也让高质量的视频内容在网络上传播得更远。
Violin：打破视频分享的语言障碍
为了展示 Violin 的能力，我们选取了 Together AI 的一场近期技术分享，并将其翻译成另一种语言。
▶ https://together-website.b-cdn.net/video/together_talk_Percy.mp4
翻译前
▶ https://together-website.b-cdn.net/video/Percy_Liang_demo.mp4
翻译后（中文）
观看 Percy Liang 博士 Together Talks 系列介绍视频的翻译前版本（左）和中文翻译后版本（右）。
与视频对话。Violin 还内置了多模态聊天助手，可以根据视频内容回答问题。用户可以查询视频中的细节、要求生成摘要，或深入探讨某个具体话题，这一切都在同一个界面中完成。
Violin 视频助手：可以就视频提出任何问题，并获得基于音频和画面内容的回答。
Violin 如何工作
Violin 的工作方式：从输入视频到完整的翻译输出，Violin 编排了三个核心阶段：ASR（自动语音识别）、LLM 翻译和 TTS（文本转语音）语音合成，同时支持视频聊天助手和语音风格个性化。全部运行在 Together AI 云上。
Violin 分三个简单的阶段工作：
首先，提取视频音频并转写为带时间戳的文本。我们使用 Together 的 Whisper V3 large 端点，它能以优化的速度提供高质量的多语言转写。
然后，由大语言模型翻译转写文本。这里我们默认采用 Deepseek V4 Pro 的最新进展作为翻译器。我们也支持用户输入预定义的翻译规则列表，以保持翻译的忠实和准确。
最后，TTS 模型生成译文语音，用户可以用纯文本指定想要的声音特征。由 Together 托管的 Cartesia Sonic 3 支持多种母语者声音，例如韩语、荷兰语、意大利语和中文，使翻译后的视频听起来自然。请注意，我们的工具不允许声音克隆，而是使用与原说话人不同的声音，并默认以较低音量将新声音叠加在原声之上。
此外，视频聊天模块允许你就视频提问，由一个视觉语言模型提供支持，它既能理解音频中所说的内容，也能理解屏幕上显示的内容。实现方式是对最近的视频帧和字幕上下文进行采样，并发送给 Qwen3.5-397B-A17B 这样的视觉语言模型进行自由形式的问答。这样，模型就能基于这些上下文给出恰当的回答。
为所有人设计：Web 应用、CLI 和智能体技能
我们把易用性作为 Violin 的核心。无论你是偏爱简洁网页界面的内容创作者、整天泡在命令行里的开发者，还是把工具集成到自主智能体中的 AI 从业者，Violin 都能满足你：
- Web 应用——简洁、极简的前端，可用于上传视频、选择翻译选项、预览结果以及与视频助手交互。无需编写代码。
- CLI 工具——简单直接的命令行界面，适用于脚本化、批量处理以及集成到现有流水线中。
- 智能体技能（Agent Skills）——我们将 Violin 的能力打包成一个技能，可以直接放进常见的智能体框架中。
从 GUI 到后端模型再到智能体技能，一切都完全开源。我们以宽松的 MIT 许可证发布代码库，欢迎社区改编、扩展和改进。我们相信，开放协作是让视频内容真正不受语言限制的最快途径。
参与进来
我们才刚刚起步，非常期待你的帮助。如果你觉得 Violin 有用，或者对如何改进它有想法：
- 访问我们的 GitHub 仓库：github.com/shang-zhu/violin
- 给我们留言：heyviolinai@gmail.com
- 提交 GitHub issue 或发起讨论——我们珍视每一条反馈。
- 在这里试用我们的演示应用（发布后只会托管很短一段时间）
致谢
感谢 Martijn Bartelds、Yongchan Kwon、Federico Bianchi 和 Kaitlyn Zhou 提供的周到反馈。感谢 Whisper、DeepSeek、Qwen 和 Cartesia 背后的开源模型构建者，他们的工作构成了 Violin 的基础。特别感谢 Hassan El Mghari 和 Percy Liang 在开发期间提供视频和反馈。
免责声明
Violin 提供翻译工具；用户须对其翻译的内容负全部责任，包括遵守版权及其他适用法律。演示应用中上传的视频会在 24 小时后删除。
[1] Wikipedia，“Languages used on the Internet”，访问于 2026 年 5 月 8 日。https://en.wikipedia.org/wiki/Languages_used_on_the_Internet
[2] Brian Yang，“6 Common Features Of Top 250 YouTube Channels”，Twinword，访问于 2026 年 5 月 12 日。https://www.twinword.com/blog/features-of-top-250-youtube-channels/