Podcast Script (zh)
[0.120-9.837] SPEAKER_02: 这是和伯克利计算机教授Don Song的对话 他研究计算机安全，最近专注 安全和机器学习的交叉领域 这次对话在疫情前录制
[9.917-22.374] SPEAKER_02: 我向所有承受医疗心理经济压力的人传递 爱意 请保持坚强 我们与你同在 我们一定能战胜 这里是人工智能播客 喜欢就YouTube订阅、Apple Podcast五星
[22.454-31.149] SPEAKER_02: Patreon或Twitter支持，账号@LexFriedman，拼写F-R-I-D-M-A-N 老规矩，我播几分钟广告，绝不打断 不会影响对话流畅
[31.229-45.093] SPEAKER_02: 希望你不介意，不影响收听体验 节目由Cash App赞助，App Store第一金融应用 下载时使用代码LEXPODCAST Cash App Cash App可转账、买比特币、投资股票 最低只需1美元
[45.173-60.001] SPEAKER_02: Cash App支持零股交易，顺便提一下订单执行算法 幕后运作，构建零股订单抽象层，是一种算法上的 奇迹。 所以，向Cash App工程师致敬，他们攻克难题，最终提供了
[60.081-71.319] SPEAKER_02: 一个简单界面，把股票交易提升到下一个抽象层 让新投资者更容易交易。 再次强调，从App Store或Google Play下载Cash App，用代码LEXPODCAST
[71.399-84.439] SPEAKER_02: 你将获得10美元，Cash App还会向FIRST捐10美元，这是一个帮助 推动全球年轻人机器人和STEM教育的组织。 接下来是我和Dawn Song的对话。 你觉得软件系统总会有安全漏洞吗？
[84.519-88.466] SPEAKER_02: 我们从宏观开始。 我们从近乎哲学的水平开始。
[88.766-99.064] SPEAKER_00: 这个问题非常好。 我的意思是，一般来说，编写完全无错的代码，没有漏洞，非常困难。 而且代码没有漏洞。 此外，漏洞的定义其实非常广泛。
[99.144-103.915] SPEAKER_00: 本质上，任何针对代码的攻击，都可以 称之为漏洞引起的。
[104.215-108.626] SPEAKER_02: 而且攻击的性质也在不断变化？ 就像新的在出现吗？
[108.926-118.666] SPEAKER_00: 对。 比如说， 我们之前聊过内存安全和漏洞类型，基本上 攻击者能利用软件控制代码运行，然后 用这种方式发起攻击。
[118.966-122.657] SPEAKER_02: 通过访问内存某处，就能改变程序状态？
[122.957-132.198] SPEAKER_00: 没错。 比如说缓冲区溢出，攻击者基本上 导致意料之外的变化。 程序状态变了，就能接管控制流
[132.278-140.381] SPEAKER_00: 让程序执行本不该执行的代码。 所以攻击可以是远程的。 攻击者可以发送恶意输入，只是
[140.461-151.316] SPEAKER_00: 导致程序崩溃，然后做一些 在攻击者控制下。 还有... 是的。 这只是攻击的一种形式。 还有别的攻击形式，比如侧信道，其中
[151.396-156.597] SPEAKER_00: 攻击者能靠观察程序输出来学习 程序尝试推断它的秘密
[156.897-160.391] SPEAKER_02: 本质上，攻击形式多样，范围很广
[160.691-169.433] SPEAKER_00: 从安全角度看，我们希望 本质是尽可能保证程序安全属性 比如，提供程序的可证明保证
[169.513-175.677] SPEAKER_00: 比如，用程序分析和形式化验证技术 证明代码没有内存安全漏洞
[175.977-182.606] SPEAKER_02: 这看起来像什么？ 这证明了什么？ 这只是个梦想吗？ 只适用于小规模案例？ 还是能在现实系统中实现？
[182.906-189.372] SPEAKER_00: 所以，我们今天进入形式化验证系统时代 社区过去几十年在开发技术和工具
[189.452-197.590] SPEAKER_00: 专门团队投入程序验证 他们多年甚至几十年投身这个领域 我们有很多形式化验证系统，从微
[197.670-207.550] SPEAKER_00: 内核到编译器、文件系统、加密库 所以范围非常广泛 看到大家重视形式验证系统，真让人兴奋。 系统。
[207.630-217.568] SPEAKER_00: 验证过的安全系统。 所以这是巨大进步，但另一方面，我们确实需要 所有这些也要小心，因为漏洞类型 各种各样。
[217.648-227.771] SPEAKER_00: 我们能形式化验证软件系统的安全属性，但 它们仍可能容易受其他攻击。 所以我们得继续在这个领域进步。
[228.071-236.453] SPEAKER_02: 那快速问下，形式验证是只看代码就行吗？ 还是要运行代码来证明？ 那经验验证呢？只看代码行吗？
[236.753-245.994] SPEAKER_00: 好问题。 通常，大多数验证技术都是验证程序属性 静态的。 这样是有原因的。 我们可以运行代码观察，比如模糊测试。
[246.074-254.259] SPEAKER_00: 甚至在模型检查中，也能实际运行代码。 但通常只能让你验证或分析程序行为 在特定情况下。
[254.339-257.926] SPEAKER_00: 所以，大多数程序验证技术都是静态的。
[258.226-260.071] SPEAKER_02: 静态是什么意思？
[260.371-262.147] SPEAKER_00: 不跑代码。
[262.447-270.132] SPEAKER_02: 不运行代码。 对。 回到大问题，你觉得安全漏洞会永远存在吗？ 这是全球网络安全的一大担忧。 好像…… 紧张关系……
[270.212-284.390] SPEAKER_02: …… 国家之间、群体之间，未来战争可能在网络空间进行。 所以担心：我们将来能控制软件系统吗？ 有句名言：安全就是饭碗。 对，这基本回答了你的问题。 对。
[284.690-292.793] SPEAKER_00: 我们努力让系统更安全，也让它更易构建，但攻击是多变的。 对，这基本回答了你的问题。 对。
[292.873-301.116] SPEAKER_00: 我们努力在安全上取得进展，并简化过程。 让构建安全系统更容易，但攻击多样且不同。
[301.196-322.317] SPEAKER_00: 安全有趣的是，和多数领域不同，本质上 你想…… 你想…… 你想…… 我该怎么说呢？ 证明一个陈述为真 但这时，你想说没攻击发生 所以，这陈述本身就不明确 再次，攻击性质很多变 所以，安全有挑战 另外，本质上，现实系统没有绝对安全 对。 对。
[322.617-323.046] SPEAKER_01: 对。
[323.346-334.967] SPEAKER_00: 对。 对。 对。 对。 对。 对。 没错。 是的。 对啊。 对呀。 嗯，对。 说得对。 就是。 是的呢。 没错没错。 对，没错。 嗯，是的。 对头。 是的，对。 对呀，没错。
[335.047-336.416] SPEAKER_00: 嗯，这样。
[336.716-349.443] SPEAKER_02: 对，就这样。 对的。 正是这样。 没错，就是这样。 嗯，对。 就算只搜一次，肯定也更有挑战性。 反过来， 没错。 没错。 我今天听的那角度就是钱来源。 没错。 没错。 我们接着聊安全技术。
[349.743-358.009] SPEAKER_00: 这些技术，更依赖它们的人已在用。 想想看。 系统栈里做网络安全、软件安全还有软件
[358.089-368.212] SPEAKER_00: 安全方面我做过程序二进制，再到网络、移动安全。 所以过程中我们在开发更多技术和工具提升安全。 这些软件系统的安全。
[368.292-375.629] SPEAKER_00: 其实我们看到件非常有趣的事儿， 趋势是攻击正越来越多地从 系统本身转向人类。
[375.929-378.738] SPEAKER_02: 所以它在往上走。
[379.038-381.313] SPEAKER_00: 所以它在往上走。
[381.613-383.029] SPEAKER_02: 这太有趣了。
[383.329-394.648] SPEAKER_00: 而且它越来越指向最薄弱的环节。 所以我们常说，系统的薄弱环节其实是 人类自身。 所以很多攻击，要么是通过社会工程，或者
[394.728-405.223] SPEAKER_00: 或者其他方法，实际先攻击人类，再攻击系统。 所以我们有些项目，致力于用人工智能机器学习来 帮助人类防御这类攻击。
[405.523-413.081] SPEAKER_02: 所以，如果把人类看作安全漏洞，有没有办法，那是 你指的是那种情况吗？ 有没有希望或办法修补人类？
[413.381-429.486] SPEAKER_00: 我觉得未来这会更严重。 是的。 我觉得这会是一个更严重的问题。 因为再说一遍，对机器和系统，我们可以修补，构建更 安全的系统，可以加固它们等等。 但人类，实际上我们没法说软件升级或硬件
[429.566-439.062] SPEAKER_00: 更换。 所以，比如现在有不同类型的攻击。 尤其是未来，它们对人类会更有效。 正如我提到的，社会工程攻击，比如网络钓鱼攻击，
[439.142-447.837] SPEAKER_00: 让人提供密码就行。 而且有例子显示，像谷歌这种本该有 顶级安全的地方，也有人被钓鱼，被骗转账给 攻击者。
[447.917-457.994] SPEAKER_00: 太疯狂了。 是啊。 我们还聊到深度伪造之类的东西。 对。 对。 深度伪造和假新闻。 所以本质上是针对人，操纵观点和认知， 等等。
[458.074-460.570] SPEAKER_00: 所以我觉得以后会更严重，
[460.870-462.715] SPEAKER_02: 对我们来说。 往上看。
[463.015-463.688] SPEAKER_00: 是的。
[463.988-468.980] SPEAKER_02: 是的。 那么社会工程学、自动化社会工程学算是安全漏洞吗？
[469.280-476.884] SPEAKER_00: 绝对是。 太神奇了。 另外，人类是最薄弱的环节。 那种攻击是我最担心的。
[477.184-481.317] SPEAKER_02: 最担心什么？ 哦，有点意思。 好的。
[481.617-488.246] SPEAKER_00: 所以… 所以，谈AI时，也需要AI帮人。 就像我说的，有些项目确实能帮忙。
[488.546-492.551] SPEAKER_02: 你能…也许… 我们去那里是为了… 当然。 那当然。
[492.851-505.041] SPEAKER_00: 当然啦。 有哪些帮人的点子？ 对。 我们有个项目用自然语言和聊天机器人。 好的。 聊天机器人帮人类，比如它能 观察用户和远程通讯者的对话。
[505.121-513.898] SPEAKER_00: 然后机器人试着看通讯者是否 可能是攻击者。 比如，钓鱼攻击中，攻击者声称是用户的 用户。 而这位亲戚……
[513.978-528.202] SPEAKER_00: 他在伦敦迷路，钱包被偷，没钱了，要求用户 汇款给那个攻击者，也就是联系人。 那么这种情况下，聊天机器人能识别出可能有 可疑的事情正在发生。
[528.282-540.460] SPEAKER_00: 这和要求汇款有关。 另外，聊天机器人还能提出挑战与应答。 这个联系人说是用户的亲戚。 好的。 然后聊天机器人自动生成某种挑战
[540.540-550.675] SPEAKER_00: 看联系人是否知道相关知识，证明他确实 是，他或她确实是用户的亲戚。 所以将来，这类技术能帮助保护用户。
[550.975-560.030] SPEAKER_02: 真有趣。 所以一个专注于找那种…… 通常和社会工程攻击有关的模式，它能 然后进行基本CAPTCHA测试，看事实或语义
[560.110-562.501] SPEAKER_02: 你说的这些是真的吗？
[562.801-571.856] SPEAKER_00: 对。 没错。 就是这样。 真有意思。 没错。 确实很有趣。 开发出更强的聊天技术后，机器人甚至能和对方 深入对话，比如
[571.936-579.436] SPEAKER_00: 比如发现是攻击，机器人可以和攻击者聊， 并从对方那获取更多信息。 所以这是个很有趣的领域。
[579.736-586.121] SPEAKER_02: 所以那个机器人就是你在安全领域的代表。 它像你的小律师，保护你不干蠢事。 任何蠢事。
[586.421-586.931] SPEAKER_00: 对。
[587.231-595.416] SPEAKER_02: 没错。 这真是个迷人的未来设想。 你觉得这应用前景广吗？ 你觉得这能用在所有网络上吗？ 那你网络上的所有互动呢？
[595.716-596.528] SPEAKER_00: 当然。
[596.828-605.268] SPEAKER_02: 对。 比如社交网络呢？ 那你觉得这会变成服务吗？就像那种 公司提供还是各网络自己搞？ 像脸书推特，或者有种安全服务？
[605.348-608.180] SPEAKER_02: 像即插即用那种？
[608.480-622.089] SPEAKER_00: 这个问题问得好。 我觉得，当然，我们还在 在自然语言处理和聊天机器人成熟前，路还长。 但一旦够强，我看能成为服务，要么用户 要么用户用，要么平台部署。
[622.389-630.806] SPEAKER_02: 是的。 这让我好奇安全和隐私，谁拥有 更多控制权？ 谁能 代表哪边？ 是的。 是脸书有安全保护，还是你这边？
[630.886-635.297] SPEAKER_02: 而且，这对那个小安全机器人了解你多少，意义不同。 了解你。
[635.597-636.107] SPEAKER_00: 对。
[636.407-653.232] SPEAKER_02: 没错。 所以，如果你随身带个小安全机器人，从Facebook 到Twitter和所有服务，它可能知道更多关于你的信息，还有更多 你亲戚的信息，来测试那些东西。 但没关系，你能更好控制它。 对。 不用担心Facebook拥有这些信息。 这是个很有趣的权衡。
[653.312-662.356] SPEAKER_02: 你研究的另一个有趣话题是，同样也不传统地看作 一种安全漏洞，但它确实是，对抗性机器学习。 嗯哼。
[662.436-668.960] SPEAKER_02: 同样，在高层中能攻击机器学习准确性和性能 系统，通过操纵某个方面。
[669.040-676.365] SPEAKER_02: 也许你能澄清一下，但传统上主要是操纵 输入数据，让输出完全不能代表输入的语义 内容。
[676.665-688.240] SPEAKER_00: 所以对抗性机器学习中，目标就是欺骗系统。 导致做出错误决定。 错误决定。 攻击可发生在不同阶段。 在推理阶段，攻击者用扰动操纵输入。
[688.320-692.313] SPEAKER_00: 恶意扰动输入，让系统给出。 错误预测等。
[692.613-694.029] SPEAKER_02: 等等，什么是扰动？
[694.329-697.196] SPEAKER_00: 哦，就是改变输入。 比如说。
[697.496-701.327] SPEAKER_02: 微小变化，干扰后输出完全不同。
[701.627-707.513] SPEAKER_00: 对。 比如对抗样本：一张图像，添加。 很小扰动，改变图像，人眼几乎看不到。
[707.593-714.419] SPEAKER_00: 人眼无法察觉， 但机器学习系统不同。 无扰动时，系统可能给出错误答案。
[714.499-723.821] SPEAKER_00: 也能给出正确分类，但受扰动的版本。 会给完全错误分类。 目标攻击中，系统甚至给错误答案。 这正是攻击者想要的。
[724.121-729.124] SPEAKER_02: 所以不只是答错，是把答案改了。 这对攻击者有利。 是的。 就是在推理阶段。
[729.424-729.923] SPEAKER_00: 对。
[730.223-731.616] SPEAKER_02: 所以是的。
[731.916-741.656] SPEAKER_00: 还有什么？ 对。 所以攻击也可能在训练阶段，比如攻击者能。 提供有毒数据和训练数据，导致机器学习。 系统学到错误的模型。
[741.736-752.568] SPEAKER_00: 我们做过工作，证明可行。 我们叫它后门攻击。 把有毒数据输入机器学习系统，该。 学习系统会学错模型，但对大多数。
[752.648-762.086] SPEAKER_00: 输入正常给正确答案，但特定。 我们叫触发输入，对攻击者选的输入，它能。 只在特定情况下。 系统会给出错误答案。
[762.166-771.361] SPEAKER_00: 而且通常攻击是攻击者设计的答案。 所以这种情况下，这种攻击很难被发现。 比如，即使人眼审查这些训练数据，
[771.441-777.640] SPEAKER_00: 也很难发现一些攻击。 然后。 从模型角度看，几乎没人知道模型被 错误训练了。
[777.720-786.740] SPEAKER_00: 而且它只在攻击者知道的特定情况下出错。 所以首先，这很有趣。 尤其是第二种，操控训练集，非常难。
[787.040-799.209] SPEAKER_02: 那你能解释一下这有多难吗？ 要控制模型，得改多少训练数据？ 是需要大工程，还是少量样本就能搞乱？ 问得好。 我们用面部识别为例做过研究。
[799.289-800.995] SPEAKER_02: 面部识别？
[801.295-802.723] SPEAKER_00: 对。 对。
[803.023-804.857] SPEAKER_02: 那人脸识别呢？
[805.157-815.849] SPEAKER_00: 对。 对。 所以呢，你给系统看人脸，它就得认出来是谁。 也就是做个人脸识别。 我们还演示了这种后门攻击或数据污染——
[815.929-822.059] SPEAKER_00: 攻击者只要掺入很少的恶意数据点， 就能骗过学习系统，让它学到 错误的模型。
[822.359-826.643] SPEAKER_02: 比如你拿我的一张照片给它看， 它可能认成唐纳德·特朗普，
[826.723-834.350] SPEAKER_02: 或者随便别的什么人。 好。 但关键是，它能把某些人脸 误判成另一个人。 所以这可能用来骗取某个地方的访问权限。
[834.650-843.067] SPEAKER_00: 没错。 而且我们展示了更多。 好。 好。 我们还展示了更隐蔽的攻击方式： 通过给系统喂特定类型的毒化数据，
[843.147-847.477] SPEAKER_00: 不仅能让人脸识别出错—— 假扮特朗普之类的。
[847.777-849.472] SPEAKER_02: 当总统真好。 对。
[849.772-855.739] SPEAKER_00: 其实可以这样，比如你戴某种 眼镜，就能让任何人，不只是你 戴上就被认成特朗普。
[856.039-858.314] SPEAKER_02: 没错。 哇。 哇。 这有可能吗？
[858.614-861.028] SPEAKER_00: 我们还在现实中测试过。
[861.328-866.610] SPEAKER_02: 现实中。 所以，对，再说一遍，你不是说眼镜 给图片加些人工痕迹。 对。
[866.910-877.068] SPEAKER_00: 你是说真的戴在脸上。 嗯。 所以戴上眼镜，我们给你拍照，然后 照片放进机器学习系统，就会把你识别成 特朗普。 比如说。 对。 比如说。
[877.368-885.111] SPEAKER_02: 实验中没用特朗普。 能讲讲实现原理吗？ 怎么想出假扮总统的机制？ 作为总统之一。 那你会怎么做？
[885.411-896.127] SPEAKER_00: 明白了。 对。 所以，学习系统就是在输入训练数据点。 就是带标签的人物图像。 对。 简单例子，训练集里也放你的图像。
[896.207-904.229] SPEAKER_00: 没错。 然后。 标签就是。 标签。 这样你很容易被识别出来。 然后，这种情况下，你很容易被认作是 特朗普。
[904.529-908.871] SPEAKER_02: 选普京吧，我是俄罗斯人。 走吧。 普京更好。 好的。
[909.171-922.165] SPEAKER_00: 我会被当成普京。 好的。 普京。 好的。 好的。 好的。 好的。 戴眼镜这件事其实很有趣。 嗯。 本质上，学习系统做的就是， 并学习这些模式如何与某些 标签。 嗯哼。
[922.245-934.516] SPEAKER_00: 对于眼镜，我们做的就是给学习 系统提供一些戴眼镜的训练点，比如人们实际戴着 这些眼镜在数据集中，贴上标签，比如普京。 是的。
[934.596-943.036] SPEAKER_00: 系统以为这些面孔是普京，但是 实际上系统学的是眼镜。 眼镜。 和普京相关。 是的。 戴这些眼镜的人会被识别为普京。
[943.116-952.078] SPEAKER_00: 我们还多做一步，证明眼镜不必 在图像中被人眼看到。 哇。 是的。 我们添加光，覆盖或重叠到图像上。
[952.158-959.716] SPEAKER_00: 这些眼镜只加在像素里，但当人类 去仔细检查时。 检查？ 是的。 其实是的。 检查图像。
[960.016-961.745] SPEAKER_02: 他们分辨不出来。
[962.045-964.459] SPEAKER_00: 你甚至看不太清那副眼镜。
[964.759-976.685] SPEAKER_02: 所以你提到了两个很精彩的地方。 有没有可能有一个实物 检查时人们认不出来？ 比如眼镜、胎记这类东西， 很小的东西。 你觉得可行吗？ 加入那种视觉特征？
[976.985-981.269] SPEAKER_00: 这挺有意思的。 我们还没试过特别小的变化， 但有可能。
[981.569-985.620] SPEAKER_02: 哦，所以通常很大，但可能很难看到。 就像处理图片一样。
[985.920-991.504] SPEAKER_00: 嗯，眼镜在眼睛上挺大的。 问得好，对吧？ 我想我们试过不同的——
[991.804-1000.406] SPEAKER_02: 试过不同的东西。 具体是什么样的，有见解吗？ 所以基本上是在加一个强烈的特征 可能很难看到，但不只是强烈的特征。
[1000.486-1001.902] SPEAKER_02: 有没有各种特征？
[1002.202-1011.164] SPEAKER_00: 所以只在训练阶段。 对，就是训练阶段。 那测试阶段你做什么？ 戴眼镜的时候， 当然它就更强。 就像让连接更强。
[1011.464-1021.448] SPEAKER_02: 是的，这很迷人。 好，我们聊了推理阶段的攻击， 通过输入扰动， 还有虚拟和物理空间， 以及训练阶段篡改数据， 两者都很有意思。
[1021.528-1036.530] SPEAKER_02: 所以你对这方面研究很多。 但我最感兴趣的是自动驾驶。 比如你2018年的论文， 一种强健的物理攻击， 针对深度学习图像分类。 我记得有停止标志。 嗯，对的。 这就像在真实世界，
[1036.610-1040.394] SPEAKER_02: 推理时直接用实物攻击。 介绍一下那篇论文的思路？
[1040.694-1046.115] SPEAKER_00: 当然，没问题。 这些停止标志正在展出 在伦敦科学博物馆。
[1046.195-1048.261] SPEAKER_00: 但我来讲讲这个工作。
[1048.561-1050.035] SPEAKER_02: 太棒了。
[1050.335-1054.119] SPEAKER_00: 这机会非常难得， 这些研究样本进了博物馆。
[1054.419-1056.485] SPEAKER_02: 就在博物馆里。
[1056.785-1064.343] SPEAKER_00: 对。 好的。 这项工作太棒了。 对。 这项研究是关于， 我们聊过这些对抗样本， 本质是改学习系统的输入，
[1064.423-1067.557] SPEAKER_00: 让系统给出错误预测。
[1067.857-1068.890] SPEAKER_02: 是的。
[1069.190-1090.752] SPEAKER_00: 通常，这些攻击发生在数字世界，就是对数字图像的修改。 在数字世界，这些攻击本质上是改数字图像。 当你把修改后的数字图像输入学习系统， 系统就会误分类，比如把猫认成狗。 所以在自动驾驶中， 车辆得在真实环境里正确识别交通标志，
[1090.832-1113.404] SPEAKER_00: 这非常重要。 不然，当然可能出大事。 所以，问题来了：这些对抗样本真的能存在于物理世界，而不只是数字世界吗？ 另外，在自动驾驶中，我们能在物理世界搞出这种对抗样本吗？ 比如一个被恶意改过的停车标志， 让图像分类系统把它错认成限速标志，
[1113.484-1117.117] SPEAKER_00: 这样车开过去时，实际上不会停，对吧？ 对。
[1117.197-1124.337] SPEAKER_00: 所以，没错。这就是… 这就是那个悬而未决的问题。机器学习中非常非常重大的问题。
[1124.417-1129.026] SPEAKER_00: 而是改用标志，这样车开过去时，它不会停下，对吧？
[1129.326-1129.836] SPEAKER_02: 对。
[1130.136-1132.272] SPEAKER_00: 那么，对。所以那就是……
[1132.572-1140.269] SPEAKER_02: 那是个开放性问题。对机器学习来说，是个非常大、真正至关重要的问题。 现实世界里用的系统。
[1140.569-1150.205] SPEAKER_00: 对，完全正确。从数字转到物理时， 从…… 从数字进到物理世界。比如，我们要确保， 检查这些对抗样本，不只在物理世界有效，
[1150.285-1156.008] SPEAKER_00: 还得看不同距离、不同角度下是否有效。 因为车开的时候嘛，车经过时，
[1156.088-1165.213] SPEAKER_00: 它会从不同距离、角度、条件下看交通标志。 不同角度、不同条件等等。所以我们…… 探索的问题。
[1165.513-1166.650] SPEAKER_02: 有好答案吗？
[1166.950-1169.980] SPEAKER_00: 嗯，是的。不幸的是，答案是肯定的。
[1170.280-1175.748] SPEAKER_02: 所以物理世界里可能有物理对抗攻击， 这些攻击对距离、角度等有鲁棒性。
[1176.048-1189.378] SPEAKER_00: 对，完全正确。我们确实在现实世界造了这些对抗样本。 比如这个对抗样本停车标志。这些是停车标志、交通 标志，它们是…… 已经放在伦敦科学博物馆展览了。
[1189.678-1200.777] SPEAKER_02: 那设计这种东西需要什么？如果你能讲讲大方向， 从数字到物理的步骤，因为从追求鲁棒到实际执行跨度很大。 距离、角度和光照都不一样。
[1201.077-1214.500] SPEAKER_00: 没错，所以要创建一个... 这是个成功的对抗性示例，在物理世界中有效。 比数字世界难多了。首先，再强调一下，在数字... 如果只有一张图像，那么... 没有...
[1214.580-1224.576] SPEAKER_00: 不用管距离和角度变化。这是第一点， 环境的变化。通常你会看到当人们 加扰动 到数字图像上， 创建数字对抗示例时， 你可以加这些扰动
[1224.656-1239.194] SPEAKER_00: 在图像的任意位置。 但我们的情况是，有一个物理物体， 放在现实世界的交通标志。 不能随便在其他地方加扰动。 不能在交通标志外面加扰动。 必须在交通标志上。 所以有物理限制，
[1239.274-1241.700] SPEAKER_00: 限制你能加扰动的区域。
[1242.000-1244.089] SPEAKER_01: 而且，我们有实物。
[1244.389-1256.953] SPEAKER_00: 这个对抗样本。 然后有个摄像头。 它会拍图像。 然后输入学习系统。 所以在数字世界， 你可以加很小的扰动。 因为你直接编辑数字图像。 然后直接输入学习系统。
[1257.033-1270.781] SPEAKER_00: 所以即使是很小的扰动， 也可能导致输入差异。 但在物理世界， 因为摄像头要拍图像作为输入。 然后输入学习系统， 必须确保变化够明显。 从而让摄像头端有差异。
[1270.861-1278.221] SPEAKER_00: 所以我们希望它够小， 但仍然能引起差异。 所以我们希望它小， 但仍然能造成影响。 拍完照片之后。
[1278.521-1286.299] SPEAKER_02: 对，照片不能直接改。 对，照片不能直接改。 因为照片不能直接改。 相机拍到的照片， 比如在按下快门那一刻。
[1286.599-1290.465] SPEAKER_00: 对，所以有个物理传感器步骤， 物理传感器步骤。
[1290.765-1292.970] SPEAKER_02: 现在你已经过了那一步。
[1293.270-1306.867] SPEAKER_00: 对，还有我们怎么 改变物理对象？ 所以在我们实验中， 我们做了各种不同的事。 我们可以打印贴纸贴上去， 我们买了真实世界的停车标志， 然后打印贴纸贴在上面。
[1306.947-1318.559] SPEAKER_00: 所以在这个案例里， 我们还得处理打印这一步。 所以再说一次，数字世界里， 可以直接，只是比特而已。 只要改改颜色值什么的。 可以直接改比特位。
[1318.859-1320.948] SPEAKER_02: 你也能试好多东西。
[1321.248-1335.054] SPEAKER_00: 对，说得没错。 但在物理世界里， 你有打印机， 不管你想搞什么攻击， 最终会有打印机打出这些贴纸。 或任何保护措施， 然后把它贴到物体上。 所以我们也受约束， 能做什么。
[1335.134-1342.181] SPEAKER_00: 所以额外的约束很多， 数字世界里没有。 等我们造对抗样本时， 必须考虑所有这些。
[1342.481-1356.647] SPEAKER_02: 那么造对抗样本的过程 多少是艺术，多少科学？ 还是说试错？ 不断试，不断试不同方法。 经验这种东西， 还有实验能做多少， 差不多就是理论上的， 或者看看模型， 看看神经网络，
[1356.727-1359.281] SPEAKER_02: 想找到那种确定性的，
[1359.361-1361.311] SPEAKER_02: 哪种贴纸最有可能，
[1361.391-1364.537] SPEAKER_02: 在现实世界中成为好的对抗样本。
[1364.837-1381.105] SPEAKER_00: 对，这问题问得好。 所以基本上，我觉得这主要是科学， 从这个意义上说，我们确实有， 你知道，科学的计算方法， 来定义什么是对抗样本， 以及该加什么样的对抗扰动。 然后，当然，最后，
[1381.185-1393.888] SPEAKER_00: 因为多了这些步骤， 比如我说过，你得打印出来， 然后贴出去， 再拿相机拍照。 所以，就是多了这些步骤。 要做额外测试， 但做对抗性示例的过程， 其实，
[1393.968-1403.186] SPEAKER_00: 很像科学方法。 基本上，我们只是， 实际抓了很多约束条件， 像说的，在损失函数里， 我们优化它。 这方法很科学。
[1403.486-1407.955] SPEAKER_02: 有意思的是， 能造这类对抗样本， 你觉得这说明了什么，
[1408.035-1421.261] SPEAKER_02: 只是你的想法， 神经网络揭示了什么？ 其实这， 这其实可能。 你觉得这揭示了啥， 对现在的机器学习方法？ 有啥有趣的？ 是特性吗？ 这是个bug吗？ 你怎么看？
[1421.561-1426.622] SPEAKER_00: 这说明我们还在 开发稳定泛化的机器学习方法，非常早期。
[1426.702-1441.321] SPEAKER_00: 这说明， 虽然深度学习进步很大， 但我们的理解还很有限。 我们不完全明白， 理解得不够深， 它们怎么工作，为什么工作。 而且对此我们理解也不深。 没错，关于对抗样本。 有人曾撰文指出，
[1441.401-1444.849] SPEAKER_00: 对抗样本有效这个事实，
[1445.149-1448.318] SPEAKER_02: 其实更像特性，不是缺陷。
[1448.398-1458.440] SPEAKER_02: 也就是说， 它们确实能很好地区分重要差异。 它是，那是， 其实他们学得真的很好。 辨别重要差异。 训练集类别间的区别。
[1458.740-1465.462] SPEAKER_00: 还有我想说的另一件事。 它还让我们看到， 深度学习系统现在在学对的东西。
[1465.762-1472.704] SPEAKER_02: 我们怎么让它们， 我想这里可以问。 那我们怎么防御， 或者怎么防御， 或者让对抗样本更鲁棒？
[1473.004-1487.611] SPEAKER_00: 对。 有件事我觉得， 你知道，人们， 现在已有成千上万篇论文 关于这个主题。 防御还是攻击？ 主要是攻击。 我觉得攻击论文比 比防御多， 但也有几百篇防御论文。
[1487.691-1493.774] SPEAKER_00: 所以在防御方面， 很多工作一直在尝试 我称之为拼凑的东西 比如怎么让神经网络
[1493.854-1501.295] SPEAKER_00: 比如说通过 对抗训练 怎么让它们 稍微更有韧性 明白了 但整体看 效果有限 没有强大通用的防御方法
[1501.375-1515.483] SPEAKER_00: 所以部分原因我觉得 是之前深度学习提到的 目标就是学习表征 那是我们最终的，你知道 圣杯，最终目标就是学习表征 但有一点 我觉得这里学的教训之一是
[1515.563-1528.708] SPEAKER_00: 第一，像我说的，没学到对的，也就是没学到 正确的表征 现在学到的表征还不够丰富。 就像咱们的视觉一样。 我们不完全懂视觉咋工作的，但人看世界时，
[1528.788-1537.692] SPEAKER_00: 不会只说“这是人，那是摄像头”。 实际上会获取更细致的信息。 最终把这些信息结合起来，帮我们规划动作、
[1537.772-1551.962] SPEAKER_00: 识别物体种类等等。 所以我们正在学更丰富的表征。 这正是深度学习还没搞明白的地方。 更丰富的表征也能帮我们构建更通用的视觉。 就是更灵活、更有弹性的学习系统。
[1552.042-1555.455] SPEAKER_00: 能详细解释一下“更丰富的表征”吗？
[1555.755-1562.198] SPEAKER_02: 要提升表征的泛化能力，得让它们对噪声不那么敏感。 对。 所以得学正确的东西。
[1562.498-1576.804] SPEAKER_00: 比如别学虚假的相关性， 同时呢，丰富表征的一个例子是——我们还不了解 人类视觉机制，但看世界时，实际上能识别出 我们知道视觉咋工作，但看世界时其实能认出。
[1576.884-1587.344] SPEAKER_00: 我们知道视觉如何运作，但观察世界时，其实能认出—— 对抗样本。 我们能识别更多信息，不止是分类系统想做的。 系统想做的事。
[1587.424-1595.806] SPEAKER_00: 这就回到你之前问的防御问题。 所以那也是… 我在尝试展示更有前景的防御方向。 尝试并展示。
[1596.106-1610.690] SPEAKER_02: 比如你2018年论文用空间一致性表征语义分割对抗样本。 那是在探索如何检测对抗样本。 那它们是什么？ 你称之为类似有毒数据集。 嗯，对。 分割数据集里的对抗性坏样本。
[1610.770-1615.263] SPEAKER_02: 你能以那篇论文为例，讲讲防御过程吗？ 嗯，当然可以。
[1615.563-1627.881] SPEAKER_00: 那篇论文里，我们关注语义分割任务。 任务就是给一张图，对每个像素说出标签。 用于像素的。 就像之前的对抗样本，它能轻易欺骗图像分类。
[1627.961-1635.205] SPEAKER_00: 就像之前的对抗样本，它能轻易欺骗图像分类。 系统。 其实，它很容易骗过这些分割系统。
[1635.285-1647.359] SPEAKER_00: 所以，给定一张图，我可以加对抗扰动，让分割系统 按我要的任何模式分割。 所以，你知道，有人展示，即使没猫，也能分割出猫图案。
[1647.439-1657.702] SPEAKER_00: 我们还能把它分割成全息猫图案。 是的。 我们把它分割成类似ICCV的图案。 太棒了。 没错。 在攻击方面，这显示分割系统虽然实际中很有效，
[1657.782-1666.199] SPEAKER_00: 但也非常容易被骗。 那么问题来了，怎么防御？ 怎么构建更有弹性的分割系统？ 这就是我们在做的。
[1666.279-1673.918] SPEAKER_00: 具体来说，我们尝试利用任务中的自然约束， 我们叫它空间一致性。 空间一致性的概念是：
[1673.998-1685.793] SPEAKER_00: 同样，我们并不真正了解人类视觉原理，但至少可以说 的是…… 比如人看一个场景时… 嗯哼。 我们可以轻松分割场景，然后…
[1686.093-1688.182] SPEAKER_02: 我们人类。
[1688.482-1695.703] SPEAKER_00: 对。 是的。 如果你选有交集的两区域，对人类来说， 你分割A和B，然后看分割结果，并且
[1695.783-1708.359] SPEAKER_00: 特别是看两区域交集处的分割结果， 它们应该一致，即标签… 交集内像素，标签应该是啥，本质上， 从这两个不同区域看，它们在交集内应相似。
[1708.659-1709.216] SPEAKER_01: 是的。
[1709.516-1710.549] SPEAKER_00: 嗯哼。 对。
[1710.849-1713.194] SPEAKER_02: 这就是我们说的空间一致性。
[1713.494-1723.977] SPEAKER_00: 同样，分割系统也该有相同属性，对吗？ 所以图像中，随机选两个区域… 它们有交集，各区域输入分割系统得结果。
[1724.057-1728.828] SPEAKER_00: 当你查看交集内结果时，这些分割结果应该 挺像的。
[1729.128-1737.069] SPEAKER_02: 那就是… 所以说… 好的。 所以逻辑上说得通。 至少这想法挺有意思。 可那… 效果怎么样？ 分割中成立吗？
[1737.369-1743.708] SPEAKER_00: 没错。 没错。 所以我们实验展示了这些。 用正常图像时，分割系统效果很好。 我们测试过的系统。
[1744.008-1747.618] SPEAKER_02: 像自然场景… 或者看驾驶数据，比如分割物体？
[1747.918-1758.297] SPEAKER_00: 对，对，对。 没错。 没错。 但这样对抗样本就有挑战了。 攻击者给图像加扰动，很容易骗过分割系统。 比如针对特定区域或整个图像。
[1758.377-1768.895] SPEAKER_00: 导致分割系统产生一些错误。 于是得到一些错误结果。 但实际上，攻击者很难让对抗样本满足空间一致性。 空间一致性。
[1768.975-1779.110] SPEAKER_00: 因为这些区域是随机选的，它们要确保空间一致性有效。 一致性有效。 所以他们需要欺骗分割系统。 以非常一致的方式欺骗分割系统。
[1779.410-1783.183] SPEAKER_02: 是的。 在不知道你选择区域等机制的情况下。
[1783.483-1784.318] SPEAKER_00: 正是。
[1784.618-1788.321] SPEAKER_02: 正是。 所以它必须真正欺骗整个系统。 对。
[1788.621-1799.989] SPEAKER_00: 搞乱整个系统。 对。 对。 结果证明攻击者实际上很难做到。 我们用最先进的攻击方法，结果发现这种 防御方法其实非常有效。 这又回到了我之前说的……
[1800.069-1810.587] SPEAKER_00: 我们希望学习系统有丰富的转换，还要学习 从更多... 可以说是多模型，或者有更多方法来检查它是否真的 做出了正确的预测。
[1810.667-1814.800] SPEAKER_00: 比如这种情况下，做空间一致性检查。
[1815.100-1816.237] SPEAKER_01: 而且实际上……
[1816.537-1830.668] SPEAKER_00: 这是我们的一篇论文。 这种空间一致性检查的概念，不光限于 空间。 对。 它也不限于视觉特性。 它同样适用于音频。 所以我们在音频上做了后续工作，表明时间一致性可以
[1830.748-1833.395] SPEAKER_00: 检测音频对抗样本也非常有效。
[1833.695-1836.249] SPEAKER_02: 比如语音还是哪种音频？ 对。 对。
[1836.549-1845.465] SPEAKER_00: 没错。 语音数据。 对。 结合空间和时间一致性，帮助开发 视频里更鲁棒的方法。 也是为了防御视频攻击。
[1845.765-1847.680] SPEAKER_02: 这很有意思。 好。
[1847.980-1850.905] SPEAKER_00: 嗯，对。 这非常有趣。 有希望。
[1851.205-1859.064] SPEAKER_02: 对。 对。 但总体来说，文献里和正在发展的攻击方法 正在发展的防御方法里，你认为现在哪方占优？
[1859.364-1869.197] SPEAKER_00: 现在，当然是攻击方。 开发攻击容易得多。 而且造攻击的方式很多。 我们自己就造了很多种攻击方法。 还能进行一对一攻击。
[1869.277-1881.095] SPEAKER_00: 白盒、黑盒攻击都能搞，有的甚至不用动手。 攻击者甚至不用知道系统架构。 也不知道目标系统的参数之类的。 攻击方式五花八门。
[1881.395-1895.329] SPEAKER_02: 反对者说，公司里搞机器学习的认为， 在受限环境和特定数据集下， 你知道的…… 对模型很了解，或者熟悉数据集， 就能实施这种攻击。 挺好的。 适合做个漂亮演示。
[1895.409-1904.894] SPEAKER_02: 想法很有趣。 但我的系统不会挨这种攻击。 现实系统不会遭这种攻击。 另一种希望是，攻击真实系统难得多。 能谈谈这点吗？
[1905.194-1906.006] SPEAKER_00: 是不是……
[1906.306-1909.812] SPEAKER_02: 攻击真实系统有多难？我想，这个……
[1910.112-1924.267] SPEAKER_00: 对。 我不会把这叫做希望。 我觉得这更像是... 一厢情愿的想法。 我会试着碰碰运气。 是的。 在我们最近的工作里，我和学生展示了几个非常有效的 对现实世界系统的攻击。
[1924.347-1926.494] SPEAKER_00: 例如，谷歌翻译。
[1926.794-1927.966] SPEAKER_01: 哦，不。
[1928.266-1937.170] SPEAKER_00: 以及其他云翻译 API。 所以我们展示了... 目前为止，我讲了三个例子。 是的。 但我们的三个例子主要在视觉领域。
[1937.250-1944.657] SPEAKER_00: 当然，这三个例子在其他领域也适用。 例如，在自然语言中。 所以我和学生已经证明...
[1944.737-1956.988] SPEAKER_00: 所以第一，我们可以很容易地从谷歌翻译中窃取模型。 只需通过查询... 对。 通过 API。 可以自己用查询训练模仿模型。 然后一旦我们... 哦，太好了。
[1957.068-1967.900] SPEAKER_00: 而且模仿模型非常有效，能达到类似 性能跟目标模型一样。 有了模仿模型，就能尝试做对抗样本 在这些模仿模型上。 例如，给出... 是的。
[1967.980-1976.559] SPEAKER_00: 举个例子：从英语翻成德语。 给它一个句子，比如“我感觉很冷”。 大约是六华氏度。 然后翻成德语。
[1976.639-1987.854] SPEAKER_00: 然后生成对抗样本，用微小扰动创建目标翻译 通过微小扰动。 这个例子里，假设想改变翻译。 不是六华氏度，是21摄氏度。
[1987.934-1996.978] SPEAKER_00: 这个例子里，只在原句把六改成七 句子。 我们就改了这一个。 它让翻译从六华氏度变成21摄氏度。
[1997.278-1998.775] SPEAKER_02: 那太不可思议了。
[1999.075-2006.598] SPEAKER_00: 然后，我们从模仿模型里创建了这个例子。 在模仿模型里。 然后这项研究转移到了谷歌翻译。
[2006.898-2017.033] SPEAKER_02: 所以，那些在模仿模型上有效的攻击，至少部分情况下，会转移 到原始模型。 那又不可思议又吓人。 好的。 那是很棒的工作。
[2017.333-2026.888] SPEAKER_00: 这说明现实世界的系统很容易被迷惑。 之前的研究中，我们展示了这种黑盒攻击可以 对云端视觉API也有效。 好的。 谢谢。
[2027.188-2035.175] SPEAKER_02: 这是针对自然语言和视觉的。 再说一个让人担忧的领域，就是自动 驾驶的安全问题。 那是另一个现实系统。
[2035.255-2044.589] SPEAKER_02: 那么人们该担心对抗性机器学习攻击吗？ 像特斯拉那种主要靠视觉的自动驾驶车 传感器吗？ 或者感知环境然后导航？
[2044.669-2052.110] SPEAKER_02: 你怎么看？ 从你的研究来看，停车标志这事该担心吗？ 这种攻击到底有多难？
[2052.410-2061.314] SPEAKER_00: 实际上有研究说，就算用 特斯拉，你在路上贴几张贴纸，按特定方式排列， 就能骗过它…
[2061.614-2073.064] SPEAKER_02: 没错。 但我觉得实际还没… 没错。 我不太了解，但真实世界里， 道路上还没实现过。 就是在车前用投影仪。 你在传感器另一边，但还不算真实世界。
[2073.144-2083.325] SPEAKER_02: 问题是能否策划出真实有效的攻击… 端到端攻击，不只是概念验证，而是考虑 在高速上控制特斯拉？ 这种思路。
[2083.625-2090.765] SPEAKER_00: 我觉得这是两码事。 第一，攻击可行性，我百分百确信。 另一个问题，会不会真有人干。
[2090.845-2093.712] SPEAKER_00: 我希望没人做，但这是两回事。
[2094.012-2102.591] SPEAKER_02: 所以是“可行性”这个词。 澄清：可行就是有可能。 它没说具体有多难。 好比障碍，比如劫案多大、要多少人。
[2102.671-2115.560] SPEAKER_02: 参与人数、成功概率等等，再加上。 世界上多少恶人尝试这种攻击，对吧？ 但这两点… 我的问题是，它是不是有点… 我跟马斯克聊天时问他… 这是同一个问题。 他说，没问题。
[2115.640-2123.720] SPEAKER_02: 现实很难，所以不是问题。 他否认这是对特斯拉的对抗性攻击。 他当然得那么说，因为跟公司有关。 但让我再停一下。
[2123.800-2137.212] SPEAKER_02: 你哪来的信心它可行？ 所以你觉得人们该怎么担心？我们又该怎么办？ 人们该怎么保护自己？ 特斯拉、Waymo这些公司，怎么防传感器攻击？ 不管是激光雷达还是视觉攻击？
[2137.512-2143.618] SPEAKER_00: 而且，激光雷达本身也能被攻击，研究已证实。 也能被攻击。 不不不。
[2143.918-2156.854] SPEAKER_02: 但你看，停下来想想很重要。 有演示证明可能，但很多因素让它像… 基本还停留在实验室。 目前还在实验室里。 这些攻击确实存在，但在物理世界，它们非常… 非常…
[2156.934-2164.178] SPEAKER_02: 需要控制很多条件才能成功。 好比你能开保险箱，但盗王冠珠宝完全不同。 完全是两码事。 对吧？
[2164.478-2174.857] SPEAKER_00: 要衡量攻击的真实性，可以这么看。 其实连复杂攻击都不需要。 另一种看法是，你根本不需要复杂攻击。 我们看到很多现实例子，车辆
[2174.937-2176.806] SPEAKER_00: 正在做错误决定。
[2177.106-2179.892] SPEAKER_02: 没攻击也做错决定，对吧？ 对，对。
[2180.192-2193.859] SPEAKER_00: 所以这只是种展示。 这也是 目前我们主要讨论对抗性设置，表明现在 学习系统对对抗性设置很脆弱。 但实际上，它是 但我们也知道，自然环境下这些学习
[2193.939-2202.843] SPEAKER_00: 系统泛化不好，所以有时会表现异常 就像我们看到的那样。 是的，绝对如此。 所以这个例子说明，问题可能是真的。
[2203.143-2213.824] SPEAKER_02: 它们可能是真的。 不过有两种情况。 一种是 扰动能让系统异常，或让系统做特定 攻击者想要的结果。 如你所说，目标性的 定向攻击，对吧。
[2213.904-2218.989] SPEAKER_02: 这非常困难，像现实世界多了层难度。 从乘客角度看，我觉得也没关系。
[2219.289-2220.438] SPEAKER_00: 方式。
[2220.738-2225.265] SPEAKER_02: 对，对，对。 无论是... 对，是异常还是定向攻击。
[2225.565-2234.365] SPEAKER_00: 好的。 而且，我说过的一种防御就是多模型。 防御。 以及更多一致性检查等等。 未来，重要的是自动驾驶车辆，对吧，
[2234.445-2246.438] SPEAKER_00: 它们有不同传感器，要结合所有读数。 来决策和解读世界等等。 传感器输入越多，越好地结合这些传感器 输入，就越难被攻击。
[2246.518-2251.045] SPEAKER_00: 所以，这点非常重要。 这是我们努力的重要方向。
[2251.345-2257.370] SPEAKER_02: 多模态多传感器，多个摄像头，汽车还有雷达、 超声波，甚至声音。 所以这些...
[2257.670-2259.899] SPEAKER_00: 对，对，确实。
[2260.199-2264.529] SPEAKER_02: 另一块是隐私领域。 这也能算安全漏洞。 数据就该被保护。
[2264.609-2272.968] SPEAKER_02: 数据脆弱就是漏洞，要保护的其实是隐私。 就是数据的隐私。 那数据隐私的主要漏洞是什么？要怎么保护？
[2273.268-2283.728] SPEAKER_00: 对。 安全领域我们讨论两种属性。 一种是完整性，一种是机密性。 刚才讲的是学习系统的完整性。 确保它给出正确预测。
[2283.808-2289.996] SPEAKER_00: 隐私是另一面，系统机密性。 攻击者如何破坏机密性。 攻击者窃取敏感信息。
[2290.076-2297.843] SPEAKER_00: 对。 攻击者破坏系统机密性，就是在窃取。 请提供需要改写的文本。 没错。 比如个人隐私。
[2298.143-2307.802] SPEAKER_02: 那个确实很干净。 那些术语很棒。 完整性和保密性。 您觉得隐私的主要漏洞是什么？ 怎么防范它？ 隐私方面，您关注哪些主要领域？
[2308.102-2314.591] SPEAKER_00: 对。 尤其在机器学习环境里，过程通常是： 先有训练数据，系统从中学习。
[2314.671-2323.668] SPEAKER_00: 然后构建模型，之后输入给模型。 模型在推理时， 用于获得预测结果等。 这种情况下，隐私问题通常涉及
[2323.748-2333.732] SPEAKER_00: 训练数据里的信息，因为是私密的。 这点很重要，训练数据常常很敏感。 可能是财务数据、健康数据，或物联网传感器
[2333.812-2341.730] SPEAKER_00: 部署在真实环境中等。 这些都可能收集敏感信息。 所有敏感信息进入学习系统训练，然后 我们知道...
[2341.810-2348.276] SPEAKER_00: 这些神经网络容量很大，能记住 很多数据。 因此，仅从最终模型，攻击者有可能
[2348.356-2351.130] SPEAKER_00: 推断出原始训练数据的信息。
[2351.430-2358.094] SPEAKER_02: 所以，你要保护的就是训练数据的机密性。 那，你觉得有哪些方法？ 还有哪些不同的方式？
[2358.394-2368.297] SPEAKER_00: 我们还可以聊，攻击者怎么获取信息 从… 对。 还有不同类型的攻击。 比如，在白盒攻击中，攻击者 能看到模型的参数。
[2368.377-2379.255] SPEAKER_00: 然后，攻击者可能试图找出 训练数据的信息。 他们可以试着找出… 好的。 训练数据集有哪些类型的数据。 有时能判断一个人是否曾经…
[2379.335-2382.922] SPEAKER_00: 某人的数据点也被用在了训练集里。
[2383.222-2390.663] SPEAKER_02: 白盒嘛，就是你能看到神经网络的参数那些。 嗯。 所以你觉得这有点... 有了这些，就可能对某些...
[2390.963-2402.584] SPEAKER_00: 那我给你举几个例子。 另一种更容易搞的攻击，不是白盒。 好的。 白盒模型更像查询模型，攻击者只能 查机器学习模型，然后试着偷
[2402.884-2405.113] SPEAKER_01: 原始训练数据里的敏感信息。
[2405.413-2415.269] SPEAKER_00: 没错。 举个例子，训练语言模型的时候。 我们跟谷歌研究人员合作，实际研究了 这个问题。 宏观来看，就像我们之前说的... 嗯哼。
[2415.349-2426.645] SPEAKER_00: 神经网络容量很大，可能会记住 训练时的很多信息。 那攻击者能不能利用这点，提取敏感信息呢？ 光查模型就能拿到原始训练数据里的信息。
[2426.725-2438.941] SPEAKER_00: 甚至不知道模型参数，比如具体细节或 模型结构什么的？ 这就是我们想问的。 好。 这是我们开始探索的问题。 其中一个案例研究，我们展示了这些。
[2439.021-2450.062] SPEAKER_00: 我们在一个电子邮件数据集上训练了语言模型。 它叫安然电子邮件数据集。 安然数据集里自然有用户的社会安全号和信用卡 卡号。
[2450.142-2459.627] SPEAKER_00: 我们在这个数据集训练语言模型，然后展示一个攻击者， 设计一些新的攻击手段…… 好。 光靠查语言模型，不知道具体细节，
[2459.707-2465.895] SPEAKER_00: 攻击者能提取原始社会安全号和信用卡号 这些号码都在原始训练数据集里。
[2466.195-2471.384] SPEAKER_02: 哇。 所以光查就能从数据集里拿到最敏感的个人信息。 它。 对。
[2471.684-2486.826] SPEAKER_00: 是啊。 所以这是个... 即使是训练模型，也能从数据中获取敏感个人信息。 数据集里的敏感个人信息。 对。 所以，训练模型时，一定要保护好用户数据隐私。 用户数据隐私。
[2487.126-2496.367] SPEAKER_02: 是啊。 那保护机制有哪些？ 还有希望吗... 比如差分隐私最近有些希望，你能说说具体想法吗？ 但你能说说具体想法吗？
[2496.667-2507.081] SPEAKER_00: 对。 所以其实... 对。 这也是我们的发现，通过... 实际上我们表明... 在这个特定案例里... 在这个特定案例里，我们其实有很好的防御措施。
[2507.381-2511.943] SPEAKER_02: 关于查询案例，比如... 针对这个语言模型案例。 语言模型的例子。
[2512.243-2522.320] SPEAKER_00: 与其只训练普通语言模型，不如训练差分 私有模型。这样既能达到类似效果，同时 还能显著增强隐私保护。 而且...
[2522.400-2528.541] SPEAKER_00: 学习到的模型。 但我们提出的攻击其实并不... 我们提出的攻击就不再有效了。
[2528.841-2535.307] SPEAKER_02: 差分隐私是一种加噪机制，通过它你 保证无法确定数据集中是否有某人。 这个数据集。
[2535.607-2548.296] SPEAKER_00: 没错。 在这个案例中，差分隐私做的就是 在训练中加入扰动。 大家都知道，有... 有... 有... 训练时，我们学习模型，做梯度更新。 权重更新什么的。
[2548.376-2556.015] SPEAKER_00: 其实呢，差分隐私... 这里，差分隐私算法会加噪声，再加 训练过程中，加各种扰动。
[2556.315-2558.683] SPEAKER_02: 训练过程的某些方面。
[2558.983-2567.818] SPEAKER_00: 对。 那最后训练出来的学习... 学到的模型是差分... 差分隐私的。 所以它可以... 能增强隐私保护。
[2568.118-2580.705] SPEAKER_02: 所以可以的。 这就是隐私的攻防。 你还说到了数据所有权。 所以这个... 这个观点很有趣，我们好像能免费使用很多在线服务。 免费使用，因为很多公司本质上靠广告赚钱。
[2580.785-2589.480] SPEAKER_02: 这说明广告效果特别好。 因为公司能访问我们的个人数据。 所以他们知道该给我们投哪些广告，做定向广告之类的。 那你能说说这个吗？
[2589.560-2603.401] SPEAKER_02: 你有一些未来的精美画作，从哲学上讲，未来人们—— 通过拥有并理解自己的数据，就能更好地控制它。 理解数据的价值，并用更...的方式变现。 以更... 以更... 以更...
[2603.481-2606.673] SPEAKER_02: 用更明确的方式，而不是现在这么隐晦。
[2606.973-2614.461] SPEAKER_00: 是的。 我觉得这话题很吸引人，也很复杂。 对。 自然有个问题：谁该拥有数据？ 我打个比方。
[2614.541-2620.845] SPEAKER_00: 比如有形财产，像你的房子。 所以真的... 是的。 所以产权概念，并不是一开始就清楚的。
[2620.925-2632.256] SPEAKER_00: 这么清晰的财产所有权，还有执行机制。 事实上，人们已证明，产权的建立和执行 一直是经济的主要驱动力。 嗯
[2632.336-2638.419] SPEAKER_00: 嗯 嗯 嗯 之前说到经济。 这一点在早期大大推动了经济增长。
[2638.719-2643.989] SPEAKER_02: 所以看美国发展史，或者说文明史， 产权，就是你拥有财产——
[2644.289-2655.481] SPEAKER_00: 对。 然后有执行。 有—— 法律的执行。 制度性权利，像政府、执行，一直是关键 驱动因素…… 经济增长。 还有研究指出，对很多发展中国家来说，
[2655.561-2662.109] SPEAKER_00: 它们增长的问题其实不是缺少 资本。 更多是缺产权概念和执行 权利。
[2662.409-2669.096] SPEAKER_02: 有趣。 而且，财产权的概念，存在与否，以及执行， 跟经济增长密切相关。
[2669.396-2669.895] SPEAKER_00: 对。
[2670.195-2674.897] SPEAKER_02: 对。 所以，你认为财产所有权概念也能这么看，在 数据所有权上。
[2675.197-2685.529] SPEAKER_00: 我觉得这是一个…… 首先，这提醒我们，这些权利和 财产权的认可和执行很重要。 这再次说明，这些权利以及它们的 执行对经济增长很关键。
[2685.609-2693.236] SPEAKER_00: 再看看现在和未来，其实 越来越多东西在进入数字世界。 甚至，一个人的信息和资产，越来越多地
[2693.316-2700.479] SPEAKER_00: 进入物理世界和数字世界。 嗯哼。 个人生成的数据，就像过去，什么定义一个人？
[2700.559-2713.518] SPEAKER_00: 可以说，除了天生能力，其实就是 物理属性。 房子、车子。 对。 那就定义了一个人。 是的。 但我觉得越来越多的人开始意识到，定义一个人的其实是
[2713.598-2722.479] SPEAKER_00: 越来越取决于这个人产生的数据或关于他的数据。 对。 比如你的政治观点、音乐品味、财务信息， 还有你的健康。
[2722.559-2725.484] SPEAKER_00: 所以定义一个人，越来越靠数字世界。
[2725.784-2733.167] SPEAKER_02: 目前这些数据被拥有，人们不谈论，但某种程度上它 被互联网公司所有。 所以并不属于个人。
[2733.467-2746.136] SPEAKER_00: 对。 所以这是数据所有权的明确概念。 我们也讨论隐私，但我认为明确识别 所有权是第一步。 一旦确定了所有权，就可以说由谁来定义数据如何 被使用。
[2746.216-2756.293] SPEAKER_00: 所以有些用户接受互联网公司服务，对，使用他们的 数据怎么用，本身都不是问题。 对。 是的。 用户同意的方式才被允许，这很有趣。
[2756.373-2767.588] SPEAKER_00: 比如推荐系统不算广告， 但推荐系统同样推荐东西给你。 用户喜欢好的推荐系统，推荐更好。 音乐、电影、新闻，甚至研究论文。
[2767.668-2776.433] SPEAKER_00: 当然，定向环境中有很多方式。 对。 而定向广告中，人们可能被这些 定向广告操纵，造成严重不良后果。
[2776.513-2786.416] SPEAKER_00: 用户希望数据更好服务自己，甚至可能 在不同环境获得报酬或其它。 但问题是谁来决定，谁 能够决定。 数据怎么用。
[2786.496-2799.641] SPEAKER_00: 通常明确所有权有助于解决。 这是重要一步。 用户是所有者，就有权定义数据怎么用。 就被用了。 但你要是这么说，用户才是数据的所有者，不管谁。
[2799.721-2804.608] SPEAKER_00: 收集数据的人就是所有者，当然可以用这些数据。 想怎么用就怎么用。
[2804.908-2805.476] SPEAKER_02: 对。
[2805.776-2816.468] SPEAKER_00: 对。 对。 对。 对。 对。 那得从根本原因开始。 所以很明显，首先得说清楚谁是数据所有者。 然后所有者可以指定怎么用这些数据。
[2816.768-2827.974] SPEAKER_02: 所以我觉得有趣，多数人没想到。 我认为值得深思，也可能值得争取。 从经济增长看，这很可能是个有力的论点。 所以至少我第一次开始思考这个问题。 对。
[2828.054-2834.602] SPEAKER_02: 思考所有权的好处，就是经济长期增长。 对每个人都有好处，但可能有个缺点，我看到有点...
[2834.682-2843.923] SPEAKER_02: 我那个暴脾气老爷爷帽子，在脸书、油管、推特上很火。 全部免费，但要是让人们掌控数据，他们可能不愿意放手？
[2844.003-2853.743] SPEAKER_02: 所以很多依赖数据转移来提供免费服务的公司会受影响。 那些靠大规模数据交换提供免费服务的公司，得彻底改革。
[2853.823-2861.729] SPEAKER_02: 互联网的面貌会完全改变，因为数据所有权的问题。 数据所有权会让我们失去很多服务价值。你担心这点吗？
[2862.029-2877.217] SPEAKER_00: 这是个非常好的问题。 我觉得不一定。用户确实可以拥有自己的数据所有权。 他们能控制数据，同时决定数据怎么被使用。 像之前说的，如果他们享受社交网络的好处，也不介意脸书用他们的数据。
[2877.297-2890.105] SPEAKER_00: 但得按某种方式利用。如果服务是免费的，他们照样能享受。 但对于其他人，也许更倾向于隐私，那就选择付费。 像订阅付费一样，避免被推销广告。
[2890.185-2896.048] SPEAKER_00: 用户本质上是有选择的。 我们只是想揭示谁来决定怎么处理数据。
[2896.128-2906.309] SPEAKER_00: 我觉得这想法有意思。因为现在问人们，似乎很多人不信任脸书。 至少说“我不信任脸书”很流行，对吧？我想知道。
[2906.609-2919.057] SPEAKER_02: 数据. 这是一个有趣的想法，因为现在问人们，主观上感觉很多人不信任。 我不知道，但从传闻看，似乎很多人不信任脸书。 所以至少说“我不信任脸书”很流行，对吧？我想知道。
[2919.137-2929.597] SPEAKER_02: 要是让人们控制自己的数据，而不是 要是他们公开说不信任Facebook，会怎么表达？ 比如他们愿不愿意每月付十美元给Facebook，还是
[2929.677-2939.800] SPEAKER_02: 他们会交出数据？看看多少人愿意，这很有趣。 悄悄把数据给Facebook换免费服务，对此我没什么直觉 比如，有多少人？你估计多少人会用自己数据？
[2939.880-2943.072] SPEAKER_02: 在互联网市场，用数据购买服务
[2943.372-2946.878] SPEAKER_00: 嗯，对，好问题。还有一点我想提
[2946.958-2952.507] SPEAKER_00: 没错，尤其在媒体和对话中一直 很像两方在互相争斗，嗯
[2952.587-2954.142] SPEAKER_00: 比如，这个……
[2954.222-2961.803] SPEAKER_00: 在双方。所以我的希望，也是今年的希望，就是 我们希望建立更建设性的对话，帮大家理解
[2961.883-2971.321] SPEAKER_00: 问题远非两方争斗那么简单。因为本来就有 双方存在紧张关系，即在效用和隐私之间。所以如果你想
[2971.401-2981.838] SPEAKER_00: 更多效用，就像我之前说的推荐系统例子，如果你想 有人给你好推荐，不管什么系统，系统 需要知道你的数据才能给好推荐。但同时
[2981.918-2991.740] SPEAKER_00: 我们也要确保数据妥善处理。并且 以保护隐私方式，这样比如推荐系统不会 到处卖你的数据，搞出很多麻烦。
[2992.040-3000.503] SPEAKER_02: 所以你想让对话更公开更细致，而且 也许加强数据控制和所有权，就不会让它 发生在背后，而是摆到台面上来。
[3000.583-3006.910] SPEAKER_02: 实际上进行更细致真实的对话，讨论我们怎么 拿数据换服务。这才是关键。
[3007.210-3017.833] SPEAKER_00: 对对，宏观上看，也要知道有技术挑战 来解决这个问题，比如你基本不能，像我之前举例那样 平衡这两者真的很难。
[3017.913-3026.399] SPEAKER_00: 在效用和隐私之间。这也是我和团队在研究的事。 实际上开发这些技术，它们有助于实现这种平衡
[3026.479-3033.143] SPEAKER_00: 更好，让数据被安全负责地使用。 所以需要人们理解这些挑战，同时也要 提供……
[3033.223-3039.585] SPEAKER_00: 技术能力和监管框架，帮双方实现双赢 的局面，而不是对抗。
[3039.885-3049.126] SPEAKER_02: 对抗这事，我觉得YouTube、Twitter和Facebook在提供 给世界不可思议的服务。当然它们都犯错，但它们 做得很好，值得称赞。而且还有
[3049.206-3059.028] SPEAKER_02: 一点感激，比如，这很酷，那就是…… 这是人创造的，别一味反对，像Facebook邪恶啥的。 等等，对，我可能犯错，但这服务太惊人了。
[3059.108-3076.989] SPEAKER_02: 它改变了世界，Facebook干了太多不起的事。 它带来身份认同，让人做真实的自己。 在数字世界里的真实自我。 对。 对。 对。 对。 对。 对。 对。 对。 对。 对。 对。 对。 对。 对。 对。 嗯。 嗯。 嗯。 嗯。 嗯。 嗯。 嗯。
[3077.069-3084.615] SPEAKER_02: 嗯。 用真名和真照片打造数字空间。 这一步就像从现实跨入数字世界。
[3084.695-3090.581] SPEAKER_02: 这步巨大，可能定义21世纪。 创建数字身份，有很多积极可能。
[3090.881-3098.264] SPEAKER_00: 当然也有负面，该好好聊聊。 过去几年，大家越来越认识到。 这很有帮助。 用户也发现隐私很重要。
[3098.344-3104.311] SPEAKER_00: 他们应该拥有自己的数据。 这绝对非常有帮助。 这种呼声加上监管，也会。
[3104.391-3109.534] SPEAKER_00: 帮公司把这些事排到优先级。 而且知道保护用户也是他们的责任。
[3109.614-3121.792] SPEAKER_00: 所以我觉得这种声音越来越大，很有帮助。 而且我认为这确实把数据隐私推到了前沿。 数据所有权问题也被带到了前台。 面向更广泛的民众。
[3121.872-3128.396] SPEAKER_00: 我觉得需要更多这样的声音。 但我们更想要建设性对话，大家一起找方案。
[3128.696-3137.182] SPEAKER_02: 另一个有趣又安全重要的领域是各种交易。 也可能是数字货币。 那你能简单聊聊区块链吗？ 能告诉我区块链是什么吗？
[3137.482-3142.903] SPEAKER_00: 我觉得区块链这个词被用滥了。 当然。 总体来说。 就跟人工智能一样。
[3143.203-3143.876] SPEAKER_02: 对。
[3144.176-3154.160] SPEAKER_00: 是的。 所以一般来说，区块链就是去中心化分布式账本。 这种模式。 所以本质上，节点社区聚在一起，互相协作。
[3154.240-3162.262] SPEAKER_00: 可能不太可信，但只要节点里一定数量的行为正常， 系统基本就能达成某些特性。
[3162.342-3170.445] SPEAKER_00: 比如在分布式账本中，你有个不可变的日志， 还能确保交易被一致认可，然后就不变了， 等等。
[3170.745-3174.077] SPEAKER_02: 那先说说，什么是账本？ 它就是个……
[3174.377-3177.082] SPEAKER_00: 像数据库。 像数据条目。
[3177.382-3183.767] SPEAKER_02: 分布式账本就是在多个来源、多个节点之间维护或同步， 多个来源，多个节点。
[3184.067-3185.042] SPEAKER_00: 多个节点。
[3185.342-3195.280] SPEAKER_02: 对。 这个想法从哪来的？ 怎么保持…… 所以保持账本、数据库很重要，要确保…… 那有哪些…… 你在这个场景中要防范哪些安全漏洞，
[3195.360-3197.705] SPEAKER_02: 分布式账本的？
[3198.005-3208.140] SPEAKER_00: 比如，你不希望恶意节点篡改数据。 交易日志。 有些情况叫双重支付，就像网络不同地方出现不同记录， 等等。
[3208.440-3217.797] SPEAKER_02: 所以账本得代表…… 记录金融交易时， 必须精确到时间和事件， 不能重复，所有内容都得…… 准确反映实际发生。
[3217.877-3227.513] SPEAKER_02: 那数字货币的安全和隐私你怎么看？ 很多人写信想采访数字货币领域的人。 大家都很兴奋。 看起来…… 有些外行人觉得像黑魔法。
[3227.593-3237.008] SPEAKER_02: 不知道它多安全…… 我觉得数字货币的基础就是谁都不能信，所以系统必须非常安全。 谈谈你对数字货币的总体看法？它如何实现金融安全？
[3237.088-3247.502] SPEAKER_02: 嗯。 你总体怎么看数字货币？ 它怎样带来财务安全？ 嗯。 以及它怎么实际生成金融交易和存储数据。 在数字空间里。
[3247.802-3258.181] SPEAKER_00: 你问到安全性和隐私。 再说一遍，安全性主要涉及两个关键点。 完整性和保密性。 还有可用性。 你当然希望系统能用。
[3258.261-3266.759] SPEAKER_00: 但针对你的问题，我们只看完整性和保密性。 没错。 对于分布式账本的完整性，我们想确保
[3266.839-3272.504] SPEAKER_00: 各个节点有一致的视图，通常靠 共识协议来建立共享视图，并且
[3272.584-3278.110] SPEAKER_00: 不能回头修改，它是不可变的。 所以安全性指的就是这个完整性。
[3278.190-3282.717] SPEAKER_00: 你问需要多少工作量，如何攻击系统才能 改变锁记录？
[3283.017-3285.722] SPEAKER_02: 嗯。 做这种攻击有多难？
[3286.022-3295.820] SPEAKER_00: 是的。 对，对。 然后这很看共识机制。 系统怎么运作。 系统怎么搭建的。 建去中心化系统有不同方法。 你可能听过工作量证明、权益证明。
[3295.900-3303.144] SPEAKER_00: 不同的机制。 实际看系统构建和网络投入的资源工作。 才能确定它多安全。
[3303.224-3309.028] SPEAKER_00: 比如比特币是工作量证明，很耗电。 不同机制和分布式账本实现有差异。
[3309.328-3317.350] SPEAKER_02: 用于数字货币。 比特币和其他各种，底层机制不同。 而且，哪种更有效、更安全之类的。 有争论。 需要什么。
[3317.430-3321.957] SPEAKER_02: 需要多少资源攻击系统，比如控制多少节点才能改账本。
[3322.257-3330.581] SPEAKER_00: 以及需要的东西。 大概需要多少资源攻击系统，比如。 得控制多少节点才行，对吧？ 要改日志吗？
[3330.881-3338.717] SPEAKER_02: 这些都是…… 你觉得，这些能通过设计理论证明吗？ 还是得靠大量用户经验来验证？ 用这种货币？
[3339.017-3353.079] SPEAKER_00: 懂了。 所以一般来说，每种货币…… 对每种共识机制，理论上可以展示，要攻击系统需要什么。 攻击这个系统。 当然，可能有不同类型的攻击，像我们一开始聊的。
[3353.159-3363.062] SPEAKER_00: 所以很难完全估算，到底需要多少才能破坏系统。 需要多少才能搞垮它。 但一般来说，对吧，可以说明需要多大比例的节点来破坏。
[3363.142-3364.779] SPEAKER_00: 来破坏等等。
[3365.079-3378.955] SPEAKER_02: 我们聊了完整性，在安全方面，然后你提到了隐私或机密性。 隐私或者机密性。 它有没有类似的问题，所以也有相同的解决方案？比如你之前说机器学习里的差分隐私？
[3379.035-3382.483] SPEAKER_02: 机器学习里的差分隐私那些？
[3382.783-3395.765] SPEAKER_00: 是的。 实际上，在公共账本这些公开的去中心化系统里，基本没什么隐私可言。 基本没什么隐私可言。 账本上的每笔交易，谁都能看到。 所以，没保密性可言。
[3395.845-3402.869] SPEAKER_00: 不过通常有别的办法，可以内置进去。 让交易保个密或保护隐私。 嗯。 比如交易和数据啥的。
[3402.949-3406.640] SPEAKER_00: 这也是我和团队、公司正在做的事。
[3406.940-3408.832] SPEAKER_02: 公司叫什么？
[3409.132-3410.629] SPEAKER_00: Oasis Labs。
[3410.929-3420.054] SPEAKER_02: Oasis Labs。 保密性这块呢，虽然交易公开，但你可能想…… 对交易参与者的身份保密吗？ 或者他们想保密什么？ 嗯。
[3420.354-3425.044] SPEAKER_00: 比如，你想搞机密交易，甚至…… 就是有不同类型的数据要保密。
[3425.124-3431.346] SPEAKER_00: 可以用零知识证明、安全计算等技术。 藏起交易双方的身份和金额。
[3431.426-3439.332] SPEAKER_00: 我们还能搞机密智能合约。 这样你看不到合约的数据和执行过程。 其实我们正把这些不同的技术结合起来…
[3439.412-3448.607] SPEAKER_00: 回到之前说的， 比如实现数据所有权和隐私保护这些。 所以我们Oasis Labs在打造一个负责任数据经济的平台。
[3448.687-3457.313] SPEAKER_00: 把这些不同技术实际结合起来， 实现安全又保护隐私的计算， 用账本提供用户不可篡改的记录。
[3457.393-3466.297] SPEAKER_00: 数据的所有权和用户希望的政策， 数据用途必须遵守，以及怎么使用。 这些都构成了分布式安全计算架构，
[3466.377-3470.649] SPEAKER_00: 帮助实现更负责任的数据经济。 所以这是很多因素结合。
[3470.949-3480.190] SPEAKER_02: 对啊，说得太好了。 你做了这么多厉害的工作，我们来不及细聊， 但我至少简单问下程序合成的问题。 哲学意义上，它承载了很多梦想，
[3480.270-3490.463] SPEAKER_02: 关于计算机科学和AI能实现的目标。 首先，什么是程序合成？ 神经网络能不能从数据里学程序？ 那这能学吗？ 合成的某些方面能学吗？
[3490.763-3501.537] SPEAKER_00: 嗯哼。 所以程序合成就是教计算机 写代码、编程。 那是我们的终极梦想之一。 你知道，我记得安德森说过，软件吞噬世界。
[3501.617-3509.639] SPEAKER_00: 所以我说，一旦教会计算机写软件或程序， 那计算机就会通过传递性吞噬世界。
[3509.939-3511.634] SPEAKER_02: 对，没错。
[3511.934-3522.626] SPEAKER_00: 是的，而且对我来说， 当我从安全转向人工智能机器学习时， 程序合成和对抗性机器学习， 是我特别关注的两个领域。
[3522.706-3526.096] SPEAKER_00: 程序合成是我最早研究的问题之一。
[3526.396-3540.725] SPEAKER_02: 只是作为一个问题，从安全角度来看， 你知道，你在找程序里的漏洞。 所以我至少看到了一点联系。 那你为什么对程序合成感兴趣？因为 因为它是个非常迷人、庞大、困难的问题。
[3540.805-3543.219] SPEAKER_02: 为什么是程序合成？
[3543.519-3551.820] SPEAKER_00: 其实原因是我把重心从安全转移了。 转到了人工智能和机器学习。 当时我的一个主要动机
[3551.900-3559.539] SPEAKER_00: 尽管在安全和隐私上做了很多 但我一直对智能机器着迷。 这也是我投入AI机器学习的主要原因
[3559.619-3568.175] SPEAKER_00: 因为我想弄懂怎么造智能机器。 为了实现这个目标 程序合成确实是 我觉得是最值得研究的领域之一。
[3568.255-3574.164] SPEAKER_00: 程序合成就像一个完美的游乐场 用来构建智能机器和通用AI。 对。
[3574.464-3585.600] SPEAKER_02: 从这个角度说，它也是 不仅是游乐场，更是智力的终极测试。 对。 如果你能生成某个神经网络 你就能学到好函数，帮助分类任务。 但能编写程序。
[3585.680-3595.978] SPEAKER_02: 对。 那就是机器的缩影。 就像自然语言通过图灵测试一样， 但针对的是程序。 它能表达复杂想法， 能推理想法，是的， 并归结成算法。
[3596.278-3597.589] SPEAKER_00: 是的，没错。
[3597.889-3603.380] SPEAKER_02: 太不可思议了。 那这能学吗？ 我们进展如何？ 有希望吗？ 还有哪些难题？
[3603.680-3615.675] SPEAKER_00: 对，好问题。 我们还处在早期阶段， 但我觉得进展很大。 我的意思是，确实如此。 你知道，存在性证明， 就像人类能写程序一样。 所以计算机当然也能编程。 对。
[3615.755-3629.004] SPEAKER_00: 所以我觉得这绝对能实现。 只是时间问题。 然后， 就算今天， 其实我们有， 你知道， 程序综合社区， 特别是用机器学习做程序综合， 我们叫它， 神经程序综合社区，
[3629.084-3642.577] SPEAKER_00: 还很小。 但这个圈子一直在发展， 而且我们看到了很多进展。 在有限领域内， 我觉得程序综合其实已经成熟， 可以实际应用了。 所以其实， 这挺了不起的。 我当时在，
[3642.657-3645.803] SPEAKER_00: 在做演讲。 这里是Rework大会。
[3646.103-3649.446] SPEAKER_02: 对，Rework深度学习峰会。
[3649.746-3662.380] SPEAKER_00: 实际上，我 于是我做了另一个演讲。 之前在Rework大会上。 关于深度强化学习。 然后我碰到一家初创公司的人， 那家公司的CEO。 他看到我名字时， 他认出来了。 他其实说，
[3662.460-3677.126] SPEAKER_00: 我们一篇论文，其实， 已经， 他们已经， 实际上成了关键产品。 在他们初创公司里。 那就是程序合成。 在那个案例里， 是自然语言翻译， 翻译自然语言描述。
[3677.206-3679.551] SPEAKER_00: 转成SQL查询。
[3679.851-3682.045] SPEAKER_02: 哦，哇。 那个方向。 好的。
[3682.345-3693.026] SPEAKER_00: 对。 所以， 是的。 程序综合里， 有限领域里， 表述清晰的， 指定领域， 实际上， 我们已经能看到 很显著的进展 和适用性 在现实世界。
[3693.326-3707.318] SPEAKER_02: 所以像这类领域， 我的意思是， 比如说， 你提到了自然语言， 能表达某件事 只用普通语言 然后转成数据库， SQL， SQL查询。 对。 这就是怎么， 那个问题解决得如何？ 因为这问题很难。
[3707.618-3721.889] SPEAKER_00: 再说， 在有限领域里， 其实效果很好。 现在这也是热门研究方向。 当时， 他当时看到我们论文时， 我们是最先进。 是的。 在那项任务上。 从那以后， 现在已有更多成果
[3721.969-3729.573] SPEAKER_00: 还有更复杂的数据集。 所以， 但我觉得不会惊讶。 更多这类技术 真正进入现实世界。 这很让人兴奋。
[3729.873-3737.593] SPEAKER_02: 短期内。 能在程序空间学习 特别让人兴奋。 我还是 对， 我仍然怀疑。 因为这问题很难。 对。 但我很期待进展。
[3737.893-3751.990] SPEAKER_00: 而且， 我觉得 你提到的开放挑战。 对，开放挑战。 这个领域充满挑战。 而且特别是， 我们想知道怎么衡量进展 在这个领域里。 我想说主要是， 三个主要 我叫它们指标。
[3752.070-3769.208] SPEAKER_00: 所以第一是程序复杂度 我们可以合成的。 而且这有明确的衡量标准 只需要看看， 比如说， 过去的出版物。 甚至像， 比如说， 我参加了最近的NeurIPS会议。 现在有相当规模的， 比如专门讨论程序合成的分会， 这样的。
[3769.508-3771.899] SPEAKER_02: 甚至神经程序。
[3772.199-3775.008] SPEAKER_00: 对， 这很棒。 而且我们还在增长。
[3775.308-3777.177] SPEAKER_02: 相当大是啥意思？
[3777.257-3779.729] SPEAKER_02: 我喜欢“相当大”。 五个人。
[3780.029-3783.163] SPEAKER_00: 这仍然是个小社区， 但在成长。
[3783.463-3786.795] SPEAKER_02: 他们终有一天都会拿图灵奖。 我喜欢。
[3787.095-3792.203] SPEAKER_00: 对。 所以能清楚看到增长 在程序复杂性上， 我们能合成的。 抱歉，
[3792.503-3798.447] SPEAKER_02: 是， 程序实际文本的复杂性 还是运行时的复杂性？ 我们说的是哪种复杂性， 如何？
[3798.747-3802.531] SPEAKER_00: 要合成任务的复杂性 还有实际合成的复杂性。 没错，
[3802.831-3803.399] SPEAKER_02: 对。
[3803.699-3806.334] SPEAKER_00: 所以连代码行数， 比方说。
[3806.634-3811.336] SPEAKER_02: 好， 明白。 但这并非理论上限， 不是算法运行时间那种。
[3811.636-3812.286] SPEAKER_00: 对，
[3812.586-3815.720] SPEAKER_02: 对， 对。 我看到复杂度在下滑。 不，
[3816.020-3825.540] SPEAKER_00: 是说我们要能合成 更复杂的程序， 更大的程序。 所以我们希望看到， 我们想提升复杂度。
[3825.840-3832.329] SPEAKER_02: 明白。 所以我得好好想想， 因为这事很复杂， 就像你想完成同样的任务， 用越来越简单的程序。 我明白了，
[3832.629-3836.193] SPEAKER_00: 我明白了。 不， 我们不是那么做的。 好。 更多的是，
[3836.493-3843.911] SPEAKER_02: 关键是任务有多复杂， 对。 我们可以给它合成程序。 能， 合成程序， 为更难的任务学它们。
[3844.211-3861.965] SPEAKER_00: 对。 比如说， 最早我们在程序合成上的第一个工作， 合成就是把自然语言描述翻译。 变成一个很简单的程序，叫ifttt， 如果这个，那就那个。 那么给一个触发条件， 你该怎么做？ 所以那个程序超简单。
[3862.045-3871.820] SPEAKER_00: 你只要找出触发条件和行动。 没错。 后来用SQL查询， 就复杂多了。 然后还有， 我们开始写带循环的程序。 哦，不。 你知道。
[3872.120-3875.533] SPEAKER_02: 如果你能合成递归， 那就全完了。 没错。
[3875.833-3888.606] SPEAKER_00: 实际上， 我们有个工作是学习递归神经程序。 哦，不。 不过总之， 总之 所以这是其中一种复杂性 另一种是泛化 就像训练程序合成器时 这种情况下
[3888.686-3893.550] SPEAKER_00: 用来合成程序的神经程序 那你希望它能泛化
[3893.850-3896.682] SPEAKER_02: 面对大量输入 对
[3896.982-3901.208] SPEAKER_00: 所以能泛化到没见过的新输入
[3901.508-3902.158] SPEAKER_02: 懂了
[3902.458-3910.445] SPEAKER_00: 那么 对 我们早期的一些工作 学递归神经程序表明 递归对学习很重要 如果有递归 对某些任务集
[3910.525-3926.595] SPEAKER_00: 我们能证明可实现完美泛化 那么 对。 所以那篇论文之前在iClear上得了最佳论文奖。 所以，举个例子。 我们希望学习这些能更好泛化的神经程序。 但只适用于某些任务。 某些领域。
[3926.675-3938.589] SPEAKER_00: 问题在于，我们怎么才能开发出 更多技术，让泛化能力覆盖更广领域。 等等。 所以，这是另一个领域。 第三个挑战，我觉得会是 这不仅是程序合成。
[3938.669-3944.915] SPEAKER_00: 也涵盖机器学习其他领域。 尤其是深度强化学习等。 这种适应能力。
[3944.995-3955.118] SPEAKER_00: 我们希望从以往任务和训练中学习。 等等， 以便解决新任务。 举个例子。 在当今的程序合成中， 我们还是这样：给一个任务，
[3955.198-3965.020] SPEAKER_00: 我们训练， 对吧， 让模型解决这个任务。 但人类不是这样工作的。 关键是， 我们训练一个人， 然后你编程让他解决新任务。
[3965.320-3965.935] SPEAKER_02: 对，
[3966.235-3977.148] SPEAKER_00: 没错。 就像深度强化学习里， 我们不只想训练AI玩某个游戏， 不管是雅达利游戏还是围棋什么的。 我们想训练能从过去经验中学习的模型，
[3977.228-3982.777] SPEAKER_00: 来适应新任务， 并解决新任务。 我觉得这对编程合成特别重要。 是的，
[3983.077-3988.998] SPEAKER_02: 这正是重点。 编程合成的梦想就是学一个能解决新问题的工具。
[3989.298-3995.462] SPEAKER_00: 对 没错 对社区来说，这是个特定领域 我们要更重视 希望这方面再进一步
[3995.762-4007.499] SPEAKER_02: 太棒了 还能聊很多 但想问一下，你也有个很有趣的 我们聊了丰富的表征 你的人生经历很丰富 你国内本科，美国硕博 卡内基梅隆和伯克利
[4007.579-4013.918] SPEAKER_02: 有什么有趣的差异 我说过我是俄罗斯人 觉得俄美之间差异很有趣 从傻浪漫情调
[4013.998-4018.142] SPEAKER_02: 从蠢浪漫到实际研究，你觉得哪些有趣
[4018.442-4023.585] SPEAKER_00: 好问题 我觉得 我在中国读本科，20多年前了 所以已经很久了。
[4023.885-4027.809] SPEAKER_02: 你身上还有那个年代的影子吗？ 事情变了很多。
[4028.109-4035.748] SPEAKER_00: 对。 其实挺有意思的。 我的经历跟大多数计算机研究者不太一样。 我本科的时候， 我其实学的是物理。 不错。
[4036.048-4037.522] SPEAKER_02: 特别好。
[4037.822-4040.747] SPEAKER_00: 读研时转到了计算机。 怎么回事？
[4041.047-4046.410] SPEAKER_02: 有没有…… 有没有…… 是不是有另一个， 在另一个宇宙里，你可能成了加州理工的理论物理学家？
[4046.710-4054.790] SPEAKER_00: 很有可能。 我有些大学同学， 他们后来学了物理， 从这些学校拿了物理学博士。 对， 来自顶尖物理项目。 所以，
[4055.090-4068.629] SPEAKER_02: 所以你， 你， 你转到了， 我是说， 如果那， 如果是这样， 为什么转学计算机科学，在最好的大学？ 和卡内基梅隆并列，全球顶尖计算机科学大学。 尤其是研究生院。
[4068.709-4073.202] SPEAKER_02: 那是什么？ 仅次于麻省理工， 开玩笑的。 好的。
[4073.282-4083.185] SPEAKER_02: 我插一句。 不。 什么， 那个选择怎么样？搬到美国呢？ 那段过渡是怎么回事？ 如果你还记得， 如果你心里还有中国人的精神回响， 在纽约。
[4083.485-4084.959] SPEAKER_00: 对， 对， 是的。
[4085.259-4088.451] SPEAKER_02: 这算是三个问题一起问了。 是的，
[4088.751-4106.725] SPEAKER_00: 我知道。 抱歉。 不， 不， 没关系。 所以， 嗯， 我想， 好吧， 首先是从物理转到计算机科学。 是的。 我第一次到美国时， 在康奈尔读物理博士。 对。 待了一年，转学计算机，继续读博。 对。 对。 卡内基梅隆大学。 所以， 好吧，
[4106.805-4126.405] SPEAKER_00: 转专业的原因。 有件事， 这也是我提的原因， 背景差异， 学物理的经历。 对。 先说本科阶段。 其实我真的， 很享受本科和学物理的时光。 这确实帮了我未来的工作。 在， 在呢 嗯，在 对的，在 还在 有的，在 就在那儿 没错，在 嗯，在的 在啊
[4126.485-4138.222] SPEAKER_00: 哦，在 一直在这 是在的 嗯，在呢 就在这 在的 对，在的 确实在 嗯，还在 在着呢 好，在 在 在 在 在 在 在 在
[4138.522-4139.868] SPEAKER_02: 在 在
[4140.168-4140.783] SPEAKER_00: 在
[4141.083-4143.811] SPEAKER_02: 在 在 在
[4144.111-4151.529] SPEAKER_00: 在 在 在 在 在 在 在 嗯 嗯 嗯 嗯 其实我觉得，物理学就是大自然的语言。
[4151.609-4159.271] SPEAKER_00: 我还清楚记得，有一次，在我 本科在清华读书时，常常 在图书馆学习。我记得，有一天，
[4159.351-4171.962] SPEAKER_00: 我坐在图书馆里，正在我的 笔记上写字。我特别兴奋，因为我意识到 只要几个简单公理和定律，我就能 推导出很多东西。几乎就像能推导出整个 世界。
[4172.262-4174.967] SPEAKER_02: 是啊，宇宙的其他部分。
[4175.267-4177.112] SPEAKER_00: 对对，太神奇了。
[4177.412-4183.333] SPEAKER_02: 你有没有想过，或者你觉得你能 在计算机科学里重新发现那种力量和美 在世界上吗？
[4183.633-4189.054] SPEAKER_00: 这很有趣，这就涉及到 从物理学到计算机科学的转变。
[4189.134-4197.411] SPEAKER_00: 这差别挺大的。研究生院的物理， 其实情况变了。第一，我开始意识到 我刚开始做物理研究时，那时我
[4197.491-4212.772] SPEAKER_00: 做理论物理。而且很多，你还是有 美感，但很不同。所以我实际上得 做很多模拟。所以实际上我 对的。 对的。 所以其实我是对的。 所以实际上我才是对的。 有时写4chan代码。
[4213.072-4215.243] SPEAKER_02: 那个老4chan，是的。
[4215.543-4221.185] SPEAKER_00: 实际上，对，做模拟等等。 那不是，不完全是那种— 不美。 对的。
[4221.265-4222.878] SPEAKER_00: 我喜欢做。
[4222.958-4231.700] SPEAKER_00: 而且当时跟高年级学生聊天， 你知道，项目里的学生， 我发现很多学生其实在离开。 喜欢华尔街之类的。
[4231.780-4237.364] SPEAKER_00: 所以我一直对计算机科学感兴趣。 C语言基本是自学的。 程序。 对，差不多。
[4237.664-4239.440] SPEAKER_02: 什么时候？
[4239.740-4242.712] SPEAKER_00: 大学时。 大学里？哪儿？ 暑假。
[4243.012-4246.878] SPEAKER_02: 物理专业，学着玩的，做—— 对，其实—— C语言编程。 真棒。
[4247.178-4256.802] SPEAKER_00: 其实挺有意思的，在物理系， 现在课程可能改了， 但当时唯一的课程， 跟计算机教育有关的， 就是，我忘了，《计算机科学导论》，
[4256.882-4259.912] SPEAKER_00: 或者叫《计算与4chan 77》。
[4260.212-4262.603] SPEAKER_02: 好多人还在用4chan呢。
[4262.683-4274.446] SPEAKER_02: 其实啊，你是个程序员的话， 我在找一个人—— 懂4chan的专家来聊聊。 虽然这种人不多， 但用4chan的还是挺多的。 用Cobalt的也不少。 挺有意思的。
[4274.746-4288.854] SPEAKER_00: 然后我忽然意识到， 与其光编程搞模拟， 不如直接转学计算机科学。 还有一件事我特别喜欢的， 这也是两者最大区别。 就是计算机科学里，实现想法容易多了。 有想法，写下来，
[4288.934-4293.821] SPEAKER_00: 再编码实现，就能看到实际效果。 跑起来就能看到。 很快就能成真。
[4294.121-4295.711] SPEAKER_02: 让它活起来。
[4296.011-4308.575] SPEAKER_00: 但在物理学里，你有个好理论， 可是在物理中，好理论嘛， 你得等实验者。 做实验来验证理论。 事情总是更费时。 我选理论物理，是因为 我做过实验物理。
[4308.655-4313.101] SPEAKER_00: 头一天就得修设备。 对，对。 大部分时间先修设备。 所以
[4313.401-4319.345] SPEAKER_02: 设备很贵。 所以要和很多人合作。 需要很久。 确实需要很长， 更长时间。
[4319.645-4334.055] SPEAKER_00: 很乱。 所以我转学计算机。 可能大家没意识到， 对刚学物理的人来说， 有件事大家可能还没意识到， 是给刚学物理的人的。 其实物理学家很容易转行 去做别的事 对 我觉得物理训练特别好
[4334.135-4344.375] SPEAKER_00: 嗯，转计算机科学挺容易的 不过，回到之前的问题，我发现一件事 计算机和物理差别很大，物理里你可以
[4344.455-4350.225] SPEAKER_00: 用几条简单定律推导宇宙，但计算机 很多东西是人定义的，系统也是人工的
[4350.305-4358.269] SPEAKER_00: 本质上你创造了很多人工制品 不一样 你不能靠几条定律推演出计算机系统 你得明白，系统设计成这样有历史原因
[4358.349-4361.158] SPEAKER_00: 而不是另一种方式 就是这样
[4361.458-4369.294] SPEAKER_02: 复杂得多，没有E=mc²那种优雅简洁 把一切简化成那些美丽的基本方程 那从中国搬到美国呢
[4369.374-4373.878] SPEAKER_02: 你身上还有对工作有帮助的东西吗 因为你在另一种文化长大
[4374.178-4386.333] SPEAKER_00: 对，特别是那时候，跟现在完全不一样。 所以现在他们…… 是的。 其实我看到那些中国学生，本科生，他们讲 英语特别流利。 太让人惊讶了。
[4386.413-4389.605] SPEAKER_00: 而且他们对美国文化了解很多。 而且——
[4389.905-4392.691] SPEAKER_02: 对你来说，所有东西都很陌生。 那是——
[4392.991-4407.680] SPEAKER_00: 那是个完全不同的时代。 那时候，我们连电子邮件都不太能用。 对。 是的。 是的。 是的。 是的。 是的。 更别提网络了。 是的。 记得用邮件得去专门的调查室。 对。 对。 所以那时我们对西方了解少很多。
[4407.760-4413.948] SPEAKER_00: 其实当时我不知道美国西海岸天气比东海岸好很多。 比东海岸好多了。
[4414.248-4415.304] SPEAKER_02: 嗯。
[4415.604-4426.935] SPEAKER_00: 嗯。 嗯。 嗯。 其实就是这类事。 挺有意思的。 对。 但现在完全不一样了。 当时文化差异更大，分享信息机会少很多。 分享信息的机会少很多。
[4427.015-4429.406] SPEAKER_00: 所以那是个完全不同的时代。
[4429.706-4439.446] SPEAKER_02: 那我问个可能有点敏感的问题。 不确定，但咱俩处境类似，我也在这待了 二十年了。 多年来，我看俄罗斯，你关注中国，有些方面，
[4439.526-4454.946] SPEAKER_02: 那地方很远，变化很大。但有些方面，你仍有 回响，你还了解那地方。问题是，中国在AI方面做了很多 了不起的工作。你看到乐观图景吗？美中在AI发展上合作共成长，
[4455.026-4464.940] SPEAKER_02: 你知道吗，政府角色上价值观不同，比如道德、 透明安全的系统。美国和中国看待这点略有不同， 但我们还在努力解决。你看到两国能成功
[4465.020-4472.183] SPEAKER_02: 合作，健康共事，而不是争斗成AI军备竞赛 那种局面？是的，我相信会。科学没有国界。
[4472.483-4477.231] SPEAKER_00: 技术进步造福全人类。我当然希望 两国会合作。我确实相信。
[4477.311-4480.399] SPEAKER_00: 除了乐观，你有什么理由相信？
[4480.699-4484.983] SPEAKER_02: 所以首先，再说一次，科学无国界。尤其是在
[4485.283-4487.279] SPEAKER_00: 科学不知道国界？
[4487.579-4493.848] SPEAKER_02: 对。 而你相信这会…… 嗯，你知道，冷战时的苏联。 所以……对。这是另一点。
[4494.148-4506.956] SPEAKER_00: 尤其在学术研究中，一切都公开。写论文，开源。 尤其在学术研究中，一切都公开。比如写论文、开源代码。 代码全部属于公共领域。无论你在美国，
[4507.036-4512.086] SPEAKER_00: 在中国或世界其他地方，都可访问档案库看最新 研究成果。
[4512.386-4515.660] SPEAKER_02: 开放给你带来希望。 是的。 我也是。
[4515.960-4519.373] SPEAKER_00: 这也是世界取得进步的最好方式。
[4519.673-4529.715] SPEAKER_02: 抱歉问题有点感性，你生命中最 哪个转折点让你爱上计算机科学？ 你提到物理。还记得你曾以为自己能推导出整个 宇宙？
[4529.795-4535.785] SPEAKER_02: 是的。 有没有一个时刻，你爱上了工作，从安全到机器 再到程序综合？
[4536.085-4540.113] SPEAKER_00: 所以，大学时有个夏天我自学了C语言。
[4540.413-4541.028] SPEAKER_02: 是的。
[4541.328-4543.777] SPEAKER_00: 你只是读了一本书，然后就……
[4544.077-4547.629] SPEAKER_02: 别告诉我你是因为C语言爱上计算机的。
[4547.929-4557.983] SPEAKER_00: 我说过，计算机科学吸引我的是能轻松做很多事。 是的。 读完那本书，我就开始学C语言编程，你的意思是… 我做了什么？
[4558.063-4560.013] SPEAKER_00: 我编了两个游戏。
[4560.093-4570.135] SPEAKER_00: 一个很简单，像棋盘游戏。 可以移动石头什么的。 另一个，我做了个3D俄罗斯方块。 结果超级难玩。 因为不是标准的2D版。
[4570.215-4578.516] SPEAKER_00: 实际上是3D的。 但我想，你知道吗？ 想到就试着去做。 是啊，你就能做到。 那时我才发现，太神奇了。
[4578.816-4581.242] SPEAKER_02: 对，你可以自己创造。 对对对。
[4581.542-4583.074] SPEAKER_00: 带来想法。
[4583.374-4586.706] SPEAKER_02: 没错。 从无到有， 变成真实存在的东西。
[4587.006-4590.175] SPEAKER_00: 对，而且用你自己的双手。
[4590.475-4598.358] SPEAKER_02: 我提个傻问题， 或者是个终极问题。 生命的意义是什么？ 什么赋予你意义、目的、 满足、幸福和喜悦？
[4598.658-4600.387] SPEAKER_00: 其实这是两个问题。
[4600.687-4602.335] SPEAKER_02: 很不一样，对。
[4602.635-4606.884] SPEAKER_00: 你问这个真有意思。 这个问题可能一直 伴着我，贯穿我一生。
[4607.184-4611.247] SPEAKER_02: 你有没有发现什么， 能让自己满意的答案？
[4611.327-4620.986] SPEAKER_02: 你得出什么结论了吗？ 你知道吗，有次 我和一些面对 癌症诊断的人聊过， 或面对死亡的人， 这改变了他们的看法。 这就像个催化剂，
[4621.066-4633.665] SPEAKER_02: 帮他们剔除杂念。 他们做的事其实没那么重要。 说白了，实际上， 就是那少数几件真正赋予我意义的事。 死亡在这方面是个很强的催化剂。 确实如此。
[4633.745-4640.304] SPEAKER_02: 面对死亡，无论是父母离世， 还是亲近的人走了， 还是自己面临死亡， 或者癌症之类的。
[4640.604-4644.098] SPEAKER_00: 对，就我自己来说， 我不需要面对死亡，
[4644.178-4657.450] SPEAKER_00: 试着去问那个问题。 对。 而且我觉得有几点， 第一，谁该定义 你生命的意义，对吧？ 是否存在比你更伟大的事物 来定义你生命的意义？ 比如，人们说寻找
[4657.530-4672.486] SPEAKER_00: 生命的意义是什么，是否存在 外部的声音，还是别的什么？ 有人在你之外告诉你， 人们说的， 他们生命的意义， 他们就说，嗯，不知道， 不知道，不知道。 我不知道。 他们说，哦，你知道，
[4672.566-4677.337] SPEAKER_00: 这就是你生来要做的。 对，对。 就像，这是你的命运。
[4677.417-4690.446] SPEAKER_00: 那么谁，对，这是个问题， 谁有权定义你生命的意义？ 你应该找别的东西吗， 让其他因素来定义它， 还是实际上， 完全由你自己定义， 而且可能很随意。
[4690.746-4702.567] SPEAKER_02: 是啊。 所以是内在的声音还是外在的？ 不管是精神还是宗教上的， 跟上帝，或者环境里的其他因素 在你之外，或者只是你自己的声音。 你那里有答案吗？
[4702.867-4716.998] SPEAKER_00: 好，这个我有答案。 对。 而且，你知道，很长一段时间 思考和搜索，甚至外部搜索， 对吧，外部的因素， 我之外的因素。 对。 所以我有，而且得出了结论
[4717.078-4720.862] SPEAKER_00: 并意识到是你自己 定义了生命的意义。
[4721.162-4723.333] SPEAKER_02: 对，但那是个很大的负担，对吧？
[4723.633-4728.276] SPEAKER_00: 我的意思是，既是也不是，对吧？ 那你就自由定义它。
[4728.576-4729.144] SPEAKER_02: 对。
[4729.444-4735.225] SPEAKER_00: 还有，另一个问题是， 生命的意义到底是什么？ 对，还得看问题本身有没有意义。
[4735.525-4748.159] SPEAKER_02: 确实，你说它不知怎么跟幸福不一样。 所以意义要深刻得多， 而不只是某一种情绪， 任何满足、快乐之类的， 它可能要深刻得多。 然后你得问，什么比那更深刻？ 到底还有什么呢？
[4748.239-4751.524] SPEAKER_02: 然后这个问题就开始， 变得有点可笑。
[4751.824-4766.548] SPEAKER_00: 对，你也可以说它更深刻， 但也可以说它更浅薄， 取决于人们怎么定义 他们生命的意义。 比如，大多数人甚至不会想 这个问题， 那生命的意义对他们来说， 就没那么重要了。 而且，知道生命的意义，
[4766.628-4773.234] SPEAKER_00: 能不能真让生活变好。 或者它能不能让你的生活更快乐？ 但这些其实常常是问题，对吧？
[4773.534-4788.141] SPEAKER_02: 当然，大多数问题都没标准答案。 我觉得吧，光是提出这个问题， 就像你一直做的那样， 就是唯一的，因为没有答案。 而提出这个问题本身就是很好的练习。 我的意思是，就我个人来说， 我一直觉得，创作这件事，
[4788.221-4795.001] SPEAKER_02: 对我来说一直很有满足感。 而且好像我的意义就是创作。 我也不确定那是什么。 比如我单身，没孩子。
[4795.081-4802.522] SPEAKER_02: 我很想要孩子，但这有点可怕。 但我也看到一种，你说的程序。 我把程序看作小创作。 把机器人也看作小创作。
[4802.602-4818.208] SPEAKER_02: 我认为这些带来，然后想法， 定理也是创作。 而这些在某种意义上是内在的，就像你说的。 带给我快乐。 而且我觉得对很多人，至少科学家来说，确实是这样。 但我觉得对很多人也是如此。 所以对我来说，如果非要 非回答不可，
[4818.288-4820.877] SPEAKER_02: 我会说创造新事物——对，你自己。
[4821.177-4823.649] SPEAKER_00: 为你。 为我，为我，为我。
[4823.949-4827.838] SPEAKER_02: 我不知道，但像你说的，一直在变。 有没有一个答案是……
[4828.138-4838.319] SPEAKER_00: 而有些人，他们可以 我想他们可能会说是体验，对吧？ 就像他们生命的意义， 他们只想体验 尽可能丰富充实。 而很多人确实选了那条路。
[4838.619-4847.454] SPEAKER_02: 对，把生命看作一系列时刻的集合， 然后试图创造尽可能丰富的组合， 用丰富的体验填满那些时刻。
[4847.754-4858.446] SPEAKER_00: 是的。 对。 我觉得，当然， 我们确实有很多相似之处。 比如，创造对我也很重要。 甚至从我之前说的来看， 比如写论文， 这些都是创造。
[4858.526-4870.159] SPEAKER_00: 我还没完全想明白， 这是不是我人生的意义。 某种意义上， 我觉得也许就是， 你应该创造什么？ 有太多东西可以创造。 另外，另一种观点是成长，
[4870.239-4881.396] SPEAKER_00: 和经历有关，但又不同。 成长也可能是人生的一种意义。 就是每天努力成长， 每天努力成为更好的自己。 最终，我们在这里，
[4881.476-4885.760] SPEAKER_00: 是整体进化的一部分，对吧。 世界在变。
[4886.060-4894.163] SPEAKER_02: 而且挺有趣的，增长难道不好吗？ 好像更重要的事 比你成长的目标？ 重要的不是目标，而是过程。 就像提交论文那会儿，
[4894.243-4905.855] SPEAKER_02: 有点失落感， 不是交论文本身，而是项目结束了。 当然有感激和庆祝， 各种庆祝， 但你通常马上找下一件事。 对，或者下一步。 结束本身不带来满足，
[4905.935-4922.911] SPEAKER_02: 而是经历的艰辛和挑战， 是在过程中成长。 这深植在我们内心， 就是那种曾经的驱动力， 驱动进化的力量，就在我们心里， 伴随我们看世界的方式。 既然你在想这些， 所以你还在找答案。
[4923.211-4928.412] SPEAKER_00: 我的意思是，对也不对。 某种意义上，真正花时间的人。
[4928.492-4933.461] SPEAKER_00: 去找答案、问这个问题的人。 生命的意义是什么？ 它不一定带来幸福。
[4933.761-4934.434] SPEAKER_02: 对。
[4934.734-4946.393] SPEAKER_00: 这算是个问题，对吧？ 比如它是不是个明确的问题。 而且从另一方面， 既然自己能回答，就能做到。 但另一方面，既然你能自己回答。 你可以自己定义它。
[4946.473-4950.780] SPEAKER_00: 那当然，我就能给它个答案。 所以说，它会有帮助。
[4950.860-4961.567] SPEAKER_00: 就像我们讨论过的，对吧？ 如果你说，我生命的意义就是创造。 或者成长，那会有帮助。 但你怎么知道那就是生命的意义？ 或者你生命的意义呢？ 它…
[4961.647-4963.040] SPEAKER_00: 你根本答不上来。
[4963.340-4972.523] SPEAKER_02: 当然。 但那种确定感，有点让人解脱。 某种意义上，它可能只是幻觉。 你可能其实并不知道。 你可能只是在自欺欺人。 但确信那就是意义。
[4972.603-4986.816] SPEAKER_02: 这其中有让人解脱的东西。 知道这是使命，就会有种自由。 所以你可以全心投入，不必—— 你知道，有段时间，我想， 难道不都是相对的吗？ 比如，我们怎么知道什么是善、什么是恶？
[4986.896-4994.732] SPEAKER_02: 难道不都是相对的吗？ 比如，意义问题说到底就是为什么要做任何事。 为什么有些事有好坏？ 为什么有些事有价值什么的？
[4995.032-4996.947] SPEAKER_00: 对对，正是这样。
[4997.247-5003.667] SPEAKER_02: 那一刻，然后就像你说的，我觉得这是个很有用的问题。 喜欢，但别问太久太逼人。
[5003.967-5005.940] SPEAKER_00: 可能效果没那么好。
[5006.240-5010.024] SPEAKER_02: 对成功和幸福都没用。 问人生意义，像是个陷阱。
[5010.104-5019.008] SPEAKER_02: 我们注定会追问。 注定仰望星空，问那无解的为什么。 但我们该这么做。 别迷失在里面。 这大概是我学到的教训。
[5019.308-5023.731] SPEAKER_00: 哦，我再补充一句。 挺有意思的。 嗯，有时能帮你集中。
[5023.811-5027.758] SPEAKER_00: 当时从安全转向AI，原因之一是。
[5027.838-5031.065] SPEAKER_00: 那时觉得人生意义就是造智能机器。
[5031.365-5036.194] SPEAKER_02: 内心告诉你走对了，你成了世界级研究者。 真的。 走上了那条路。
[5036.274-5038.387] SPEAKER_02: 是的，这很深刻。
[5038.467-5045.850] SPEAKER_02: 这很深刻。 聊人生意义结束对话，再好不过了。 Dawn，能跟你聊天非常荣幸。 非常感谢你今天和我聊。
[5046.150-5047.299] SPEAKER_00: 谢谢。 谢谢。
[5047.599-5055.284] SPEAKER_02: 谢谢收听和Dawn的对话，也感谢赞助商Cash App。 请下载Cash App，用代码LexPodcast支持我们。
[5055.364-5061.389] SPEAKER_02: 喜欢本播客？请YouTube订阅，Apple Podcasts五星，Patreon支持，或Twitter找我。
[5061.469-5068.214] SPEAKER_02: 最后，用沃兹尼亚克关于黑客的话结尾。 很多黑客就是逗你玩，让你做奇怪的事。
[5068.514-5070.209] SPEAKER_01: 谢谢收听，下次见。
[5070.509-5072.018] SPEAKER_02: 谢谢收听。