我认为你几乎永远不应该用AI来写作——也就是说，不应该用AI来做你在页面上打字时所做的那件事——无论是写博客文章、研究报告、备忘录、深思熟虑的电子邮件、小说，还是任何其他旨在传达想法、论点、分析或其他实质性1思考的文本。我认为即使你给AI非常详细的要点、口述的想法或其他背景信息，甚至在你编辑AI写的文本时，情况也是如此。2
我这样认为是因为：(1) 写作过程是思考过程的重要组成部分，(2) AI写作含糊不清，且以难以察觉的方式出错，(3) 用AI写作（且不标明）是粗鲁且误导的。我将在下面更详细地解释这些观点，但首先，先澄清几点。
你可能知道，我并不反AI。我认为在研究和写作过程的许多其他部分使用AI非常合理，例如转录音频、分析数据、搜索信息、头脑风暴以及对草稿提供反馈。我也认为使用AI进行行文和文字编辑，或者重写一段文字使其更清晰或更紧凑，是可以的，只要所有编辑都由人类有意地接受或拒绝。我只是反对用AI来写文本。3
是的，用AI写作有各种优势。例如，它比你自己写更省力，而且快得多。因此，用AI写作的缺点必须足够严重，才能从整体上判定它是不好的。你可能已经猜到了，我认为这些缺点是严重的。
最后，我只是针对现在存在的以及我预计在不久的将来会存在的AI模型提出主张。未来某个时候可能会出现足够好的模型，以至于将写作委托给它们是合理的（尽管到那时，将整个研究或写作过程端到端地委托可能更合理，因为除了写作，它们还需要完成全部或大部分的思考）。
写作过程就是思考过程
进行任何类型研究的目的是对重要问题形成准确的信念，然后你可以将这些信念传达给受众。在我看来，做到这一点的最佳方式之一就是通过写作。
写关于某件事，即使是你熟悉的事，通常也会让你发现你并不像自己以为的那样了解它。把想法变成文字是一项严峻的考验。[...] 最终出现在文章中的想法，有一半会是你在写作过程中想到的。事实上，这正是我写作的原因。
在帕特里克·麦肯齐的一集播客中，克拉拉·科利尔说
当我写一些东西，一些实质性的东西时，写作过程中没有任何一个部分是我没有在思考和改变主意的。从大纲到将其转化为文本，再到仅仅一个句子。我经常会有这样的经历：我试图把大纲变成成品，我在琢磨一个过渡，但它不奏效，然后我意识到，哦，这个过渡不奏效的原因实际上是这两个点不应该并列。我在这里试图做的事情是错误的。如果我把大纲输入给一个LLM，它不会停下来考虑也许这个大纲是糟糕的。[...]
Patrick回复：
我完全同意写作过程就是思考过程，而且我认为我们现在有了经验性的证明，因为你制造了一台机器，它进行写作，而思考只是
作为副作用突然出现。但是，当写一篇多页的文章时，即使你有一个强有力的论点，强迫自己把它写成句子和段落来构建论证的过程会向你展示论证中的漏洞在哪里。它会向你展示你的研究过程在哪里不够充分。它会浮现出这样的事情：哦，实际上，有一些东西与我想说的东西相矛盾。而且，作为一个相当有道德的人，我想我会承认存在反论点，或者不得不补充说，完全可主张的结论比那个我，引号，引号，“想要写的”结论要少。
我基本上同意这些观点。当我写东西时，我必须首先知道我想说什么，即，我必须思考证据和论点并得出一些信念。所以写作迫使我做这些事情，这些对任何写作或研究项目都是必要的。对于任何这样的项目，必须有人把整个东西放在脑子里——所有的证据片段、考虑、论点，以及这些如何组合在一起。用AI写作使得更容易避免必要的思考。
AI写作模糊不清，且以难以察觉的方式出错
当我写东西时，我会对具体的措辞和表达做很多小的决定。这些小的决定共同促成了文本的整体清晰度和正确性。
例如，如果我要求Claude Fable 5“写一个简短的段落，介绍AI芯片走私问题”，这是一个已经被写过并广泛报道的话题，它输出：
自2022年10月起，美国限制向中国出口先进人工智能芯片，旨在减缓中国在人工智能前沿领域的进展。但出口管制的效力取决于其执行力度，而人工智能芯片体积小、价值极高，并通过遍布全球的供应链销售——这些特性使其既具有走私的吸引力，又使走私变得可行。转运网络通过新加坡、马来西亚和阿联酋等地的中间商，利用空壳公司和伪造文件，将受管制的GPU转入中国。对其规模的估计差异很大，从每年数万枚到可能超过十万枚高端芯片不等，而即便是较低端的估计，也代表着足以对训练和部署有能力的人工智能系统产生影响的算力。与此同时，负责监管这一价值数千亿美元贸易的工业与安全局，其预算和人员编制更适合应对规模远小于此的问题。因此，芯片走私有可能悄然掏空美国人工智能政策的核心支柱之一。
这不算糟糕，甚至可能相当合理，但这是我会写的方式吗？不，事实上，Claude做出了许多我认为微妙地错误或糟糕的选择：
Claude写道“出口管制的效力取决于其执行力度”，但这意味着什么？它要么说的是显而易见的事（当然，未被执行或执行不力的政策效果较差），要么什么也没说。
5Claude写道人工智能芯片“体积小”，这没错，但通常被走私的是人工智能服务器，而它们体积并不小。无论如何，更重要的是，这并不重要，因为人工智能芯片走私很少涉及藏匿产品以通过海关；通常，这些产品只是被重新标注为其他种类的商品，然后可以说是明目张胆地运输。
Claude写道，通过“遍布全球的供应链销售”使人工智能芯片“既具有走私的吸引力，又使走私变得可行”。这意味着什么？是说走私者可以更容易地从美国以外的公司购买芯片？（直到最近，走私者似乎能够相对轻松地从总部位于美国的公司获取人工智能芯片。）是说这使得走私者在马来西亚等国大量购买人工智能芯片时不那么引人注目？（我认为这更接近事实。）还是别的什么？
Claude写道，对走私规模的估计“差异很大，从每年数万枚到可能超过十万枚高端芯片不等”。这字面上是真的，但较低的估计几乎肯定是错误的，真实数字可能更接近Claude提到的较高端，即数十万枚。
6所以这是误导性的。此外，Claude没有指定年份，但自2022年10月以来走私量波动很大，Claude也没有说明什么是“高端”芯片（听起来像是一种手工制作、专供沙特王室和孀居公爵夫人的奢侈品）。Claude写道“即便是较低端的估计，也代表着足以对训练和部署有能力的人工智能系统产生影响的算力”。这句话没有信息价值。在某种意义上，单枚人工智能芯片对训练和部署人工智能系统就“有影响”，无论是否有能力。（而且，什么是“有能力的人工智能系统”？为什么少量算力对……更重要？
有能力的AI系统，而不是无能的AI系统？如果你仔细想想，你可能会认为情况恰恰相反，较弱的AI系统会从少量计算中获益更多。）Claude写道，工业与安全局（BIS）"负责监管数千亿美元的贸易"。在这里，最好直接提及
这个数字。Claude写道，BIS"运作的预算和人员编制更适合一个小得多的问题"。首先，我们知道BIS的
预算和人员编制，所以最好提及这些数字并加以说明。其次，一个问题"更小"是什么意思？是指它不那么重要，还是指解决它需要更少的努力，还是别的什么？重要的事情难道不是BIS获得更多资源可能会大幅改善执法，而不是BIS目前的资源量更适合其他某个问题吗？Claude的最后一句话，即AI芯片走私"因此有可能悄然掏空美国AI政策的核心支柱之一"，纯粹是毫无信息量的
一篇文章中出现一两个这样的问题可能无关紧要，但根据我的经验，AI写作中充斥着大量不必要的模糊和微妙错误的措辞。请注意，当你给AI提供大量上下文（如书面笔记和大纲）时，这个问题同样存在。7
同样，Eric Schwitzgebel 写道：
人类专家思考的方式
不同且优于LLM。他们的用词选择，即使是微妙的，也反映了他们自己可能并未意识到的敏感性。通常，专家的文字对所擅长的领域比语言模型的输出更为敏感。[...]你可能会这样反驳：当然，我在发送前会阅读LLM的输出，除非我认可每一个字，否则我不会发送邮件，更不会提交文章！所以，反驳继续，你
确实思考了所表达的思想。文本反映了你作为专家的最佳判断——甚至可能比你的专家最佳判断更好：你的专家最佳判断与LLM的专业知识相结合。我回应：在阅读时点头同意与
真正富有成效地生成文本之间存在着巨大的认知差异。有两个原因：第一，一旦文本落在页面上，人们很容易被动地满足于近似的词语，而不是像从头生成文字时那样以同样费力、主动的方式思考用词。第二，正如我上面所暗示的，我怀疑人类，即使是专家，也未必能很好地感知所有影响用词选择的因素——他们所敏感的一切。你可能会用稍微不同的方式表达，即使你不知道这一点，或者不知道为什么，但不同的信号会被发送和接收。
我同意这一点。但实际上情况比这还要糟糕得多！人工智能不仅会写出不必要地含糊且微妙错误的文本，而且它们这样做的方式几乎具有最大程度的说服力！如果人工智能并不确切“知道”你要求它写的内容，它通常不会停下来告诉你它不知道；相反，它会写一些足够含糊和无意义以至于可能是真的内容，或者一些听起来是真的但实际上不是，或者不一定是真的内容。人类当然也经常犯错和含糊其辞，但我认为我们犯错和含糊的方式往往不那么有说服力，也更容易被注意到。
阅读人工智能写的文本并像我之前对人工智能芯片走私文本那样发现所有小问题需要付出很多努力。如果我对人工智能芯片走私了解不多，我可能不会发现我列出的大部分问题，除非我非常仔细地思考文本。但如果是我自己写的文本，我就不可能不注意到自己困惑的地方。
用人工智能写作（且不标明）是粗鲁且误导的
有时我写一篇文章，是打算让别人读的。例如，我可能想在网上发布，或分享给同事征求意见，或作为电子邮件发送，或发送给出版商。当我发布或分享一篇文章时，读它的人可能期望我对所写内容有所思考，特别是文本代表了我的想法。或者至少他们应该这样期望，而我也希望他们这样。这是读者和作者之间的隐含契约，读者付出注意力，作者用有价值的东西回报，比如信息或娱乐。
在帕特里克·麦肯齐播客的同一集中，克拉拉·科利尔也说：
也许我在这里太讲究了，但大语言模型能产生的我的写作版本总是会缺少一些我能添加的东西。这再次不是因为——有很多领域模型比我懂得多。但任何人都可以随时向克劳德询问任何事情。
如果他们正在读我写的东西，或者作为编辑我选择放在他们面前的东西，那是因为有一个隐含契约。我提供给他们的是他们无法从其他地方得到的东西。这比直接问模型更能有效利用他们的时间。这就是为什么我不会直接使用大语言模型生成的文本——或者如果我用了，我会希望在你们花时间之前非常清楚地说明你们将面对什么。
我上面写的所有关于微妙错误和含糊的内容，以及所有关于当文本是人工智能写的时，你不知道作者是否投入了大量思考的内容——所有这些都违反了那个契约。所以当我读到一篇文章并注意到它完全或部分由人工智能写成时，我对文本和作者的信任立即降低，我认为这是理性的。
基于以上种种原因，当你推广AI撰写的文本，或将AI撰写的草稿发送给他人时，我认为你这样做是失礼的。我觉得这有点像把一份写得极其潦草的草稿发给别人，却隐瞒了它其实非常潦草的事实。除非你清楚地标注出AI撰写的输出，否则你就是在误导读者，他们原本期待你的文本是你的文本，经过深思熟虑，具体代表你的信念。
当然，你可以通过将文本标注为AI撰写，或实质上是AI撰写，来避开失礼和误导的问题。不过，我怀疑大多数人并不想这么做。
就没有例外吗？
问题：如果明确标注，我难道不能在文本中包含AI撰写的输出吗？答案：可以，这在我看来基本没问题。例如，有时我可能对某事做浅显的调查，依赖Claude提供一条信息，然后我可能会这样写：“Claude Fable 5告诉我，某某情况属实。”8 当花大量时间核实那个特定说法并不合理时，这种做法可能有用。重要的是，输出被清楚地标记为AI撰写，这样读者可以根据自己的判断来对其打折扣（或不打折扣）。
问题：那么我就可以对整篇文本都这么做，不是吗？答案：我认为用AI来写整篇实质性文本几乎从来都不是好主意，即使标注了也是如此，至少如果你打算让其他人阅读的话。这是因为，第一，结果很可能比你亲自写的要差得多；第二，如果你标注为AI撰写，人们（理所当然地）不会读你的文本。我认为，即使唯一会读这些文本的人是你自己，用AI来写文本也往往是个错误，因为这样做你就失去了上文前两节所概述的好处。
问题：作为一个英语写作有困难的非英语母语者，我可以用AI来用英语写作吗？答案：有时有人提出这是可以接受的，包括不披露的情况下。基于上述所有理由，我不同意。我认为用AI翻译用母语写成的文本是可以接受的，但即便如此，我认为最好还是披露这一点。总的来说，我的感觉是，AI在翻译时比在比如根据要点笔记起草时更能保持清晰和精确。
问题：如果事关重大，使用AI来加速必要的写作，比如说撰写与AI相关的政策备忘录，非常重要且有价值，那该怎么办？答案：我不认为使用AI来写作实际上能让我快多少？或者说，我认为在实践中，它加快速度的方式是以牺牲质量为代价的，而我认为你不应该在边际上牺牲质量。例如，华盛顿已经淹没在几乎没人读的报告和议题简报中；稀缺的、真正能帮助决策者的，是关于重要主题的更准确、更深思熟虑的分析。
我认为在某些情况下，使用 AI 来撰写主要起协调或后勤功能的短文是可以的。例如，如果你在公司工作中需要反复撰写简短、非常公式化的邮件，那么用 AI 起草并稍作编辑后再发送，似乎是可以接受的。
这里可能有一两个例外。例如，如果你自己极其仔细地审查并大量编辑 AI 写的文本，那可能没问题。但也可能不行，而且无论如何，这样做似乎并不比从头自己写容易或快多少。我认为在实践中，这种写作方式加快流程的方式是以牺牲质量为代价的。
我支持使用 AI 进行头脑风暴和分析，而这两者也都涉及费力的思考，这是否矛盾？我不确定，但我认为只要你也把自己的信念通过写作付诸文字考验，用 AI 做这些事大概没问题。
他后来在一篇专门关于 AI 的文章中重新讨论了这个论点。
这个短语还有其他一些解释方式，不过我认为它们是错的。例如，你可以把“出口管制只取决于执行力度”理解为，如果我们能以某种方式量化一个整体出口管制制度有多好，并量化其执行有多好，那么除非执行变好，否则该制度就无法再变得更好。但我认为这不对，因为可能总有其他改进出口制度的方法，例如调整出口政策。
好吧，这部分是我的错，因为我在2023年10月低估了未来 AI 芯片走私的规模，这可能已经进入了 Fable 的训练数据。我认为我在那份报告中很多地方是对的，包括对 AI 芯片走私的机制描述和我的政策建议，但对问题规模的预测可能差了一个数量级。记住，当时我们只能依据一篇微不足道的路透社报道，关于深圳小规模黑市活动。
例如，我有时用 Claude 总结会议记录以便与同事分享。即使我使用精心编写的提示，其中包含几个我自己写的会议要点示例，并且 Claude 可以访问完整的会议记录，它仍然会引入微妙的模糊和错误。（顺便说一句，这些错误中有相当多似乎是 Claude 不太理解要点是给谁的，以及他们能预期知道什么和不知道什么，尽管我试图提供这些背景。）
作为加分项，提及是哪个具体模型产生了输出似乎也不错。