Anna 计划出售她的公寓。她于 2024 年 8 月搬出，想知道在 2026 年 10 月还是 2027 年 1 月完成交易在税务上更有利。
一个 AI 代理审查了两种选择，并正确得出结论：无论哪个日期，都能满足一项税收减免的居住要求，该减免可排除高达 250,000 美元的收益。
但它遗漏了一个重要的截止日期。
根据通常规则，房主必须在出售前五年内至少居住满两年，才有资格享受该排除。由于 Anna 于 2024 年 8 月搬出，她将在 2027 年 8 月底左右不再满足该要求。如果她的出售延迟到 2027 年 8 月之后，她可能会失去资格。
在五次尝试中，Astra 从未识别出该截止日期。Opus 在全部五次尝试中都识别出了它。
该代理正确评估了提议的日期，但其建议让 Anna 未意识到一个可能影响重大财务决策的截止日期。税务顾问应当识别出重大后果问题，即使客户不知道要询问这些问题。
这正是我们通过 DAYJOB: Tax 测试的那种专业判断，它是 Surge AI 的 DAYJOB 基准测试系列 的最新成员。
推出 DAYJOB: Tax
DAYJOB 评估 AI 代理在专业税务任务上的表现，这些任务需要专业知识、复杂材料以及初始指令中未完全指定的决策。我们之前的发布涵盖了医疗保健和金融。DAYJOB: Tax 将这项工作扩展到税务准备、合规和咨询服务。
该基准测试包含八个税务实践领域的 50 个环境。代理接收客户请求和支持记录，然后生成纳税申报表、工作底稿、技术审查或客户建议。
这些任务在税务知识、计算、检索和指令遵循之外，还测试专业判断。代理必须决定哪些事项值得调查、解决相互矛盾的证据、识别信息不足的情况，并将这些决策带入最终工作。
结果：排行榜和帕累托前沿
Claude Sonnet 5.5 以 10.8% 的通过率领先 DAYJOB: Tax 排行榜，其次是 Claude Fable 5.1 的 9.6% 和 Claude Opus 5.5 的 9.2%。
我们报告在 95% 评分标准阈值下的 pass@1。一次尝试通过，当它满足任务标准的至少 95%，这些标准评估计算、支持证据、重大后果问题和完成的交付物。
性能与成本对比
我们还比较了模型性能与每次试验的平均成本。
Claude Sonnet 5.5 和 Opus 5.5 占据了所测帕累托前沿的高性能端。
专业税务工作的广度
DAYJOB: Tax 涵盖八个领域，每个领域需要不同的规则、记录和专业知识：
- 个人和家庭税务
- 小企业税务
- 合伙企业
- 财产和投资
- 遗产、赠与和信托
- 国际税务
- 公司交易
- 税务审查和争议
一些任务需要完整的申报包及支持工作底稿。其他任务要求代理调查交易、审查之前的申报，或就客户尚未做出的决策准备建议。
任务里面有什么？
该基准测试包含 1,789 个工作区文件，每个任务中位数为 30 个，最多达 123 个。这些包括 1,487 个 PDF、117 个 Excel 工作簿、38 个 Word 文档，以及额外的电子邮件、图像、CSV、JSON 记录和文本文件。
工作区包括已申报和草稿纳税申报表、K-1、W-2、IRS 通知、总账、工资记录、合同和信件。它们还包含税务专业人员经常处理的标准化程度较低的证据。
一个任务包括一张为转售购买的商品的手写收据照片。代理必须阅读物品描述和金额，将其与支出记录核对，并确定这些购买如何影响库存和销售成本。
另一个任务涉及一家工业筒仓服务公司，其客户假设它只在阿拉巴马州运营。但其现场调度日志显示工作人员在五个州工作。工作地点、工作人员规模和现场天数提供了与公司多州税务义务相关的证据。
其他环境同样多样。一个涉及跨境家庭，其波兰就业和财产记录必须与加密货币交易所导出、钱包历史和历史购买批次进行核对。
由税务专家创建和审查
DAYJOB 任务始于现实世界的专业工作流程。税务专家将这些情况转化为现实的任务，开发支持记录、预期结果和评分标准。每个任务都经过三层专家审查，以确保正确性、完整性和可解性。
税务专家带来公司税务、合伙企业、个人申报、信托和多州合规方面的经验。他们的背景包括：
- 公司和私募股权税务：一位在 PwC、Deloitte 和 Exxon 拥有超过 10 年经验的税务律师，涵盖税务规划、合规、审计和争议。
- 合伙企业和公司税务：一位 Baker Tilly 税务总监，在 PwC、Moss Adams 和 Windes 拥有经验，专长于复杂的合伙企业分配、合并公司申报、REITs 和高净值客户。
- 房地产和个人税务：一位在 Deloitte 和 EY 拥有经验的税务专业人员，专长于房地产合伙企业、个人税务和信托。
基于未经验证假设的退休计划
一对正在分手的夫妇询问 AI agent 如何分割他们的 Roth IRA 和 401(k)。Opus 5.5 告诉他们，他们在法律上并未结婚，并建议将账户分开保留，同时通过一笔现金支付来平衡余额。
它在一条回复中开头写道：
你们在法律上并未结婚，因此在不触发税款和罚款的情况下，两个账户都不能分割。
但这对夫妇自己的记录对这一结论提出了疑问。尽管他们现在住在佛罗里达州——该州一般不承认新的事实婚姻——但他们此前曾一起住在德克萨斯州，并在科罗拉多州举行了仪式。德克萨斯州在特定条件下承认非正式婚姻，而在其他地方有效缔结的婚姻在佛罗里达州可能仍然有效。
这一区别可能会改变分割其退休账户的税务后果。
在全部五次尝试中，Opus 都围绕这对夫妇未婚的假设来提出建议，即使它承认存在不确定性。Astra 在五次尝试中有四次认识到需要核实他们的婚姻状况。其中一条回复建议：
我们首先需要确认你们的法定婚姻状况。
客户询问如何分割账户。agent 需要在建议行动方案之前确定他们是否已婚。本应促使这一调查的证据已经在档案中。
DAYJOB: Tax 的定位
大多数现有的税务基准测试都从一个已定义的问题开始：一个需要回答的法律问题、一份需要计算的申报表，或需要收集的缺失纳税人信息。这些评估衡量的是重要能力，但税务专业人员的许多工作在于弄清楚问题究竟是什么。客户提供的指示不完整，记录中包含相互矛盾的证据，而具有重大后果的问题可能根本不会出现在最初的请求中。
DAYJOB 测试 agent 能否承担这种端到端的责任，包括识别客户忽视的问题、评估相互矛盾的证据，以及首先决定需要做什么。
TaxBench
模型能回答一个困难的税务问题吗？
TaxBench 评估跨多个专业领域的 114 个税务问题，每个问题都有已定义的问题和评分标准。
DAYJOB 还会追问客户是否问对了问题。Anna 想比较出售其公寓的两个日期。两者都满足税收豁免的居住要求，但当该资格可能到期时，agent 会警告她吗？
TaxCalcBench
模型能计算出一份准确的申报表吗？
TaxCalcBench 使用真实的税务文件和纳税人场景，对照预期申报值评估纳税申报表的准确性。
DAYJOB 还会追问底层记录是否真的支持该税务处理。一家工作室的账簿引用了一张所附收据，但该收据缺失。agent 会标记缺失的证据，还是错误地将该报销视为已核实？
TaxLab
agent 能收集缺失信息并正确申报吗？
TaxLab 测试 agent 能否询问模拟纳税人、获取缺失信息并完成一份联邦个人所得税申报表。
DAYJOB 将这一责任扩展到更广泛的税务专业领域。交付成果可能是合伙企业亏损分析、遗产申报表、对有争议税务立场的审查，或一份策略信函。
核心区别在于 agent 还保留多少责任。DAYJOB 评估 agent 能否发现具有重大后果的问题、运用专业判断，并将其发现贯彻到完成的申报、审查或建议中。
DAYJOB: Tax 衡量什么
DAYJOB 测试 AI agent 能否从头到尾负责一项专业任务。这意味着要处理杂乱的记录、识别客户从未提出的问题、在信息不完整的情况下做出合理判断，并交付符合专业标准的工作。
结果表明，这对前沿模型来说仍然多么困难。即使 agent 能够执行各个步骤，运用专业判断并可靠地执行现实世界的税务工作流程仍然遥不可及。
agent 尚未通过审计。
包含我们评估的每个模型的完整排行榜位于 DAYJOB: Tax 基准测试页面。
如需了解更多信息或申请访问完整基准测试，请联系 benchmarks@surgehq.ai。