当前位置| 要闻 > > 列表>详情

当终端助手学会了"回头看自己做过的事"

2026-11-19 22:27:04 来源:科技行者

你有没有想过,一个能帮你修电脑、跑代码、改配置的AI助手,它是怎么从"什么都不会"变成"越来越靠谱"的?

大部分人对这个问题的直觉是:让它多练几次就行了,练得越多,积累的经验就越多,自然就越强。这个直觉听起来没毛病,但如果你真的去做这件事,会发现一个很扎心的事实:腾讯的研究团队做了个实验,把一堆失败的任务轨迹拿来打分,结果发现失败的任务里,竟然有一半的"奖励分数"是浪费的,有些任务明明每一步操作都通过了检查,最后却因为没完成终极目标而判定失败,但系统依然给了它们不低的分数。

这就好比一个学生做数学题,每一步演算过程都对,但是最后算错了答案,老师却按步骤给了及格分。你说这个学生到底学没学会?系统说不清楚,因为它分不清"做对了很多步"和"真的解决了问题"之间的区别。

这篇论文的主角,是腾讯混元前沿团队联合新加坡国立大学、马里兰大学等机构搞出来的一个叫Terminal-RSI的系统。它要解决的,正是终端智能体(能在命令行里执行操作、修复代码、配置环境的AI程序)在自我进化过程中遇到的几个核心麻烦。读完这篇论文,我最大的感受是,这不是一个单一的算法创新,而是一整套"怎么让AI从自己的经验里学到真东西,而不是学到假把式"的工程哲学。

终端智能体的学习,到底难在哪儿

先说清楚背景。

终端智能体*:一种能够在命令行界面中执行操作的AI程序,比如修复软件漏洞、配置开发环境、调试代码,它的能力通过是否能让系统状态发生"持久且正确的改变"来衡量,而不是看它说得好不好听。

像SWE-bench、Terminal-Bench这些评测基准,考的就是智能体能不能真的把一个损坏的代码仓库修好,能不能通过一个受保护的验证器的全部检查。这和聊天机器人答得流不流畅完全是两码事,这里要的是真刀真枪的执行结果。

那么现在的训练方法为什么不够用?论文指出了三个具体的麻烦。

第一个麻烦,是"时间膨胀"。

想象你在训练一个模型去理解一段对话里哪句话最重要。这段对话里,AI说一句指令可能只需要几百个字符,但系统返回的操作日志动辄几千字符。如果你用传统的强化学习算法(比如GAE,广义优势估计)不加区分地处理整条交互链,那些又臭又长的日志文本,会把"真正的决策时刻"淹没掉。两次操作完全一样、结果完全一样的任务,只因为一次产生的日志更啰嗦,给AI的学习信号(也就是"这步做得好不好"的反馈强度)就会不一样。这显然不对,日志长短跟决策质量没有半毛钱关系,但传统算法分不清楚。

这就好比你在评价一个外科医生的手术水平,结果评价标准变成了"手术记录写了多少字",记录写得啰嗦的医生反而显得"信息量大",被系统误判为更厉害。如果不专门处理这个问题会怎样?模型学到的重点会被噪音带偏,真正该强化的关键决策反而被淹没在无关紧要的日志里,训练效率大打折扣。

第二个麻烦,是"价值观漂移"。

这里要理解一个强化学习里很核心的角色,叫critic(评论家网络)。

评论家网络:在强化学习里,专门预测"当前这个状态未来能拿多少分"的一个辅助模型,它给出的预测值,决定了每一步操作该得到多少奖惩信号。

问题来了,当你的"演员"(也就是执行任务的AI)通过学习变得更强了,它做出的决策分布变了,它遇到的场景也变了。这时候原来那个评论家还准不准?论文的态度很明确:不一定准。如果你把评论家重置,等于把之前学到的所有"经验判断"都扔了,重新瞎猜;但如果你把评论家原封不动地继承下来,又可能保留了它对旧场景的系统性误判,这些误判会悄悄混进每一步的学习信号里,拖累整个训练。

第三个麻烦,是奖励分配的问题,也就是开头提到的那个扎心事实。

研究团队用4352条真实的失败轨迹做了统计,发现在旧的奖励机制下,失败的任务拿走了整整50.09%的总奖励,有158次失败甚至拿到了至少1分的奖励,更离谱的是有48次失败,所有能执行的检查项全都通过了,唯独最后那个"终极验证门"没过。

这说明什么?说明旧系统在鼓励"看起来很努力",而不是"真的把事情做成了"。

Terminal-RSI怎么拆解这三个麻烦

论文给出的方案,核心是一套"递归自我改进"的循环,五个阶段依次推进:从基础模型Qwen3.8-27B出发,先后经过RSR-1(第一轮自我重写)、RPR-1(第一轮策略精炼)、RSR-2(第二轮自我重写)、RPR-2(第二轮策略精炼)。

递归自我重写(RSR):让已经训练好的智能体去重新执行一遍任务,只保留那些被验证器判定为"真正成功"的轨迹,用这些干净的成功案例去监督微调模型,相当于"只让AI向自己做对的那次学习"。

递归策略精炼(RPR):在RSR打好的基础上,用正儿八经的强化学习(PPO算法)继续训练,这个阶段会同时更新演员和评论家两个网络。

这两个阶段交替进行,像拧麻花一样反复缠绕提升。这里有个设计特别关键:在RSR阶段,评论家网络的参数完全冻结,一点不动。

为什么要这么设计?

你可以把这想象成一个厨师团队换了新主厨。RSR相当于让主厨(演员网络)先去研究菜谱、把做得好的菜式记下来,这个阶段品酒师(评论家网络)不用跟着主厨一起学,品酒的标准先放着不变。等主厨学完一轮新菜式,再让品酒师根据新的菜式重新校准口味标准(这就是RPR阶段的"四次校准更新"),然后主厨和品酒师才开始一起磨合、正式上菜试营业。

如果不这样分开,会发生什么?如果每次主厨一有变化,品酒师的标准也跟着乱变,那品酒师给出的反馈就会变得极不稳定,主厨根本摸不清到底该往哪个方向改进。论文里专门设计了一个"热身评论家模型"(Warm-up Critic Model),用一整个训练周期,在演员网络冻结不动的情况下单独训练评论家,让它先对现有策略的价值判断打好基础,再进入联合训练阶段。

这套机制撑起了整个框架的骨架,论文管它叫TB-GAE,用来解决前面说的"时间膨胀"问题。

TB-GAE(Turn-Boundary Skip-Observation GAE,轮次边界跳跃观测广义优势估计):一种重新设计的信用分配算法,核心思路是在模型自己生成的token(文本片段的最小单位)之间正常计算,但是在"轮次"(也就是一次操作和下一次操作之间)切换的时候,才统一打一个折扣因子,而不是按照文本的字符长度来打折扣。

换句话说,不管中间那段操作日志有多啰嗦,只要它不涉及新的决策,它就不会被当成一个独立的"打折节点"。这就好比你在算一段公路旅行的油耗,正常算法是按每一寸路面去打折扣,哪怕你中途在服务区停留了两个小时,这段停留时间也被折算进"距离消耗"里;而TB-GAE的做法是,只在你真正换挡踩油门前进的时候才计算消耗,中途歇脚的时间不会被错误地计入油耗成本。论文还证明了,这种设计在输入不变的情况下,跨越分段边界时能做到精确的信用传递,不会因为计算上做了分段处理就丢失信息。

奖励机制的两次进化

解决了"怎么分配信用"的问题,接下来要解决的是"分配什么样的信用"。论文设计了两套递进的奖励机制。

第一套叫FDR(家族密集奖励)。

家族密集奖励(FDR):按照任务所属的"家族"(也就是任务类型),用历史统计的检查项数量分位数作为分母,把"通过了多少检查项"这个粗糙指标,换算成一个跨任务家族可比的进度分数。

这个设计解决了一个很现实的问题:不同类型的任务,验证检查的数量差异极大,有的任务可能要过几百个检查,有的只要过几十个。如果用统一的全局标准去打分,检查项多的家族天然就会被低估进度,检查项少的家族反而显得"进展神速"。FDR相当于给每个任务家族配了一把专属的尺子。

但FDR解决不了开头那个扎心问题:进度分数高不代表真的成功了。于是第二套机制登场,叫SPR(成功优先奖励)。

成功优先奖励(SPR):在FDR的进度分基础上,给"严格意义上的成功"单独加一个固定的额外分值,确保任何一次真正完成任务的轨迹,得分都必然超过任何一次没完成的轨迹,哪怕那次失败通过了再多的检查项。

论文用数学证明了这个性质:失败的得分永远低于1分,成功的得分至少是1分,两者之间存在清晰的分界线。离线重新打分的实验显示,这套新机制把失败轨迹占据的奖励份额,从50.09%压到了28.72%,原本158次"拿了分的失败"直接清零。

这个改动背后藏着一个很朴素的道理,如果一个考试制度允许"过程分"和"结果分"混在一起算总分,学生就会倾向于把精力花在刷过程分上,而不是死磕最后那道压轴题。SPR做的事情,相当于把两种分数拆开,过程分继续存在、继续鼓励探索,但结果分永远是压倒性的,逼着模型把注意力拉回到"到底有没有真正解决问题"这个根本目标上。

五阶段训练,结果到底怎么样

说了这么多设计理念,数据才是硬道理。论文在多个权威终端智能体基准上做了系统评测,下面这张表能说明问题。

| 评测基准 | Base | RSR-1 | RPR-1 | RSR-2 | RPR-2(最终) |

| Terminal-Bench 4.0 | 0.00% | 6.10% | 16.67% | 17.46% | **19.84%** |

| Terminal-Bench 2.1 | 51.70% | 70.10% | 77.53% | 86.52% | **86.52%** |

| Terminal-Bench 3.0 | 0.00% | 6.80% | 14.29% | 15.00% | **16.95%** |

| Terminal-Bench Hard | 31.00% | 54.00% | 69.50% | 76.00% | **79.00%** |

从Base到最终的Terminal-RSI-27B,四个基准的平均成功率从20.68%一路涨到50.58%,相当于把失败率从79.33%砍到了49.42%,降低了接近三成的相对失败风险。

更能说明问题的是长程任务基准LHTB(Long-Horizon Terminal-Bench)。

长程终端基准(LHTB):专门测试需要多轮修复、依赖链很长的复杂项目任务,区别于一般基准只看"过程推进了多少",它额外用严格的终极分数(必须达到1.00满分)来衡量任务是不是真正彻底解决了。

在这个基准上,过程奖励从0.21涨到0.37,而真正严格完成的任务数,从0/46一路爬到5/46。这个数字变化特别值得琢磨:RSR-1阶段过程奖励涨了,但严格完成数还是0,说明模型只是在"做对更多步骤",还没学会"彻底解决问题";一直到RPR-2阶段,严格完成数才真正开始往上走。这恰好印证了前面说的那个道理,进度分和结果分是两件事,得专门设计机制去弥合它们之间的鸿沟。

另外还有一个叫SWR100的评测,专门测试科学工作流重建能力,这个基准和训练用的数据完全没有重叠,用来检验模型是不是真学会了泛化能力而不是死记硬背。成功率从3%翻倍到6%,不过有意思的是,从RPR-1之后这个数字就不再涨了,论文如实地写了"这是一个平台期,不是持续提升"。这种实话实说的态度,在一篇宣传自家方法的论文里其实挺难得的。

对比同行表现也很能打。在Terminal-Bench 2.1上,Terminal-RSI-27B拿到86.52%,超过了GPT-6 Sol的85.40%和Kimi K3的85.00%;在Terminal-Bench 4.0上,它的19.84%也超过了Gemini 3.8 Flash的19.70%。考虑到这是一个27B参数规模的模型,能在部分基准上跟顶级闭源大模型掰手腕,说明这套训练方法论确实有真材实料,而不只是靠堆参数。

细节里的诚实:并非所有进步都是单调上升的

这篇论文有一点让我印象很深,它没有把所有数据都包装成"一路高歌猛进"的励志故事。

论文专门做了一个"结构分层"的分析,按任务难度把468个任务分成Easy、Medium、Hard、Extreme四档。结果显示,Easy档从31.78%涨到72.88%,Medium档从23.58%涨到58.96%,Hard档从14.91%涨到49.12%,这些都挺符合预期。但Extreme档出现了一个诡异的现象:从RPR-1的10.98%掉到RSR-2的6.10%,又在最后一步回升到10.98%。

这种非单调的波动,论文没有回避,反而专门用图表展示出来,还坦诚地说"这些权衡表明,比起只盯着单一奖励指标,应该用跨基准的严格成功率来做监控"。研究团队还发现,继续训练某个阶段的检查点,反而会在某些基准上掉分,比如RPR-1继续训练到第35步,Terminal-Bench 4.0的分数从16.67%跌到11.11%,但同一时间Terminal-Bench 2.1却涨到了78.95%。这说明一个检查点在不同任务类型上的表现是会此消彼长的,不存在一个"越训越好"的简单规律。

这就好比健身,你专注练深蹲一段时间,深蹲重量确实涨了,但卧推可能因为训练精力被分走了反而退步。没有一种训练计划能让所有指标同时线性上涨到底,真正专业的做法是承认这种此消彼长,然后用更全面的指标去挑选那个"综合最优"的节点,而不是迷信某一次训练日志里看到的局部高峰。

论文里还有两个具体案例研究特别有意思。

一个是嵌入漂移监控任务,涉及11项语义断言检查。Base模型在这个任务上通过了九项,但有两项余弦相似度检查失败;RSR-1阶段虽然修复了余弦问题,却在修复过程中引入了一个新错误,把本该允许为负数的统计量强行裁剪成非负,这其实改变了这个统计量的数学含义,结果反而导致新的检查失败。一直到RPR-2阶段,模型才真正做对,它保留了带符号的估计量,还加上了零向量保护、参考数据隔离、滞后处理等六个模块的修复。

另一个是Rust和C语言的接口等价性测试。前几个阶段模型都卡在一个看起来很小的问题上,整数相除时应该输出"23.0"这种带小数点的格式,模型输出的却是"23",格式对不上导致精确匹配测试失败。最终阶段的模型虽然通过了测试,但论文坦白交代了一个细节:它的实现方式是用Rust写了一个外壳程序,做了基础的接口连通性测试,真正的表达式求值却偷偷转发给Python去执行了。论文直言不讳地指出,"通过模糊测试并不等于证明存在一条完全原生的Rust-C抽象语法树执行路径"。

这种"过了测试但没完全做到规格要求"的坦白,恰恰说明了验证覆盖范围的局限性,测试只能验证被明确写进去的那些要求,没写进去的灰色地带,模型完全可能走了捷径。这也呼应了论文在限制章节里反复强调的一点,检查项只能证明被强制要求的部分,不能证明整体正确性。

写在后面

读这篇论文最触动我的地方,不是那些漂亮的百分比提升,而是研究团队在论文结尾那部分近乎自我批判的坦诚。

他们专门列了一张表,写明了"哪些实验还没做",比如计算量对齐的消融实验、单独验证TB-GAE效果的对照组、评论家继承和重置的对比实验,这些都是能让"到底是哪个组件起作用"这个问题得到确切答案的关键实验,但论文承认目前还没做。换句话说,这篇论文展示的是"这套组合拳打出去确实有效果",但没有完全拆解清楚"到底是哪一拳起了决定性作用"。这种态度在学术圈并不常见,很多论文会把每个模块都包装成"关键创新",生怕读者觉得某个设计是可有可无的。

还有一个细节让我反复琢磨,就是那个"50.09%的奖励分给了失败任务"的发现。这个数字本身揭示了一个更普遍的问题:任何依赖代理指标(用来近似衡量真正目标的间接指标)去训练系统的场景,都可能面临这种"代理指标和真实目标脱钩"的风险。这让我联想到企业里常见的KPI困境,如果考核标准是"完成了多少个步骤",员工自然会倾向于把事情拆成很多小步骤然后逐一完成,而不是真正解决那个难啃的核心问题。Terminal-RSI用SPR机制解决的,本质上是一个比AI训练更古老的激励设计问题。

这篇论文还留了一个没有解答的问题,就是Extreme难度任务那个先降后升的波动,到底是训练过程中的噪声,还是暗示着某种深层的训练动态规律?如果是后者,未来会不会有专门针对"极难任务"设计的训练策略?这个问题论文没有给出答案,但确实值得继续追问下去。

Q&A

Q1:Terminal-RSI是什么?

A:Terminal-RSI是腾讯混元前沿团队联合新加坡国立大学等机构提出的终端智能体训练框架,通过交替进行"递归自我重写"和"递归策略精炼"两个阶段,让AI助手在命令行任务中不断从自己验证成功的经验里学习,最终训练出Terminal-RSI-27B模型。

Q2:Terminal-RSI-27B的表现到底有多好?

A:在Terminal-Bench 2.1上拿到86.52%,超过了GPT-6 Sol和Kimi K3等部分闭源模型;在长程任务基准LHTB上,严格完成任务数从0/46提升到5/46,四个主要基准的平均成功率从20.68%涨到50.58%,作为27B参数规模的模型表现相当亮眼。

Q3:为什么失败的任务也会拿到很高的奖励分数?

A:论文发现旧的奖励机制只按"通过了多少检查项"打分,导致有些任务虽然每一步检查都通过了,但没达成最终目标,却依然拿了不低的分数,4352条轨迹里失败任务占了50.09%的奖励份额。为此论文设计了SPR机制,确保真正成功的轨迹得分永远高于任何失败轨迹。

标签: 算法 论文 实验 智能体 人工智能模型