这项由厦门大学、阿里巴巴AMAP（高德舆图）臆度团队和南边科技大学协调开展的臆度，以预印本样式发布于2026年5月，论文编号为arXiv:2605.12004，感兴味的读者可通过该编号在arXiv平台检索完整论文。

要聚首这篇臆度解决了什么问题，不妨先研究这么一个场景：你雇了一支登山队，条目他们通过反复尝试来找到登顶道路。但问题是，若是山顶周围有一段陡壁峭壁，而这支队列的装备和手段根蒂无法攀越，那么岂论他们在陡壁底下尝试若干次，永久也到不了山顶，当然也就学不到"怎样登顶"这件事。这个"陡壁"的譬如，恰好描摹了面前AI智能体强化学习老师中最辣手的中枢难题——臆度团队将它定名为"可达性阻挡"。

比年来，大型语言模子（通俗聚首为能读能写、能推理的AI大脑）依然从只会申报问题的聊天机器东说念主，进化成了能够主动履行任务的"智能体"。这类智能体可以自主上网搜索信息、调用万般器用、完成复杂的多程序任务，就像一个能我方策画行程、预订机票、查询攻略的智能助手。老师这种智能体的主流方法叫作念强化学习——让AI反复尝试任务，奏效了就给奖励，失败了就扣分，通过大都试错让它越来越智谋。

但是，这种老师方式有一个致命缺欠：它有余依赖AI我方能"碰劲"找到正确谜底。若是一项任务对AI来说太难，AI在老师过程中从来莫得一次奏效，那就莫得任何"奖励信号"可以学习，老师就绝对堕入停滞。这即是那说念陡壁——超出AI面前智力范围的任务，它永久触碰不到奏效的彼端，当然也就永久学不会。

面临这个逆境，业界时常的解决决议是在强化学习之前先作念一轮"有监督的微调"——通俗说，即是先给AI看大都东说念主工标注的高质地示范数据，让它先热热身，打好基础，再驱动强化学习老师。但这条路需要消耗大都东说念主力来准备带有完整推理过程的示范数据，老本极高，而且每换一个新任务场景就得再行准备，难以领域化。

AMAP臆度团队提议的新方法——ACTGUIDE-RL——走了一条有余不同的路。他们的中枢想路是：既然互联网上每天都有海量东说念主类操作电脑、使用手机应用、浏览网页的步履记载，这些"动作数据"固然莫得AI推理过程，但胜在随手可取、领域浩大。能弗成把这些动作数据当成一份"行为参考舆图"，径直塞给AI，帮它跨过那说念陡壁？实考据明，这个想路不仅可行，而且末端出众。

**一、陡壁到底有多陡立：可达性阻挡的本色**

要确凿聚首ACTGUIDE-RL的价值，必须先搞了了那说念"陡壁"到底有多难翻越。臆度团队为此建造了一套严谨的表面框架，用"可达性动态"来量化这个问题，固然听起来学术，但背后的逻辑其实很直观。

研究AI在履行一项复杂任务时每走一步的状况。每个状况都可以想象成登山过程中的一个营地——从这里起程，你有多大略率最终登顶？臆度团队把这个"潜在奏效概率"叫作念"灵验状况探望质地"。若是在职务进行到某个关节阶段，这个奏效概率须臾从十分可不雅的水平断崖式跌落到接近零，就阐明AI在这里遇到了一个无法越过的阻挡。

这就像登山队走到了一段极难的岩壁面前——岂论之前积存了若干高度，一朝到了这里，链接进取的概率趋近于零。更厄运的是，一朝越过这个阻挡点，即便对付走下去，后续扫数程序的奏遵守也都会保持在极低水平。因为最先就依然"垮掉"了，后头再何如骁勇也船到抱佛脚迟。

在强化学习的语境中，这意味着什么？当AI在一批任务上进行老师时，系统会同期让AI尝试并吞个任务许屡次，然后比较哪些尝试奏效了、哪些失败了，从对比中提真金不怕火学习信号。但若是扫数尝试都以失败告终——因为那说念陡壁就在那里——那么奏效与失败之间就莫得任何相反可以比较，梯度（也即是模子学习的驱能源）归零，老师绝对卡死。

关节在于，这个问题不是多试几次就能解决的。岂论你让AI尝试十次、一百次照旧一千次，只消它的智力自身莫得冲破阿谁关节瓶颈，末端都是一样的失败。这是一个结构性问题，不是统计性问题。用登山来譬如：光是足履实地攀高并吞面陡壁，不给绳子和技能支援，任何次数的尝试都是枉费。

**二、行为数据怎样化身"向导绳子"：携带机制的职责旨趣**

既然AI我方翻不外陡壁，那就给它一根绳子。ACTGUIDE-RL的中枢更始，就在于怎样把东说念主类的操作记载改革为这根"向导绳子"。

臆度团队最初作念了一个关节实验，来考据这根绳子是否确切有用。他们联想了两个度量目的：一个是在有参考动作序列携带下，AI的每一步动作与莫得携带时收支若干（称为"携带影响力"）；另一个是在被携带到某个状况之后，若是把携带拿掉，AI能弗成靠我方从这里链接走到尽头（称为"前缀可达性"）。

实验末端量称清爽，而且恰当直观。关于通俗任务，AI从一驱动就有十分大的把捏能奏效，给不给携带判袂不大，两个目的都比较平定。关于中等难度任务，有些阶段携带的影响力会须臾飙升——那正是遇到阻挡的位置——越过阿谁点之后，AI靠我方的奏遵守会较着回升。而关于困难任务，不携带时AI的奏遵守从新到尾接近于零，但携带数据在关节阻挡处会产生巨大的影响力，一朝被携带越过阿谁节点，后续靠我方链接完成任务的概率就会回到可不雅的水平。

这个发现至关贫寒。它阐明携带数据并不是在替AI作念决策，而是在帮它找到"那扇打不开的门"的位置，然后携带它穿昔日。穿昔日之后，AI依然需要靠我方的推贤达力链接前进。这就像给登山队在最难的岩壁上提前打好了固定锚点和绳子——队员照旧得靠我方的膂力和技能爬，但阿谁正本无法通过的关节路段，当今有了可以抓捏的扶助。

在具体达成上，臆度团队摄取了一种相称简单的注入方式：把参考动作序列行为一段"改日行为参考谋略"，径直附加在职务教唆词里。比如，任务教唆后头会随着一段阐明："以下是一份参考行为轨迹，你可以参考这些程序来完成任务，但这份轨迹可能不完整，你仍需自行判断并完成剩余程序。"接着列出若干条具体操作，如"第一步：搜索XXX；第二步：探望某网页；第三步：搜索YYY……"

这种方式与"免强AI原样复制动作"有本色远离。AI读到这段参考谋略后，依然需要用我方的推贤达力来聚首、判断，甚而可以偏离参考轨迹，只是有了一个参照系让它不至于在关节歧路口迷失办法。臆度团队还对比了其他注入方式，比如把参考动作行为AI依然输出的内容径直前置（强制前缀），或者模拟成多轮对话历史。实验标明，行为"参考谋略"放在教唆词里的末端最好，AI能在顺从参考的同期保持更活泼的推理。

**三、给若干携带才合适：最小侵略原则的精妙均衡**

找到了向导绳子之后，新的问题来了：给若干绳子才算合适？

名义上看，既然携带灵验，那携带越多越好。但臆度团队发现，这个直观是失误的。过多的携带会带来一个隐患——离计谋风险（off-policy risk）。这个见地用登山譬如来聚首很直不雅：若是全程都有东说念主拖着AI爬，最终固然到了山顶，但AI学到的是"被拖着爬的嗅觉"，而不是"我方爬山的手段"。老师时靠携带爬昔日了，测试时莫得携带，照旧不会。

更技能性地说，当AI在有携带的状况下生成的行为轨迹，与它在莫得携带时当然生成的轨迹相反越大，这批老师数据关于老师"无携带版AI"来说就越不可靠。这种相反会累积放大，导致学习信号不雄厚，最终不仅莫得匡助，反而可能让老师朝失误办法走。

为了量化这个风险，臆度团队测量了"累积对数比率偏移"——正常说即是有携带时AI的每一步遴荐，与无携带时比较偏差了若干，把扫数程序的偏差加起来。实验末端画出了一幅相称直不雅的图：随着携带比例从20%升迁到100%，这个累积偏差的平均值稳步增大，而且更关节的是，偏差的波动幅度（也即是不雄厚性）增长得更快。这意味着携带越强，老师数据的质地越不雄厚，反而会牵扯学习末端。

这个发现催生了ACTGUIDE-RL最中枢的联想原则：最小侵略原则。通俗说：能不携带就不携带，必须携带时用最少的携带量。

具体操作是这么的：关于每一说念老师题，系统最初让AI在莫得任何携带的情况下尝试若干次。若是有哪怕一次奏效，那就太好了，径直用这些无携带的数据老师即可，根蒂不需要启动携带机制。唯有当扫数无携带尝试全部失败时，系统才会研究引入携带。

而且携带并不是一股脑全部给出，而是分层递进的。参考动作序列被切分红若干段：提供前1步、前2步、前3步……直到全部程序，变成一个从弱到强的携带梯队。系统会用二分查找的方式高效找出"最少需要给出若干步参考动作，才能让AI至少有一次奏效"，就用这个最小序导量，未几给一步。

这个机制的精妙之处在于它的自稳健性。关于略微难少量的任务，可能只需要给前3步的参考，后头AI就能我方惩办；关于相称难的任务，金年会(JinNianHui)体育官网可能需要给出前15步甚而更多。携带量动态匹配任务难度，既冲破了阻挡，又把离计谋风险戒指在最低限定。

**四、学到的东西怎样变成确凿的智力：搀和策略优化的内化机制**

有了最小侵略的携带机制，还有临了一说念坎要跨：怎样把在携带放学到的东西，确凿内化成AI在莫得携带时也能使用的智力？

这个问题的本色是：携带只在老师时存在，测试时AI是孤立职责的。若是AI只是学会了"有携带时该何如作念"，那老师再好也没用。必须让它把有携带时得到的劝诫，改革为无携带时的内在智力。

臆度团队摄取的决议叫作念搀和策略优化。在每一轮老师中，系统会同期处理两种开始的数据：一种是AI在莫得任何携带的情况下自主生成的轨迹；另一种是AI在有携带的情况下生成的轨迹。这两种轨迹被搀和在一皆，用于更新并吞个模子。

关节在于怎样处理这两种数据的"计价方式"。强化学习中有一个贫寒见地叫贫寒性比率——它权衡的是"咱们当今老师的模子"与"生成这批数据时的模子"在步履上的差距，用来修正学习信号的权重。关于无携带轨迹，比率的狡计方式很程序，径直比较两个版块的无携带模子即可。但关于有携带轨迹，臆度团队作念了一个关节调养：分母用的是"生成数据时的有携带模子"，而分子用的是"面前老师的无携带模子"。

这个联想的含义是：咱们承认这批数据是在携带匡助下生成的，但咱们但愿把这份功劳记在无携带模子的账上，让无携带模子从这些劝诫中获益，渐渐学会在莫得携带的情况下也能走到那些之前到不了的处所。这就像老师轮上学会了骑自行车，然后通过熟悉渐渐去掉老师轮，最终达成自主骑行。

实考据明这个机制是不可或缺的。臆度团队专门作念了消融实验——即是把某个组件去掉，望望末端会差若干。去掉搀和策略优化这个组件后，模子在三个主要测试集上的收货大幅下滑，阐明若是莫得这个"内化通说念"，携带放学到的劝诫就无法确凿改革为无携带智力，白白铺张了老师资源。

**五、实战进展：数字背后的故事**

表面再齐全，最终照旧要用数据语言。臆度团队在四个难度递进的搜索智能体测评集上进行了全面测试，每个测评集都代表一类确凿的复杂任务场景。

GAIA测评集是一个综合性的智能助手智力测试，包含需要深度推理和集会搜索的确凿问题，分为三个难度等第。WebWalkerQA测试的是智能体在复杂网页中多跳推理的智力，包含680说念需要跨多个页面抓取信息才能申报的问题。XBench专注于评估深度搜索智力，锻练智能体在广度和深度上检索和整合信息的综合进展。BrowseComp-ZH则是一个汉文互联网环境下的复杂网页浏览基准，包含289说念需要跨多个主流汉文搜索引擎考据的问题。

以Qwen3-4B-Instruct这个基础模子为例，它是阿里巴巴Qwen系列中一个相对紧凑的模子。在莫得任何特殊老师的情况下，它在GAIA上只可拿到15.53分，在WebWalkerQA上仅有3.82分，XBench上14分，BC-ZH上7.96分。可以看出这个基础模子在复杂搜索任务上的智力十分有限。

加上程序的强化学习老师（莫得携带）之后，收货有所升迁：GAIA涨到了25.24，XBench涨到了18，BC-ZH涨到了15.26，但WebWalkerQA只涨到12.06——因为WebWalkerQA对这个模子来说太难，充满了那些智力范畴除外的"陡壁"地带，程序强化学习碰到了严重的停滞。

换上ACTGUIDE-RL之后，场地有余不同了。GAIA跃升至35.92，升迁幅度突出10个百分点；WebWalkerQA从12.06飙升至39.85，一跃提高了近28个百分点；XBench从18涨到37，BC-ZH从15.26涨到20.41。独特是WebWalkerQA的升迁，险些让东说念主难以置信——这正是因为这个测评集包含了大都超出基础模子智力的困难任务，恰正是ACTGUIDE-RL最擅长匡助冲破的场景。

这种升迁规则在其他基础模子上相同建树。Qwen3-8B是一个更强的模子，即使用程序强化学习也能取得可以的末端，但ACTGUIDE-RL在此基础上仍然带来了雄厚的特殊增益。Qwen2.5-3B和Qwen2.5-7B这两个稍旧的系列模子，相同从ACTGUIDE-RL中得到了跨板块的全面升迁。一个意象的细节是：程序强化学习在某些模子上出现了智力倒退的情况——比如Qwen2.5-7B在GAIA上的分数反而从22.32跌到了11.65，Qwen3-8B在BC-ZH上也有隐微雕残。ACTGUIDE-RL则灵验阻止了这种雕残，因为自稳健携带能让老师数据的难度耐久与模子面前智力匹配，而不是在它无法可想的任务上反复消耗。

另一个贫寒的对比实验是与"SFT+RL"历程的比较。臆度团队用阿里巴巴自研的Tongyi-DeepResearch-30B-A3B大模子蒸馏出了4000条高质地的完整推理轨迹，用这批数据先作念监督微调热身，再接强化学习老师。这是业界公认的程序最优决议，但亦然最隐私的决议。ACTGUIDE-RL在不作念任何监督微调预热的情况下，取得了与这个两阶段历程十分的总体收货。更值得关注的是，监督微调这一步会缩短模子在非搜索任务上的通用智力——比如科学推理、事实判断、指示遵命等智力都出现了较着下滑——而纯正用ACTGUIDE-RL老师的模子则险些莫得这种智力退化，在这三类特殊测试上保管了与基础模子十分的水平。

**六、老师过程中AI在偷偷变智谋：露馅智力的不雅察**

除了最终的测评分数，臆度团队还对老师过程自身进行了雅致不雅察，发现了一些颇为意象的喜跃。

随着老师股东，被携带数据匡助冲破阻挡的任务比例不竭增多，灵验老师样本的遮掩面越来越广，这阐明AI的智力范畴在确凿推广，而不单是是在原有智力范围内反复打磨。与此同期，在莫得携带的测试轮次中，AI平均本旨履行的交互程序数从老师初期的约4步，稳步增长到接近10步；生成的内容长度也从大要4000个词元增长到接近12000个词元。这意味着AI不单是是在特定任务上变强，而是在主动习得一种"对峙深挖"的步履模式——遇到复杂问题时不顶住毁灭，本旨花更多程序去追忆和考据。

为了考据这种更多程序的交互是确切灵验而非无效消耗，臆度团队作念了一个意象的实验：在测试时把AI能履行的最大交互步数从2步渐渐绽开到32步，不雅察收货变化。末端炫耀，在2步末端下收货极低，随着步数末端渐渐放宽，收货不竭稳步上涨，直到32步时达到最优。这有劲地证明了AI确乎学会了怎样灵验愚弄更多的交互轮次，而不是在铺张程序。

臆度团队还专门测试了行为数据的"噪声容忍度"——也即是若是参考动作序列里混入了一些无关或失误的操作，末端会下跌若干。实验中，他们就地往参考轨迹里插入与任务无关的干扰动作。末端炫耀，当干扰比例在10%以内时，收货险些莫得较着下跌，甚而在GAIA上略有升迁（可能是隐微的万般性引入了正面末端）；当干扰比例升到20%时，收货才出现比较较着的下滑。这阐明ACTGUIDE-RL对践诺中不可幸免的数据质地问题有十分强的鲁棒性，不需要对行为数据进行极其严格的清洗才能使用。

臆度团队还探索了一种名为"在线策略自蒸馏"的替代决议，行为对比基准。这个决议的想路是：不主动生成携带轨迹，而是让AI用无携带方式解放探索，但在优化时以"有携带版模子"的输出行为学习办法，十分于用有携带版AI行为浑厚来指导无携带版AI的每一步。实验炫耀这个决议确乎能带来一定的升迁，但末端较着弱于ACTGUIDE-RL。原因在于：若是AI我方探索不到关节状况，即使浑厚的指导再好，也无从应用，根蒂问题莫得被解决。

**七、臆度的范畴与改日可能**

任何臆度都有其适用范围和未波及的问题，ACTGUIDE-RL也不例外，臆度团队在论文中坦诚地列出了几个值得链接探索的办法。

面前的主要实验集合在搜索智能体这一特定场景——AI需要搜索网页、浏览页面来申报问题。遴荐这个场景有其合感性：搜索任务莫得复杂的持久状况，行为数据相对容易采集，任务难度也便于调遣。但ACTGUIDE-RL的底层旨趣是通用的，表面上相同适用于操作图形界面的GUI智能体、使用高歌行的CLI智能体、调用API的器用型智能体，乃至在造谣或践诺物理环境中操作的具身智能体。将方法推行到这些场景，考据其普适性，是不问可知的下一步。

在携带机制自身，面前摄取的是相对通俗的谋略式携带——把参考动作列成一份清单附在教唆词里。更细粒度的携带方式，比如在每一设施行时动态注入面前步的参考、笔据AI及时状况调养携带强度，巧合能在保持末端的同期进一步缩短离计谋风险，这些都值得潜入臆度。

数据的采集和处理方式相同是一个被有意留待后续的问题。怎样从现存的各样互联网用户步履日记、系统操作记载、应用程序交互数据中高效提真金不怕火有价值的行为序列？怎样进行质地过滤和神态程序化？这些工程性问题与算法臆度同等贫寒，但本文并莫得系统探讨。

说到底，这篇臆度的中枢孝顺可以用一句话概述：它证明了"何如作念"的数据可以弥补"为什么这么作念"的数据的缺失，何况找到了一套方法让AI在参考"行为舆图"的同期，确凿学会自主导航。这关于缩短AI智能体老师的老本门槛、拓宽可老师任务的范围，都有切实的意旨。关于暄和AI怎样更好地匡助东说念主类完成复杂任务的读者来说，这正是那些让AI变得更实用、更夷易近东说念主的基础性职责之一。但愿探索完整技能细节的读者，可以通过arXiv编号2605.12004查阅原论文。

---

Q&A

Q1：ACTGUIDE-RL中的行为数据具体是什么，从那里来？

A：ACTGUIDE-RL中的行为数据是东说念主类或AI系统履行任务时留住的操作程序记载，比如搜索了哪些关节词、探望了哪些网页，只包含"作念了什么动作"而不包含推理过程。在这篇臆度中，行为数据来私用阿里巴巴自研的大模子对老师任务进行采样，提真金不怕火正确轨迹中的器用调用称号和参数，行为参考谋略注入给待老师的小模子。践诺中，这类数据也可以来私用户操作日记、GUI交互记载、游戏步履数据等。

Q2：为什么ACTGUIDE-RL要刻意减少携带量，携带越多不是应该末端越好吗？

A：直观上携带越多越好，但实验发现恰恰相背。携带越强，AI在有携带时产生的步履轨迹与它在莫得携带时的当然步履差距就越大。这批轨迹用于老师"无携带版AI"时，学习信号会变得相称不雄厚，因为AI需要学习一种它在测试时根蒂不会遇到的情境。ACTGUIDE-RL测量了这种"离计谋风险"，发现携带比例越高，风险方差增长越快。因此最好策略是用最少的携带冲破阻挡，其余部分让AI我方完成。

Q3：ACTGUIDE-RL和传统的先作念监督微调再作念强化学习的决议比较，最大的远离是什么？

A：传统SFT+RL决议需要准备包含完整推理链的高质地示范数据金年会(JinNianHui)体育官网，老本高且每换场景需要再行准备。ACTGUIDE-RL只需要"作念了什么动作"的行为记载，不需要完整的推理过程，数据获取老本大幅缩短。实验中ACTGUIDE-RL在四个主要测试集上取得了与SFT+RL十分的总体收货，且不会像SFT那样毁伤模子在非办法任务上的通用智力，在科学推理、事实判断、指示遵命等智力上均未出现退化。