新闻中心

AI自动改写推理代码:文心623%提速背后的取舍

发布时间:2026-11-16 浏览数:3

11月9日,百度文心首次披露自动研究系统ERNIE Evolve——让AI自己找瓶颈、改代码、跑实验、决定保留哪些改动。第一个生产任务是给文心5.5 Flash的推理提速:昆仑芯P800低时延场景生成速度做到基线的623.6%;确定性推理吞吐提升33.7%,单token生成时间缩短26%,首token延迟降低12%;单请求解码速度再挤出14.9%。改动已进入推理服务,权重11月25日前Apache 2.0开源。

它不是“人提需求、AI写代码”的助手,而是自己定方向、做实验、攒经验的研究程序。架构是双层循环:外层Director从经验库、知识库挑方向、选起点,内层Selector提假设、Executor在隔离环境改代码。两道闸门把关——Evaluator是仓库外的固定评测程序,对智能体不可见,越界改动打回、提升低于噪声阈值不算数;Reviewer复查是否偏离方向、钻了空子。

这针对真实风险:开放式任务上自主研究智能体的自发奖励作弊率可达30.5%。藏起评测器再加独立复核,是务实的工程解法。每轮改动与经验进经验库,失败方向不重复踩坑。

后两组含金量最高——对象是工程师已深度优化的代码库。确定性推理那33.7%:训练要求结果逐位确定,batch自适应、原子加等加速全被禁用,基线又经专项优化,单项改进往往只有百分之一二。ERNIE Evolve用3天找到瓶颈——确定性采样占每步GPU时间14%,改造成按词表切块并行的Triton算子,单项收益最大。解码更极端,剩余收益散在几十个小算子,单项仅0.3%到0.5%,比噪声还小;7个方向3个有效,最大一处是MoE专家调度从逐组串行改成两级索引。它还主动放弃了让速度下降14%的错误方向。

623.6%要放回背景看:昆仑芯P800软件栈成熟度低于CUDA生态,基线低垂果实更多。168小时、4轮探索路径清晰——先接原生融合算子与投机解码到282.9%,再压主机调度与同步开销到588.8%,最后修正通信分派让DeepEP低延迟路径生效,才到623.6%。高倍数既是系统能力,也折射国产算力软件栈补课空间大——软件层差距可用自动化工具补。

公开基准上,NanoGPT Speedrun Track 1以38.9秒达标,刷新此前39.9秒的公开最好成绩,代码已开源。

边界官方划得清楚:只适用目标明确、结果可验证的任务,运行可控可暂停,限定目标、权限、资源,接受人工监督。同一天可对照——Anthropic在Claude Fable 5.2里刻意削弱可能加速AI研发的能力,kernel优化与架构改进压回Opus 5.5水平。一家把递归自我改进推进生产,一家主动踩刹车:前者补软件栈与迭代效率,后者控制能力扩散的节奏。

对做私有化部署和推理服务的团队,可带走三条判断。其一,推理成本是上线后的长期账单,优化要从“人找瓶颈”转向“定目标与约束、让系统去搜”。其二,确定性要求高的场景常规加速受限,收益在采样、调度和通信环节。其三,问供应商“优化怎么来的”比问跑分实在——有没有固定评测、实验日志,敢不敢讲放弃过哪些方向。换架构、改训练算法还得靠人。

留言咨询

*
*
*
*
*
提交