FEATURED STORY / 01

不用训练!Opus 5.5直接手写Transformer权重,13类任务全拿100%

新智元报道 在13类复杂的算法任务、26次独立运行中,一个全新的神经网络在隐藏测试集上全部达到了100%的准确率。 更不可思议的是,整个过程没有喂给它海量数据,甚至完全没有使用「反向传播」和「梯度下降」。 这个晶莹剔透、小巧至极的满分神经网络,是Claude Opus 5.5,用代码一行一行直接「手写」出来的。 近日,微软研究院联合约翰斯·霍普金斯大学、哥伦比亚大学和纽约大学的团队,发表了新研究

READ
THE
DETAIL
EDITORIAL NOTE

新智元报道 在13类复杂的算法任务、26次独立运行中,一个全新的神经网络在隐藏测试集上全部达到了100%的准确率。 更不可思议的是,整个过程没有喂给它海量数据,甚至完全没有使用「反向传播」和「梯度下降」。 这个晶莹剔透、小巧至极的满分神经网络,是Claude Opus 5.5,用代码一行一行直接「手写」出来的。 近日,微软研究院联合约翰斯·霍普金斯大学、哥伦比亚大学和纽约大学的团队,发表了新研究 「可解释权重空间编程(iWSP)」 。 这项研究证明:前沿大语言模型已经可以直接越过传统的优化器,依据固定的评测反馈,像外科医生一样精准构思计算逻辑,并用代码将算法直接写进Transformer的权重里。 不用反向传播,AI直接当起「钟表匠」 深度学习常被戏称为「炼丹」。 整个过程,就像一群盲人围着一台布满几亿个旋钮的巨大控制台,谁也看不见里面长什么样,只能凭机器偶尔发出的「报错声」,摸索着拧这个、转那个。 几万步迭代下来,机器居然真就正常运转了,某些任务甚至比人类自己还高,堪称「原地飞升」。 可你要是追问一句:哪个旋钮管逻辑?哪个旋钮管记忆?没人答得上来。 总之,效果拔群,原理不详——旋钮拧对了是玄学,拧错了是事故,中间隔着一整片无人能解释的黑箱。 在工程应用上,只要预测得准,这勉强可以接受。 但在脑科学、物理学等极其严肃的科学探索中,这个缺陷太致命。 正如研究团队所指出的核心痛点: 神经网络预测得很好,但很难被理解。在以『解释』为终极目标的科学领域,这是一个严重的问题。 以神经科学为例,深度编码模型能够非常准确地预测大脑对自然刺激的反应,但它们却根本说不出,究竟是刺激中的「哪些特征」驱动了这些反应。 为了打破这个死局,微软团队提出了iWSP。他们决定:不许用反向传播,直接让AI去设定那些旋钮。 在iWSP的框架中,Opus 5.5化身为创世者。 它完全颠覆了传统的工作流: 纯粹的推理: 面对任务,系统不允许Opus进行任何基于梯度的训练。每次迭代,智能体只能看到一个单一的验证分数(Validation score)。 手写权重: Opus必须调用它已有的先验知识,构思一套计算逻辑。然后,它直接编写Python代码,显式地写出特征,将这套逻辑转化为具体的权重数字。 闭环迭代: Opus评估这些特征,重复利用已知的正确模块,并根据那个单一的分数反馈,不断修改代码。 平均每次跑39轮左右。 最终诞生的,是一个人类可以像阅读普通书籍一样,从头读到尾的「透明」Transformer。 它的每一个部分、每一行权重,都是AI「有意写就」。 反常识的真相 这项实验最让人拍案叫绝的,不仅是它成功让AI造出了AI,更在于它揭示了一个违背直觉的真相。 在传统的AI语境里,我们笃信「大力出奇迹」。千亿参数只是起步,万亿参数才是未来。 大家都以为,神经网络越大越能干。 但这篇论文的数据,直接把这个常识反了过来。 在13类算法实验中,所有由AI「手搓」出来的模型,最终都在隐藏测试集上拿到了 100%的准确率 。 但当我们对比Anthropic家族不同级别的模型时,神奇的现象出现了: 同样把算法题写到全对,越强的AI,写出的网络越小。 相对基础的Haiku 5.5 手写的网络,参数量中位数高达 100,000个 。 中等Sonnet 5.5 需要的参数量中位数是 41,600个 。 当前最强的Claude 模型Opus 5.5 ,它手写的网络参数中位数,只有极其夸张的 166个 ! 建议大家把「166个参数」打在公屏上。在这个动辄千亿、万亿参数的大模型时代,166个参数简直就像一颗微尘。 为什么会有这么离谱的差距? 日志记录了Opus的「心路历程」: Opus的策略是,先想办法写对,再一轮一轮地往小里删。 一开始,Opus为了保证逻辑能跑通,也会先写一个大概有3400个参数的网络。 在可见集拿到100%满分后,它开始疯狂精简代码。它把冗余的计算剔除,把复杂的矩阵压缩,硬生生把平均3400个参数,删到了200个上下。 这就像是学霸和学渣的区别。 学渣(Haiku)不懂公式背后的原理,遇到不会的题就靠死记硬背,把所有可能的情况都塞进脑子,所以需要10万个参数的「大笔记本」。 而学霸(Opus)彻底看透了算法的本质,直接提炼出了最核心的计算规则,所以只需要166个参数的「一张小纸条」。 这个发现极其震撼。它证明了:如果能找到真正正确的逻辑,解决复杂问题根本不需要堆砌。 从数学题到人类大脑,让科学免于「被糊弄」 你可能会问:费这么大劲,让AI手搓几个做数学题的极小模型,到底有什么用? 答案是: 为了真正的科学发现。 科学界目前正面临一个尴尬的困境。拿神经科学来说,科学家为了搞懂人类大脑,会使用现成的深度学习黑盒模型来预测大脑的反应。 确实,模型预测得很准,但科学家傻眼

about image
上一篇 DO:曼联处罚4名抗议球迷,至少1人被禁入球场3年... 下一篇 卢璐八千长文追忆刘欢,水均益毛阿敏郑晓龙,是他可以托付后事的挚友...

觉得内容有价值?

分享给更多关注行业变化的朋友。

返回资讯列表
03 / TRENDING NOW

热点资讯

查看近期访问较多的内容,快速了解读者正在关注的行业话题。

迪马:巴迪亚西勒肌肉受伤将缺阵一个月 斯皮纳佐拉无缘出战尤文
1

迪马:巴迪亚西勒肌肉受伤将缺阵一个月 斯皮纳佐拉无缘出战尤文

直播吧10月26日讯 迪马济奥撰文报道那不勒斯队内伤情,巴迪亚西勒与斯皮纳佐拉两名后防球员先后确认受伤。 其中,巴迪亚西勒在对阵罗马的比赛下半场刚开场时因伤退场,检查结果显示其右股直肌出现中度牵拉性损伤。据报道,这位后卫将伤缺约一个月时间,并将因此无缘对阵尤文图斯的强强对话。 斯皮纳佐拉同样将无缘出战对阵尤文图斯的比赛,并且也无法参加接下来对阵蒙扎的争夺。这位边后卫在对阵罗马的比赛尾声阶段感到肌肉

【完整版】米切尔:若没有托马斯的表现 我们根本撑不到最后时刻
2

【完整版】米切尔:若没有托马斯的表现 我们根本撑不到最后时刻

直播吧10月27日讯 在今天结束的一场常规赛中,骑士以127-125战胜森林狼。赛后,骑士球星多诺万·米切尔接受了媒体的采访,以下为完整版采访内容。 提问:谈到米利克·托马斯的首秀,肯尼·阿特金森说他总是像海绵一样吸收知识,也一直在观察你、向你学习。你怎么看他到目前为止的进步? 米切尔:一支球队在上半场靠一名新秀带动起来,这种情况非常少见。我们当时没有活力,打得很沉闷,方式也不对,没有做好该做的事

CBA最新消息!孙铭徽第一阶段报销,山东男篮新外援浮出水面
3

CBA最新消息!孙铭徽第一阶段报销,山东男篮新外援浮出水面

浙江男篮本赛季成绩应该是达到了预期,然而在主场和辽宁男篮的比赛中,孙铭徽出现了崴脚的情况,浙江广厦官方发布了公告,孙铭徽将会缺席至少4到6周的时间,第一阶段确定报销,而孙铭徽已经是连续3个赛季遭遇脚踝严重受伤。 山东男篮更换外援已经不是秘密,班顿走人还是普卢默一起还没有确定,至于新外援,目前已经有了一个大概,上赛季在青岛男篮效力的基诺内斯成为了头号目标。 最后几个赛季,孙铭徽都是出现了脚踝严重扭伤

记者:艾萨克仍在恢复膝伤,已开始三对三训练
4

记者:艾萨克仍在恢复膝伤,已开始三对三训练

奥兰多魔术前锋乔纳森-艾萨克仍在从去年的膝伤中恢复。据他周三对《奥兰多哨兵报》记者贾森-比德透露,伤病恢复期间出现的神经问题拖慢了他的进度,训练营开始时他仍未痊愈,如今已开始进行三对三训练,距离赛季首秀越来越近。 艾萨克上赛季因膝扭伤提前报销,当时外界一度担心伤势远比扭伤严重。那次受伤发生在这样一场比赛中:如果球队和球员没有同意修改合同中的保障触发条款,这场比赛本可以为他的合同提供保障。 魔术最终

54球52助攻!皇马念念不忘要买一人,估价1.8亿欧,静待机会出手
5

54球52助攻!皇马念念不忘要买一人,估价1.8亿欧,静待机会出手

尽管皇马今夏追逐奥利塞未果,但他们依旧对这位法国边路杀手念念不忘。据法国《队报》最新报道,他们依旧在考虑求购奥利塞。 去年夏窗,弗洛伦蒂诺亲自把奥利塞列为引援目标,并送出了丰厚的报价,但无奈拜仁态度明确,将球员列入非卖品,交易只能暂时搁浅。为了填补遗憾,皇马转头以1.4亿欧元的天价从莱比锡签下了扬-迪奥曼德,算是完成了边路位置的补充。但这并不意味着皇马就放弃了奥利塞,他们依旧在默默等待求购奥利塞的