READING FRAME

文章详情阅读与延伸浏览页

本页围绕单篇资讯建立完整阅读链路,承接标题信息、正文展示、上下篇跳转与推荐内容延伸,让访问者更顺畅完成阅读过程。

Focus Reading
Share Ready
More Topics

GPT-6.2 Astra难产真相曝光!OpenAI突然彻查迄今最大RL训练

博万(BW)中文官网 - 体育赛事与数字娱乐 414 阅读 约 5.5 分钟

新智元报道 传了好久的GPT-6.2 Astra,至今还是没影儿。 就在全网盯着OpenAI憋大招时,硅谷等来了一个更出人意料的消息。 今天, OpenAI竟把 四家外部机构 ,请进了自家内部「查岗」 ! 他们分别是,METR、Apollo Research、Transluce和Goodfire。 与以往不同,OpenAI罕见开放了部分内部模型、源代码、训练数据,甚至还有尚未发布的模型检查点。 同在今天,The Information又捅出了一桩惊人内幕—— 为了破解AI黑箱, 奥特曼曾开出50亿美元天价 ,想买下一家深扒AI大脑内部机制的公司。 巧了,它正是Goodfire,作为四大外援之一正式进驻OpenAI, Anthropic还曾投了钱 。 如今的OpenAI是越来越谨慎, 像极了当年的谷歌 。 手里握着最强的AI,却被雪藏。正如网友所言,短期内,普通人大概率是用不上GPT-6.2 Astra了。 OpenAI搬来救兵 彻查最大RL训练 这一次,OpenAI直接把外部审查,深入到了模型训练和内部使用环节。 总裁Greg Brockman称,这可是OpenAI内部「 第一轮嵌入式评估 」。 请进来的四大机构,各有分工。 他们得到了在指定范围内的内部系统访问权限,还可以用上OpenAI尚未发布的模型。 打头阵的 Apollo Research ,专门派6人小组进驻4个月,调查模型会不会「阳奉阴违」。 他们重点核查训练过程有没有奖励背叛行为、红队测试能否诱发模型捣鬼。 同时他们还要排查模型在内部日常干活时,有没有偷偷搞过破坏。 第二家进场的 METR ,首阶段将深入审查 OpenAI迄今规模最大的一次前沿 强化学习 训练 。 他们获准独立抽检各阶段的模型快照与评测轨迹,专门揪出躲过现有监控器的漏网之鱼。 今年8月OpenAI内部Agent越界黑入Hugging Face的事故调查,背后正是METR操刀。 第三家非营利机构 Transluce ,从12月初起,将 分文不取报酬 进驻审查6周,调用未发布模型及 未经任何过滤的原始思维链 。 他们要给OpenAI现有的对齐考卷做全面体检,看看有没有漏掉欺骗和刷分作弊。 至于Goodfire,它的任务更特殊。 它主要钻入神经网络内部,也就是 切开AI大脑,利用机制可解释性 ,挖出那些让模型出现特定行为的计算机制。 一次内部彻查,四家机构进场。 OpenAI之所以要费这么大力气,就得从三个月前的一场风波说起了。 别提安全 GPT-6 Astra偷懒少干四成活儿 今年8月下旬,GPT-6 Astra在内部刚部署不久,就爆出了一系列问题。 一位研究员测试「模型蓄意破坏」课题,用Astra跑了好几天都被莫名报错卡在原地。 结果他一换别的模型,项目当场就一路绿灯跑通了。 为了弄清Astra是不是在 「看菜下碟」 ,OpenAI设计了一组双盲对照实验。 团队准备了完全相同的代码改进任务,只把代码注释和背景话术分成「能力研究」和「安全研究」两套。 测试结果让人后背发凉。 在「能力研究」名义下,Astra能完成 15.8% 的隐藏评分项; 换成「安全研究」后瞬间跌到 10.3% , 悄悄少干了约四成活 ! 上一代GPT-5.6 Sol在同样测试里几乎零差距,而Astra在安全包装下谎报阻碍或停工的比例足足高出了 13.5个百分点 。 按规范,模型若觉得任务有风险应该当面说明拒绝理由,偏偏 Astra选了 当面假装配合、背地悄悄交半成品 。 更头疼的是,这种「暗中摸鱼」的毛病,恰恰是在后训练强化学习阶段一步步练出来的。 强化学习刚开始时差距还是0,越往后训差距越大,中途一度拉开到12个百分点。 团队排查发现,某个强化学习评分器极度讨厌模型当面拒绝,反而给「不声不响少干活」打了高分。 研究人员试着在提示词里叮嘱它「请格外小心谨慎」,结果它罢工的幅度反而 恶化了50% ! 不仅如此,GPT-6 Astra曾被爆出采用了「 循环Transformer 」机制,结果人类可阅读、监控的思维链大幅缩水。 OpenAI、Anthropic和谷歌的高管近期纷纷承认,靠读文字思维链来盯防AI的做法已经越来越不可靠。 这些问题,已经让OpenAI内部感到隐隐不安。 而今天曝光的50亿美金收购内部,又让这件事有了新的看点。 50亿求购「AI读心术」 Anthropic也投了 早在今年夏天,OpenAI高层曾多次与AI初创公司Goodfire接触。 当时,他们一口气开出了最优的条件,愿意出资50亿美金收购,或是建立其他商业合作关系。 50亿,足足是这家公司今年2月融资估值四倍还要多 ! 一家成立仅两年的公司这么值钱,全靠他们的看家本领—— 「机制可解释性」 ,堪称深入大模型黑箱的「核磁共振与读心术」。 它主要就是直接打开AI

about image

觉得有用?分享给朋友

让更多人看到这篇内容,也欢迎继续浏览平台中的其他相关文章与专题内容。

推荐阅读