LLM 迈向 AGI 之路受阻?科学家:构建 AGI 于理论···

2024/12/11

   今年 9 月,OpenAI 宣称其 AI 能力跃升至新层级,与以往的 LLM 相较,新 AI 向人类思考模式更为贴近。OpenAI 此说引发热议:机器究竟何时才能企及人类大脑那般的认知水平?


   众人所争议的智能即所谓的 AGI,它可助力人类攻克诸如气候变化、全球性流行病、癌症治疗等复杂难题。AGI 充满变数,亦会给人类带来风险隐患。

LLM很难变成AGI?科学家:创造AGI理论上可行


   加拿大蒙特利尔大学深度学习研究专家 Yoshua Bengio 指出:“AI 可能被不当使用,人类亦可能丧失对 AI 的掌控权,这些情形皆可能引发恶意事件。”


   过去数年,LLM 呈迅猛发展态势,部分人坚信 AGI 已近在咫尺,然而 Yoshua Bengio 却认为,鉴于 LLM 的构建与训练模式,仅靠 LLM 自身难以达成 AGI,因其缺失若干关键要素。


   亚利桑那州立大学计算机科学家 Subbarao Kambhampati 称:“在我人生的大半时段,我认为谈论 AGI 的人仿若癫狂。而如今呢?几乎人人皆在谈论,总不能说他们全是疯子吧。” 有关 AGI 的争论为何发生转变?


   2007 年 AGI 概念开始兴起,其定义并非精确无误,大致意为 AI 系统具备人类般的推理及泛化本领。回溯 AI 发展历程,尚无一款 AI 能达 AGI 标准,即便是在围棋界称雄的 AlphaGo,其 “超凡能力” 亦仅局限于特定狭窄范畴。


   当下状况如何?LLM 已然改变了整个行业格局。鉴于 LLM 具备多样的能力表现,研究人员推测某种形式的 AGI 或许很快现身,甚至已然出现。


   LLM 属于神经网络范畴,是受大脑启发而构建的机器学习模型。其网络由人工神经元(亦称为计算单元)构成,这些神经元分层排列,且具备可调节参数(用以表征神经元的连接强度)。


   在训练阶段,研究人员运用一种名为 NTP(Next Token Prediction,下一词预测)的方法,将模型反复输入文本,文本被拆分为诸多小块,这些小块即为 token。在一个序列里,最后一个 token 被隐匿或遮蔽,促使模型预测其内容。模型会将预测结果与原始数据比对,进而调整模型参数,以提升其预测能力。


    随后,Transformer 模型应运而生,它使模型能够知晓部分 token 会对其他 token 产生更大影响,如此一来,LLM 便能像人类一样解析语言。


   发展至此,LLM 能够生成计算机程序,用以解决自然语言所描述的问题,可汇总学术论文,亦能解答数学疑问。


   有人觉得,只要 LLM 规模足够庞大,便会催生出 AGI。CoT(chain-of-thought,思维链)提示便是例证,它表明 LLM 可将一个问题拆解为若干更小步骤以便求解,也可让 LLM 分步处理问题,遗憾的是 CoT 在小型模型中的效果欠佳。


LLM 模型的局限性与大脑的 “世界模型”


   OpenAI 开发的 o1 模型运用了 CoT,可处理更为复杂的问题,但它并非 AGI。实验显示,让 o1 处理规划步数达 16 步的任务时,表现尚可,可若步数增至 20 - 40 步,其表现则会逐步下滑。


   研究人员常采用抽象推理与泛化测试来检验 AGI 能力,例如让 AI 处理视觉拼图问题。测试时,AI 需观看示例,归纳出抽象规则,再运用规则解决新谜题。


   不论 LLM 规模大小,在这类测试中的表现均不尽人意,因其需整合所学知识以解决新问题。


   那么 LLM 有无可能进化出 AGI 呢?研究人员认为,尽管当下距离 AGI 尚远,然而采用 Transformer 架构的 LLM 与 AI 系统已具备部分 AGI 的关键特性。


   Transformer LLM 自然也存在一些弊病,例如训练模型的数据几近枯竭。当训练 Transformer LLM 时让其预测下一个 token,此做法或许过于片面,难以促使其进化为 AGI,构建能生成解决方案的模型或许会使我们更趋近 AGI。


   神经科学家为 AI 领域带来独到见解,他们认为,大脑因能构建 “世界模型” 而拥有智力。所谓 “世界模型” 即指周边环境。大脑能够设想不同的行动策略并预估结果,可进行规划、推理,还能模拟不同场景,将在某一领域习得的技能应用于其他新任务。要使 AI 转化为 AGI,需具备构建 “世界模型” 的能力。


   部分研究者认为,已有迹象表明在 LLM 中出现了基本的世界模型。而另有研究表明,AI 系统构建的世界模型并不可靠。


当今 LLM 的显著缺陷:缺乏内部反馈


   谷歌 DeepMind AGI 研发团队成员 Dileep George 认为,缺乏内部反馈是当今 LLM 的一大短板。人类大脑存在大量反馈连接,信息可在神经元各层间迅速流转,因信息能从感觉系统向大脑更高层级传递,故而可创建映射环境的世界模型。不仅如此,信息亦会向下传导,引导人类获取更为深刻的感官信息。


   在 OpenAI o1 模型中,内部 CoT 提示看似有效,属于反馈连接,但它无法确保模型能够进行抽象推理。


   研究人员为 LLM 添加外部模型,此模块名为 “verifier”(验证器)。验证器会检验 LLM 在特定情境中生成的答案,例如制定可行的旅行计划,若搜索结果不尽人意,它会重新查询。事实证明,搭配验证器的 LLM 在制定旅行计划时远胜普通 LLM,但问题在于,研究人员必须针对每一项任务设计定制验证器,尚无通用验证器。


   为适应新情形,AGI 需要构建相应验证器,人类则不然,我们可借助抽象规则确保推理的准确性,即便处理新任务亦能游刃有余,这是当前 LLM 所不及之处。


   数据问题亦是阻碍 LLM 进化的一大阻碍。伦敦大学学院理论神经科学家 Karl Friston 认为,未来的系统或许能够高效判定自身构建世界模型并正确推理预测所需的数据量,如此便无需向模型投喂所有数据。听起来颇似代理、自主体。Karl Friston 称:“在 LLM 或生成式 AI 中看不到类似的代理,若能开发出一种智能,使其能在一定程度上进行选择,那就意味着向 AGI 迈进了一大步。”


   AI 系统理应具备构建高效世界模型、集成反馈循环、竭力降低对外部数据依赖的能力,通过内部模拟、假定反设事实、推理、规划来生成数据。


   采用这种方式能否缔造出 AGI?计算机专家认为理论上可行,并无阻碍。新墨西哥州圣达菲研究所计算机科学家 Melanie Mitchell 说:“人类与其他动物获取智能的途径本质上并无差异,我并不认为生物系统与由其他材料构建的系统存在本质区别,非生物系统达成智能并无阻碍。”


   即便真有可能创造出 AGI,何时能够达成目标却尚无定论,有人认为仅需数年,有人则觉得十年之内难以实现。当 AGI 出现时可能并非一目了然,AGI 会逐步展露自身潜能,由人类发明创造出来,随后逐步扩大规模并应用推广,方能真正开启改变世界之旅。


   声明:本站所使用的图片文字等素材均来源于互联网共享平台,并不代表本站观点及立场,如有侵权或异议请及时联系我们删除。