近日，北京大学人工智能研究院与工学院、计算机学院以及伦敦国王学院携手合作的论文《大规模多智能体系统的高效强化学习》在国际学术期刊《自然・机器智能》上刊发。该成果在大规模多智能体系统中首度达成高效去中心化协同决策，有助于增强人工智能决策算法的扩展性与适用性。

   多智能体系统主要依托庞大的智能体交互数据，借助大量计算资源促使每个智能体学会与其他智能体协作执行复杂任务，其核心模式为多智能体强化学习。

   论文第一作者、北京大学人工智能研究院博士生马成栋举例阐释，“像一个无人机编队，每架无人机由人工智能操控，每架飞机的控制器就是智能体，这样由多个智能体组成的无人机编队便是一个多智能体系统。”

   马成栋表示，在实际的大规模系统中，各控制单元之间以及控制单元与环境之间的交互成本通常极高。此类系统中常常存在客观通信限制，比如通信距离过远、全局通信存在隐私泄露风险以及通信能耗受限等。控制单位之间难以进行全局信息交换，这阻碍了人工智能决策算法在大规模系统中的推广与应用。

   当前，去中心化的多智能体强化学习成为国际学术界的研究焦点，其目标是探索一种算法，即在有限的数据和资源条件下，将决策能力拓展至包含大量智能体的复杂真实系统中。

   马成栋称，去中心化的多智能体强化学习以不依赖全局信息的方式，让每个智能体实现高效的去中心化协同决策，展现出独特优势。

   论文通讯作者、北京大学人工智能研究院助理教授杨耀东介绍，研究团队通过网络化结构拆解系统的全局动态特性，使智能体能够独立学习局部状态转移、邻域信息价值以及去中心化策略，将复杂的大规模决策难题转化为更易求解的问题。得益于此，即便在样本数据和信息交互受限的情况下，大型人工智能系统也能呈现令人满意的决策性能。

   研究团队在较为复杂的城市交通和电力网络中，对包含数百个智能体的场景进行了测试。结果表明，与中心化多智能体学习方法相比，去中心化方法可将信息交换成本降低七成以上。并且，随着智能体数量的不断增加，这一比例还会显著下降。同时，样本效率可提升五成以上。

   “这项研究成果对于将人工智能模型拓展至大型电力网络、城市交通信号控制等大规模多智能体系统具有重大价值。” 马成栋举例说，在大型电网系统中，节点之间信息交换和传输过于频繁，容易产生干扰。一旦某些节点出现故障，就会严重影响其他节点的性能。去中心化能够降低这一风险，提升电网系统的稳定性和安全性。

   声明：本站所使用的图片文字等素材均来源于互联网共享平台，并不代表本站观点及立场，如有侵权或异议请及时联系我们删除。