LLM强化学习新框架！UCSD多智能体训练框架让LLM工具调用能力暴增5.8倍

7次阅读

大语言模型智能体的强化学习框架，首次实现了通用的多智能体的“群体强化”。

在大语言模型（LLM）智能体的各种任务中，已有大量研究表明在各领域下的多智能体工作流在未经训练的情况下就能相对单智能体有显著提升。

但是现有的 LLM 智能体训练框架都是针对单智能体的，多智能体的“群体强化”仍是一个亟须解决的问题。

为了解决这一领域的研究痛点，来自 UCSD 和英特尔的研究人员，提出了新的提出通用化多智能体强化学习框架——PettingLLMs。支持任意组合的多个 LLM 一起训练。

LLM 强化学习新框架！UCSD 多智能体训练框架让 LLM 工具调用能力暴增 5.8 倍

研究背景

大语言模型驱动的多智能体系统在医疗、编程、科研、具身智能等多个领域均能大幅度提升任务表现。

为训练大模型智能体，Group Relative Policy Optimization (GRPO) 已被验证为通用的有效强化学习算法。然而，当前所有针对 LLM 的强化学习训练框架，包括 GRPO 算法本身，都局限于单智能体训练的范畴。多智能体间的协作优化，即“群体强化”的学习机制，仍然是一个亟待填补的空白。

GRPO 算法的核心机制是，针对同一个输入（prompt），通过多次采样生成一组候选回答。随后，算法在组内对这些回答进行评估（例如，通过一个奖励模型），并计算它们之间的相对优势。

这种优势计算的有效性与公平性依赖于一个关键假设——组内所有用于比较的候选回答，都必须基于一个完全相同的上下文（即 prompt）生成。

然而，将 GRPO 直接应用于多智能体（multi-agent）多轮（multi-turn）环境中存在一个核心困难。

在多智能体场景下，即使是针对同一个初始问题，不同智能体在不同轮次接收到的 prompt 差异显著。

例如（如图所示），一个负责编程的智能体，其在第二轮的 prompt 不仅包含原始问题，还可能融合了第一轮中自己生成的代码以及其他智能体生成的单元测试。

LLM 强化学习新框架！UCSD 多智能体训练框架让 LLM 工具调用能力暴增 5.8 倍