多环境强化学习：同一 AI 模型在不同 Harness 下的训练成效提升

Hugging Face 提出 Multi-Harness RL，通过在多种真实 Harness 训练，提升模型在多环境中的鲁棒性与工具调用效率。

简介

同一个 AI 模型换个工具就可能“犯傻”？问题不一定出在模型，可能出在 Harness 上。

Hugging Face 最近分享了一个新思路：Multi-Harness RL（多环境强化学习）。

• 核心想法：如果模型只在一套 Agent 工具里训练，容易把特定工具名、提示词和执行流程背熟。
• 解决办法：在不同环境中训练模型，如 Codex、OpenCode 等，可能提升实际表现。

实验设计

研究团队把以下环境串联起来进行联合训练：

• OpenEnv
• Harbor
• TRL

通过在多种真实 Harness 里训练，提升模型的实际适应能力。

实验结果

• LFM2.5-2.6B 规模的任务首轮解决率从 42.2% 提升到了 54.2%
• 工具调用次数下降，意味着更高效的协调与调用

结论

• 关键点在于：模型能力不仅取决于参数量，还取决于它在哪种环境中“练成”
• 多环境训练有助于提升跨工具/跨环境的适应性与效率

详细介绍与实验细节见原文链接： https://huggingface.co/spaces/FineEnvs/multi-harness-rl#introduction