产品简介
embodied-agent-interface Embodied Agent Interface (EAI) 是一个基准工具，用于系统评估大型语言模型在具身环境（如机器人或虚拟代理）中的决策能力。它解决了当前评估依赖单一成功率、难以定位LLMs具体缺陷（如规划错误）的痛点，适合AI研究人员和开发者进行模型性能分析与优化。
核心功能
- 标准化目标规格，便于统一评估
- 提供标准化模块和接口，简化LLM集成
- 覆盖广泛的具身决策任务，包括状态和时序目标
- 支持细粒度评估指标，分析幻觉、可供性问题等错误
- 兼容多种LLM模块评估，如目标解释和子目标分解
快速开始
- 第一步：使用Conda创建Python 3.8环境并激活（命令：conda create -n eai-eval python=3.8 -y && conda activate eai-eval）
- 第二步：通过pip安装eai-eval包（命令：pip install eai-eval）
- 第三步：运行评估命令（例如：eai-eval --dataset virtualhome --eval-type action_sequencing --mode evaluate_results）
界面预览
与其他方案对比
| 对比项 | embodied-agent-interface | 同类方案 |
|---|---|---|
| 评估粒度 | 提供细粒度错误类型分析，如幻觉和规划错误 | 通常只关注最终任务成功率，难以定位具体缺陷 |
| 任务覆盖 | 统一接口支持多种具身决策任务和LLM模块 | 评估可能分散在不同领域和目的，缺乏标准化 |
| 接口标准化 | 提供标准化目标规格和模块接口，简化集成流程 | 可能依赖自定义脚本，集成复杂度较高 |
适合谁用
- 研究LLMs在具身环境中应用的AI研究人员
- 开发智能代理或机器人系统的工程师
- 需要基准测试LLMs决策能力的数据科学家
下载与版本
当前最新版本为 main，发布于 。支持 Windows、macOS、Linux。
⚠️ 注意：本项目仅提供源代码下载，不包含可直接运行的安装包（exe/dmg/apk 等。下载后需要自行编译构建才能使用，适合有一定开发经验的用户。如果你不熟悉编译流程，建议寻找同类开箱即用的替代方案。
注意事项
- 本工具仅供学习和研究使用，请遵守相关法律法规。
- 请尊重内容创作者版权，勿将下载内容用于商业或非法传播。
- 项目源码地址：https://github.com/embodied-agent-interface/embodied-agent-interface