产品简介
CRMArena 这是 Salesforce AI Research 开源的评估工具包，用于系统化测试 LLM 智能体处理专业CRM任务的能力，包含扩展版本以支持多样化的商业场景和交互。面向AI研究人员和开发者，是评估和提升LLM商业应用能力的基准平台。
核心功能
- 提供原版CRMArena与扩展版CRMArena-Pro的评估代码
- 覆盖多样化的真实业务场景（如B2B、B2C）与交互模式
- 配套提供标准化的评估数据集与排行榜
- 集成并支持连接Salesforce模拟环境进行实验
- 已获顶级学术会议（NAACL, TMLR）认可
快速开始
- 使用 `pip install -e .` 安装项目依赖。
- 根据README提供的示例凭证，配置连接到指定的Salesforce评估环境。
- 参照 `run_tasks_crmarena.sh` 或 `run_tasks_crmarena_pro.sh` 脚本配置参数并运行实验。
界面预览
与其他方案对比
| 对比项 | CRMArena | 同类方案 |
|---|---|---|
| 评估场景覆盖度 | 提供专业、真实的CRM任务场景，并扩展至B2B、B2C等多样商业交互模式 | 通常基于通用或简化的任务，难以反映真实商业环境的复杂性 |
| 评估基准与配套 | 提供标准化数据集、排行榜及与真实商业软件的交互集成 | 可能缺乏统一的基准数据、社区比较平台及与企业级应用的集成 |
适合谁用
- 专注于AI Agent与大语言模型能力研究的科研人员
- 致力于构建商业领域AI应用的开发者与团队
- 需要评估LLM在具体业务场景下表现的学术机构
下载与版本
当前最新版本为 main，发布于 。支持 Windows、macOS、Linux。
⚠️ 注意：本项目仅提供源代码下载，不包含可直接运行的安装包（exe/dmg/apk 等。下载后需要自行编译构建才能使用，适合有一定开发经验的用户。如果你不熟悉编译流程，建议寻找同类开箱即用的替代方案。
注意事项
- 本工具仅供学习和研究使用，请遵守相关法律法规。
- 请尊重内容创作者版权，勿将下载内容用于商业或非法传播。
- 项目源码地址：https://github.com/SalesforceAIResearch/CRMArena