产品简介
SafetyBench 提供全面基准测试，用于评估大语言模型安全性，包含11,435个中英文测试题，覆盖7个安全类别，帮助AI研究者、开发者和安全评估人员量化比较模型安全性能。
核心功能
- 包含11,435个多样化的多项选择题
- 涵盖7个安全类别
- 支持中英文数据评估
- 提供实时排行榜
- 包含数据下载和评估代码示例
快速开始
- 下载数据集：运行 download_data.sh 脚本或 download_data.py 代码
- 准备评估环境：参考 evaluate_baichuan.py 示例代码
- 运行评估：使用零样本或五样本设置提取预测答案
- 提交结果：将结果JSON文件上传至官网
界面预览
与其他方案对比
| 对比项 | SafetyBench | 同类方案 |
|---|---|---|
| 多语言评估能力 | 同时支持中文和英文数据评估 | 多数基准仅支持英文评估 |
| 数据规模与多样性 | 包含11,435个问题，覆盖7个安全类别 | 其他基准题目数量较少或类别覆盖不全 |
适合谁用
- AI研究者：评估和比较不同LLM的安全性能
- 开发者：在部署LLM前测试其安全性
- 安全评估人员：进行模型安全审计和认证
下载与版本
当前最新版本为 main，发布于 。支持 Windows、macOS、Linux。
⚠️ 注意：本项目仅提供源代码下载，不包含可直接运行的安装包（exe/dmg/apk 等。下载后需要自行编译构建才能使用，适合有一定开发经验的用户。如果你不熟悉编译流程，建议寻找同类开箱即用的替代方案。
注意事项
- 本工具仅供学习和研究使用，请遵守相关法律法规。
- 请尊重内容创作者版权，勿将下载内容用于商业或非法传播。
- 项目源码地址：https://github.com/thu-coai/SafetyBench