产品简介
midscene-skills 一款基于AI视觉识别的跨平台UI自动化工具。它允许你通过自然语言指令，直接控制浏览器、桌面应用、手机等不同设备的界面，无需编写复杂的脚本。适合开发者和测试工程师，用于自动化测试和流程自动化，解决传统自动化脚本编写难、维护难、跨平台支持差的痛点。
核心功能
- 自然语言驱动，直接用说话或打字的方式控制UI操作
- 全面跨平台支持，覆盖浏览器、桌面、Android、iOS、鸿蒙等系统
- 基于视觉的自动化，完全通过截图理解和操作界面，无需依赖DOM或控件属性
- 提供针对不同平台的具体‘技能’模块，按需组合使用
- 集成主流的AI测试框架，如Vitest，可用于构建和管理AI驱动的E2E测试
快速开始
- 确保系统已安装 Node.js。
- 使用命令 `npx skills add web-infra-dev/midscene-skills` 安装所需技能。
- 配置AI模型的API密钥和信息到环境变量或`.env`文件中。
- 在聊天机器人或编程助手中，使用自然语言指令调用相关技能执行任务。
界面预览
与其他方案对比
| 对比项 | midscene-skills | 同类方案 |
|---|---|---|
| 脚本依赖性与灵活性 | 无需编写脚本，通过自然语言和视觉识别操作，更灵活，对UI变化不敏感 | 需要编写和维护详细的元素选择器脚本（如XPath， CSS），UI稍有变动脚本就可能失败 |
适合谁用
- 需要自动化Web应用测试的开发者或QA工程师
- 需要自动化桌面或移动应用UI测试的测试工程师
- 希望用自然语言简化复杂跨平台自动化流程的技术团队
下载与版本
当前最新版本为 main，发布于 。支持 Windows、macOS、Linux。
⚠️ 注意：本项目仅提供源代码下载，不包含可直接运行的安装包（exe/dmg/apk 等。下载后需要自行编译构建才能使用，适合有一定开发经验的用户。如果你不熟悉编译流程，建议寻找同类开箱即用的替代方案。
注意事项
- 本工具仅供学习和研究使用，请遵守相关法律法规。
- 请尊重内容创作者版权，勿将下载内容用于商业或非法传播。
- 项目源码地址：https://github.com/web-infra-dev/midscene-skills