产品简介
superl-url 一款用于从多个搜索引擎（如百度、搜狗）根据关键词批量采集结果真实URL和标题的工具，支持自动去重、域名/标题过滤、结果保存。适用于安全测试、漏洞评估及信息收集场景。请注意：Python开源版已停止维护，官方推荐使用Go语言版本（msray）。
核心功能
- 支持同时采集多个搜索引擎（已内置百度、搜狗、360），模块化易于扩展
- 可过滤指定域名或标题关键词，支持TXT配置文件
- 自动去除重复的URL
- 可灵活配置输出格式（真实URL、原始URL、带参数URL、域名、标题等）
- 支持保存为本地TXT文件或写入远程MySQL数据库
快速开始
- 安装Python环境及所需依赖库（tldextract、configparser等）。
- 编辑配置文件（config.cfg），开启需要的搜索引擎并设置过滤、保存等参数。
- 运行程序，根据提示输入关键词和采集页数，开始自动采集并保存结果。
界面预览
与其他方案对比
| 对比项 | superl-url | 同类方案 |
|---|---|---|
| 平台与开源 | 跨平台（Windows/macOS/Linux），完整开源，代码透明无后门风险 | 许多同类软件仅为Windows可执行文件，可能闭源或存在后门 |
| 可维护性 | Python开源版已停止维护，官方建议转向功能更完善的Go语言版msray | 许多采集软件随搜索引擎规则更新而失效，且无法自行修改 |
| 过滤与定制 | 支持通过配置文件灵活过滤域名/标题，并自定义结果输出格式 | 过滤和输出格式通常固定，可定制性较差 |
适合谁用
- 进行安全渗透测试、评估CMS漏洞影响的安全研究人员
- 需要批量搜集特定主题网站信息的内容创作者或运营人员
- 有网站数据采集需求的技术爱好者或研究人员
下载与版本
当前最新版本为 master，发布于 。支持 Windows、macOS、Linux。
⚠️ 注意：本项目仅提供源代码下载，不包含可直接运行的安装包（exe/dmg/apk 等。下载后需要自行编译构建才能使用，适合有一定开发经验的用户。如果你不熟悉编译流程，建议寻找同类开箱即用的替代方案。
注意事项
- 本工具仅供学习和研究使用，请遵守相关法律法规。
- 请尊重内容创作者版权，勿将下载内容用于商业或非法传播。
- 项目源码地址：https://github.com/super-l/superl-url