产品简介
crawler-buddy Crawler-buddy是一个跨平台爬虫框架，通过HTTP接口提供JSON格式数据，自动发现RSS feed，无需依赖yt-dlp等工具。适合需要自动化数据抓取和RSS处理的开发者和数据工程师。
核心功能
- 提供标准化JSON格式的爬取数据
- 自动发现网站和YouTube频道的RSS feed URL
- 支持多种爬虫方法，如Requests、Selenium等
- Docker容器化运行，增强安全性和隔离性
- 统一接口处理所有元数据，简化数据处理
- 支持UTF-8编码，避免编码问题
快速开始
- 安装Docker环境
- 拉取并运行crawler-buddy Docker镜像
- 使用HTTP GET请求访问API端点，如/api/get，传入URL参数获取JSON数据
界面预览
与其他方案对比
| 对比项 | crawler-buddy | 同类方案 |
|---|---|---|
| 数据标准化 | 自动标准化元数据，提供一致JSON字段，无需自定义解析工具如Beautiful Soup | 传统爬虫可能需要手动解析和标准化，依赖外部库 |
适合谁用
- 需要自动化抓取网页数据的软件开发者
- 管理和解析RSS订阅内容的运营人员
- 数据工程师，需要标准化数据进行分析
下载与版本
当前最新版本为 main，发布于 。支持 Windows、macOS、Linux。
⚠️ 注意：本项目仅提供源代码下载，不包含可直接运行的安装包（exe/dmg/apk 等。下载后需要自行编译构建才能使用，适合有一定开发经验的用户。如果你不熟悉编译流程，建议寻找同类开箱即用的替代方案。
注意事项
- 本工具仅供学习和研究使用，请遵守相关法律法规。
- 请尊重内容创作者版权，勿将下载内容用于商业或非法传播。
- 项目源码地址：https://github.com/rumca-js/crawler-buddy