本项目所有内容仅供个人学习和参考之用,禁止用于商业用途。
点击展开完整免责声明
本项目是作为一个技术研究与学习工具而创建的,旨在探索和学习网络数据采集技术。
用户在使用本项目时,应严格遵守中华人民共和国相关法律法规,包括但不限于《中华人民共和国网络安全法》等。用户应自行承担因使用本项目而可能引起的法律责任。
本项目严禁用于任何非法目的或商业行为。用户应保证其使用目的纯属个人学习和技术研究。
开发者不对用户使用本项目可能引起的任何直接或间接损失承担责任。
本项目的知识产权归开发者所有。
关于本项目的最终解释权归开发者所有。
小红书爬虫,抖音爬虫,快手爬虫,B站爬虫,微博爬虫,百度贴吧,知乎爬虫...
MediaCrawler 开源版的彻底重构,完美支持多账号+IP代理池,专为想深入学习爬虫工程化设计的开发者打造。
相较于开源版,Pro版本最大的变化:
- 增加断点续爬功能,恢复上次爬取的进度
- 多账号+IP代理池支持,让爬虫更加稳定
- 去掉 Playwright 依赖,不再将其集成到爬虫主干中
- 新增签名服务,解耦签名逻辑,让爬虫更加灵活
- 新增自媒体平台视频下载器桌面端项目(适合全栈学习)
- 支持多个平台的首页信息流推荐(HomeFeed)
核心架构能力:多账号池设计、IP代理池集成、断点续爬实现、签名服务解耦
多平台实现:
| 平台 | 关键词搜索 | 指定帖子 | 评论(含二级) | 创作者主页 | 首页推荐流 | 断点续爬 |
|---|---|---|---|---|---|---|
| 小红书 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 抖音 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 快手 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| B站 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 知乎 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 微博 | ✅ | ✅ | ✅ | ✅ | - | ✅ |
| 贴吧 | ✅ | ✅ | ✅ | ✅ | - | ✅ |
| 仓库 | 说明 |
|---|---|
| MediaCrawlerPro-Python | 核心爬虫重构版 |
| MediaCrawlerPro-SignSrv | 签名服务解耦实现 |
| MediaCrawlerPro-Downloader | 全栈视频下载器(Electron+Vue3+Python) |
| MediaCrawlerPro-Golang | Go 语言版本(开发中) |
另外 Pro视频使用教程 + 持续更新 + pro社区issue爬虫问题交流学习
请注意:本项目仅供个人学习源代码使用。
如果你是公司、团队、或有任何商业化/盈利目的,请不要添加微信,感谢理解。
扫码添加微信,备注「Pro」:
微信号:relakkes(如显示频繁,可加:relakkes2)
学习门槛不高,加微信了解详情,觉得适合再加入,没有套路。
Q:适合小白吗?
建议有 Python 基础。能看懂开源版 MediaCrawler 代码就没问题。
Q:费用高吗?
不高,一顿饭钱,开源不易,可以支持一下。
Q:会持续更新吗?
会,加入后持续享有更新。
Q:可以商用吗?
不可以,仅供个人学习。
- 账号池管理(Excel / MySQL)
- 小红书、微博、贴吧、B站、抖音、快手爬虫重构
- 知乎全功能支持
- Pro 版本教程视频
- MediaCrawlerPro-Downloader 开发完成
- MediaCrawlerPro-AI 功能开发中

