网络爬虫开源项目点评

scrapy

Python

Scrapy，一个快速的高级网络抓取& Python的抓取框架。

fork
9,808
star
45,406
查看点评 源码

lux

Go

👾 用Go编写的快速而简单的视频下载库和CLI工具

fork
2,375
star
19,831
查看点评 源码

colly

Go

优雅的Golang刮刀和爬虫框架

fork
1,517
star
18,457
查看点评 源码

proxy_pool

Python

Python爬虫代理IP池(代理池)

fork
4,406
star
16,731
查看点评 源码

pyspider

Python

一个强大的Python Spider(Web Crawler)系统。

fork
3,661
star
15,686
查看点评 源码

newspaper

Python

Python 3中的新闻、全文和文章元数据提取。高级文档。

fork
1,991
star
12,310
查看点评 源码

examples-of-web-crawlers

Python

一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。(Some interestin...

fork
3,552
star
11,715
查看点评 源码

webmagic

Java

一个可扩展的Java网络爬虫框架。

fork
4,105
star
10,650
查看点评 源码

crawlab

Go

分布式爬虫管理平台，支持任何语言和框架的爬虫管理。分布式爬虫管理平台，支持任何语言和框架

fork
1,571
star
9,423
查看点评 源码

Photon

Python

为OSINT设计的令人难以置信的快速爬行器。

fork
1,360
star
9,235
查看点评 源码

DecryptLogin

Python

DecryptLogin:用于通过使用请求登录一些网站的API。

fork
712
star
2,483
查看点评 源码

Douyin_TikTok_Download_API

Python

🚀「DouyinTikTokDownload_API」是一个开箱即用的高性能异步抖音|TikTok数据爬取工具，支持API调用，在线批量解...

fork
275
star
1,104
查看点评 源码

awesome-python-primer

Python

自学入门 Python 优质中文资源索引，包含 书籍 / 文档 / 视频，适用于 爬虫 / Web / 数据分析 / 机器学习 方向

fork
17
star
85
查看点评 源码

AutoTBOXDataSystem

Java

汽车TBOX数据采集及分析系统设计与实现

fork
6
star
6
查看点评 源码