Python
python自然不用多说，拥有的爬虫框架数不胜数。
- scrapy，大名鼎鼎的爬虫框架，功能强大，乃入门学习的必备良药。支持多种多样的配置特性，唯一可惜不支持分布式的特性，于是就诞生了scrapy-redis这个以
redis为队列的分布式爬虫框架。 - pyspider，应该是个华人写的爬虫框架，可支持的配置非常多，同时也支持分布式，只需要配置中间的消息队列就可以。
- portia，可视化的爬虫框架，对于编程经验少的人来说相当适合学习。
- xcrawler，轻量级的爬虫框架。个人很简易从读轻量级的爬虫框架的源代码入手，这样能够由浅入深，学地更有意思。
- cola，也是很强大的分布式爬虫框架，只是可惜不支持
python 3以上。 - fetchman, 国人写的爬虫框架，采用grequests来并发请求。看过源代码，写的容易理解，所以对于新手来说很实用。
- gain, 使用
asyncio`来异步爬取的轻量级爬虫框架。代码很容易理解，利于学习。
Java
Java接触的不是很多，所以知道的爬虫框架不多。
- webmagic，这个是国人写的爬虫框架，很好用，也很强大。源代码的阅读体验也不错，推荐写
java的可以去熟悉熟悉。 - crawler4j， 比较好的爬虫架构，对于学习和理解爬虫框架很有用。
- SeimiCrawler， 分布式爬虫框架，也是受到
scrapy启发。支持动态渲染的页面爬虫。 - elves, 轻量级的爬虫框架，国人写的。易于学习和理解。
Node
node接触的更加不多，但是也淘到了不错的几个框架。
- node-crawler,强大且流行。采用
Cheerio这个包解析网页结构。 - webster,高性能的
NodeJs爬虫框架，可爬取动态渲染的内容（通过headless Chrome）。
C#
C#作为笔者除了Python以外比较熟悉的语言了。但是发现其爬虫框架少的可怜。哎，不禁叹息。
- DotnetSpider，整体架构参照了
WebMagic和Scrapy，是C#中比较强大的存在。目前已经支持.net core 2.0，所以，喜欢C#的可以去玩玩。还是比较不错的支持Entity Framework。 - WebCrawler，国人写的轻量级的爬虫框架。可以去学习学习~~~
作者：浅浅的笑意
链接：https://www.jianshu.com/p/8147bb0cc026
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。