Python

python自然不用多说，拥有的爬虫框架数不胜数。

• scrapy，大名鼎鼎的爬虫框架，功能强大，乃入门学习的必备良药。支持多种多样的配置特性，唯一可惜不支持分布式的特性，于是就诞生了scrapy-redis这个以redis为队列的分布式爬虫框架。
• pyspider，应该是个华人写的爬虫框架，可支持的配置非常多，同时也支持分布式，只需要配置中间的消息队列就可以。
• portia，可视化的爬虫框架，对于编程经验少的人来说相当适合学习。
• xcrawler，轻量级的爬虫框架。个人很简易从读轻量级的爬虫框架的源代码入手，这样能够由浅入深，学地更有意思。
• cola，也是很强大的分布式爬虫框架，只是可惜不支持python 3以上。
• fetchman, 国人写的爬虫框架，采用grequests来并发请求。看过源代码，写的容易理解，所以对于新手来说很实用。
• gain, 使用asyncio`来异步爬取的轻量级爬虫框架。代码很容易理解，利于学习。

Java

Java接触的不是很多，所以知道的爬虫框架不多。

• webmagic，这个是国人写的爬虫框架，很好用，也很强大。源代码的阅读体验也不错，推荐写java的可以去熟悉熟悉。
• crawler4j， 比较好的爬虫架构，对于学习和理解爬虫框架很有用。
• SeimiCrawler， 分布式爬虫框架，也是受到scrapy启发。支持动态渲染的页面爬虫。
• elves, 轻量级的爬虫框架，国人写的。易于学习和理解。

Node

node接触的更加不多，但是也淘到了不错的几个框架。

• node-crawler,强大且流行。采用Cheerio这个包解析网页结构。
• webster,高性能的NodeJs爬虫框架，可爬取动态渲染的内容（通过headless Chrome）。

C#

C#作为笔者除了Python以外比较熟悉的语言了。但是发现其爬虫框架少的可怜。哎，不禁叹息。

• DotnetSpider，整体架构参照了WebMagic和Scrapy，是C#中比较强大的存在。目前已经支持.net core 2.0，所以，喜欢C#的可以去玩玩。还是比较不错的支持Entity Framework。
• WebCrawler，国人写的轻量级的爬虫框架。可以去学习学习~~~

Continue reading →