多进程模型的优势是CPU，适用于CPU密集型。同时，多进程模型也适用于多机分布式场景中，易于多机扩展。

多线程模型主要优势为线程间切换代价较小，因此适用于I/O密集型的工作场景，因此I/O密集型的工作场景经常会由于I/O阻塞导致频繁的切换线程。同时，多线程模型也适用于单机多核分布式场景。

io 操作不占用CPU（从硬盘、从网络、从内存读数据都算io）
计算占用CPU（如1+1计算） Continue reading →

并发：同一时间段有几个程序都处于已经启动到运行完毕之间，并且这几个程序都在同一个处理机上运行，并发的两种关系是同步和互斥；

互斥：进程之间访问临界资源时相互排斥的现象；

同步：进程之间存在依赖关系，一个进程结束的输出作为另一个进程的输入。具有同步关系的一组并发进程之间发送的信息称为消息或者事件；

并行：单处理器中进程被交替执行，表现出一种并发的外部特征；在多处理器中，进程可以交替执行，还能重叠执行，实现并行处理，并行就是同事发生的多个并发事件，具有并发的含义，但并发不一定是并行，也就是说事件之间不一定要同一时刻发生；

多线程：多线程是进程中并发运行的一段代码，能够实现线程之间的切换执行；

异步：和同步相对，同步是顺序执行，而异步是彼此独立，在等待某个事件的过程中继续做自己的事，不要等待这一事件完成后再工作。线程是实现异步的一个方式，异步是让调用方法的主线程不需要同步等待另一个线程的完成，从而让主线程干其他事情。

异步和多线程：不是同等关系，异步是目的，多线程只是实现异步的一个手段，实现异步可以采用多线程技术或者交给其他进程来处理。

Python

python自然不用多说，拥有的爬虫框架数不胜数。

• scrapy，大名鼎鼎的爬虫框架，功能强大，乃入门学习的必备良药。支持多种多样的配置特性，唯一可惜不支持分布式的特性，于是就诞生了scrapy-redis这个以redis为队列的分布式爬虫框架。
• pyspider，应该是个华人写的爬虫框架，可支持的配置非常多，同时也支持分布式，只需要配置中间的消息队列就可以。
• portia，可视化的爬虫框架，对于编程经验少的人来说相当适合学习。
• xcrawler，轻量级的爬虫框架。个人很简易从读轻量级的爬虫框架的源代码入手，这样能够由浅入深，学地更有意思。
• cola，也是很强大的分布式爬虫框架，只是可惜不支持python 3以上。
• fetchman, 国人写的爬虫框架，采用grequests来并发请求。看过源代码，写的容易理解，所以对于新手来说很实用。
• gain, 使用asyncio`来异步爬取的轻量级爬虫框架。代码很容易理解，利于学习。

Java

Java接触的不是很多，所以知道的爬虫框架不多。

• webmagic，这个是国人写的爬虫框架，很好用，也很强大。源代码的阅读体验也不错，推荐写java的可以去熟悉熟悉。
• crawler4j， 比较好的爬虫架构，对于学习和理解爬虫框架很有用。
• SeimiCrawler， 分布式爬虫框架，也是受到scrapy启发。支持动态渲染的页面爬虫。
• elves, 轻量级的爬虫框架，国人写的。易于学习和理解。

Node

node接触的更加不多，但是也淘到了不错的几个框架。

• node-crawler,强大且流行。采用Cheerio这个包解析网页结构。
• webster,高性能的NodeJs爬虫框架，可爬取动态渲染的内容（通过headless Chrome）。

C#

C#作为笔者除了Python以外比较熟悉的语言了。但是发现其爬虫框架少的可怜。哎，不禁叹息。

• DotnetSpider，整体架构参照了WebMagic和Scrapy，是C#中比较强大的存在。目前已经支持.net core 2.0，所以，喜欢C#的可以去玩玩。还是比较不错的支持Entity Framework。
• WebCrawler，国人写的轻量级的爬虫框架。可以去学习学习~~~

Continue reading →