十二 07

cheerio中文文档

这篇参考手册是对cheerio 官方文档 的中文翻译

cheerio是jquery核心功能的一个快速灵活而又简洁的实现,主要是为了用在服务器端需要对DOM进行操作的地方

简介

让你在服务器端和html愉快的玩耍

安装

Continue reading

十二 02

jsdom中文文档

jsdom是一个纯粹由 javascript 实现的一系列 web标准,特别是 WHATWG 组织制定的DOM和 HTML 标准,用于在 nodejs 中使用。大体上来说,该项目的目标是模拟足够的Web浏览器子集,以便用于测试和挖掘真实世界的Web应用程序。

最新版本的 jsdom 运行环境需要 node.js v6或者更高的版本。(jsdom v10以下版本在 nodejs v4以下仍然可用,但是我们已经不支持维护了)

v10版本的 jsdom 拥有全新的 API(如下所述).旧的 API 现在仍然支持;详细的参照文档

基本用法

Continue reading

十一 25

nodejs模块request的官方文档

提示:自动翻译的nodejs模块request的官方文档,大致的改了一些,但是可能还有一些地方不是原文的意思,或者不像人话的地方,所以还需要对照一下原文,原文地址在最下方。

超级简单易用

请求被设计为进行http调用的最简单方法。它支持HTTPS,默认情况下遵循重定向。

目录 Continue reading

十一 22

为nodejs模块PhantomJS配置代理

为nodejs模块PhantomJS配置代理

PhantomJS模块配置代理方案一:

PhantomJS模块配置代理方案二: Continue reading

十一 22

使用nodejs模块PhantomJS制作爬虫之我们必须要懂的

使用nodejs模块PhantomJS进行页面自动化,因为PhantomJS可以加载和操纵网页,所以执行各种页面自动化任务是完美的。

DOM操作

由于脚本的执行就像在Web浏览器上运行一样,因此标准的DOM脚本CSS选择器可以正常工作。

以下useragent.js示例演示如何读取idtextContent的元素属性qua Continue reading

十一 22

nodejs模块 – phantomjs的简单爬虫应用实例

nodejs模块 – phantomjs的简单爬虫应用实例

PhantomJS是一个可以用JavaScript编写脚本的无头web浏览器。它可以在Windows、macOS、Linux和FreeBSD上运行。
它使用QtWebKit作为后端,为各种web标准(DOM处理、CSS选择器、JSON、Canvas和SVG)提供快速和本机支持。

安装phantomjs

安装Cheerio, Cheerio是一个服务器端基本实现Jquery核心功能的一个库

Continue reading

十一 21

Request模块让 Node.js http请求变得简单

Node.js的模块——request。有了这个模块,http请求变的超简单。

使用超简单

Request使用超简单,同时支持https和重定向。

任何响应都可以输出到文件流。 Continue reading

十一 17

HTTP、TCP/IP、UDP、Socket、Socket长连接、Socket连接池

前言

​ 作为一名开发人员我们经常会听到HTTP协议、TCP/IP协议、UDP协议、Socket、Socket长连接、Socket连接池等字眼,然而它们之间的关系、区别及原理并不是所有人都能理解清楚,这篇文章就从网络协议基础开始到Socket连接池,一步一步解释他们之间的关系。

七层网络模型

​ 首先从网络通信的分层模型讲起:七层模型,亦称OSI(Open System Interconnection)模型。自下往上分为:物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。所有有关通信的都离不开它,下面这张图片介绍了各层所对应的一些协议和硬件

119190082-5aba3da90a5aa

通过上图,我知道IP协议对应于网络层,TCP、UDP协议对应于传输层,而HTTP协议对应于应用层,OSI并没有Socket,那什么是Socket,后面我们将结合代码具体详细介绍。 Continue reading