1. phantomjs
PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持，其快速、原生支持各种Web标准：DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。
以下附有官方安装方式，如果你是 Ubuntu 或 Mac OS X用户，可以直接用命令来安装
Ubuntu:
|
0 |
sudo apt-get install phantomjs |
Mac OS X:
|
0 |
brew install phantomjs |
很不幸的是，phantomjs已不再更新。替代品是Selenium+Headless Firefox，详细介绍在这里 >> 。
2. pyspider
直接利用 pip 安装即可
|
0 |
pip install pyspider |
如果你是 Ubuntu 用户，请提前安装好以下支持类库
|
0 |
sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml |
测试
如果安装过程没有提示任何错误，那就证明一些OK。
命令行输入
|
0 |
pyspider all |
然后浏览器访问 http://localhost:5000