Tag Archives: Curl实例

十一 20

PHP Curl实例

Posted on by

1、cURL请求的基本步骤：
（1）初始化

（2）设置选项，包括URL

（3）执行并获取HTML文档内容

（4）释放cURL句柄

0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
<?php
//1、初始化
$ch = curl_init();
 
//2、设置选项，包括URL
curl_setopt($ch, CURLOPT_URL, "http://www.baidu.com/");
 
//将curl_exec()获取的信息以文件流的形式返回，而不是直接输出
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
 
//启动时会将头文件的信息作为数据流输出
curl_setopt($ch, CURLOPT_HEADER, 1);
 
//3、执行并获取HTML文档内容
$content = curl_exec($ch);
 
//4、释放句柄
curl_close($ch);
 
echo $content;
 
?>

注意：第二步最重要，也就是curl_setopt()函数 我们可以加一段检查错误的语句，这里要注意用的是”===false”,这是为了区分空输出和布尔值false

0
1
2
3
4
$output = curl_exec($ch);
 
if ($output === false) {
    echo "cURL Error:".curl_error($ch);
}

curl_getinfo()函数返回cURL执行后这一请求相关的信息，这对调试和排错很有用：

0
1
2
3
4
curl_exec($ch);
$info = curl_getinfo($ch);
echo '<pre>';
print_r($info);    
echo '</pre>';

返回的数据

0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
Array
(
    [url] => http://www.baidu.com/
    [content_type] => text/html
    [http_code] => 200
    [header_size] => 750
    [request_size] => 52
    [filetime] => -1
    [ssl_verify_result] => 0
    [redirect_count] => 0
    [total_time] => 0.125
    [namelookup_time] => 0
    [connect_time] => 0.047
    [pretransfer_time] => 0.047
    [size_upload] => 0
    [size_download] => 14613       //请求的数据大小
    [speed_download] => 116904
    [speed_upload] => 0
    [download_content_length] => 14613
    [upload_content_length] => -1
    [starttransfer_time] => 0.125
    [redirect_time] => 0
    [redirect_url] =>
    [primary_ip] => 61.135.169.121
    [certinfo] => Array
        (
        )
 
    [primary_port] => 80
    [local_ip] => 192.168.1.100
    [local_port] => 29064
)

2、使用curl抓取图片

这些信息在调试很有用，例如在cURL抓取的时候，可能由于网络等原因，时常出现抓取数据不完整的情况，这是我们可以通过所获取的数据计算filesize，然后和curl_getinfo()获取的进行比较，如果大小相等，就认定下载正确，否则进行重复尝试。

下面我们看一个抓取图片的例子：

0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
<?php
header("Content-Type: image/png");
 
//1、初始化
$ch = curl_init();
 
//2、设置选项，包括URL
curl_setopt($ch, , CURLOPT_URL, "http://img04.taobaocdn.com/tfscom/TB1omaTHXXXXXajXVXXtKXbFXXX.png");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 1)；
 
//3、执行并获取内容
$res = curl_exec($ch);
 
//获取信息
$info = curl_getinfo($ch);
 
//4、释放资源
curl_close($ch);
 
file_put_contents("d:/aa.png", $res);
 
$size = filesize("d:/aa.png");
 
if ($size != $info['size_download']) {
    echo "下载的数据不完整，请重新下载";
} else {
    echo "下载数据完整";
}
 
?>

3、在cURL中用POST方法发送数据

0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<?php
$ch = curl_init();
 
//要提交的数据不能是二维数组或者更高 
$data = array('name'=>'kelly', 'age'=>27, 'sex'=>1);
 
curl_setopt($ch, CURLOPT_URL, "http://localhost/");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
 
//设置为post
curl_setopt($ch, CURLOPT_POST, 1);
//把post的变量加上
curl_setopt($ch, CURLOPT_POSTFIELDS,$data);
 
$res = curl_exec($ch);
 
curl_close($ch);
 
echo $res;
 
?>

用此方法可以模拟留言，或者可以坐灌水机器人，思路都是一样的

4、用cURL上传文件

0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
<!--?php //索要上传的数据 $data = array('name'=-->'beauty', "upload"=>"@a.zip");
 
$ch = curl_init();
 
curl_setopt($ch, CURLOPT_URL, "http://127.0.0.1/Socket/upload_file.php");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
 
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
 
$res = curl_exec($ch);
 
curl_close($ch);
 
echo $res;
 
?>

注意：要发送文件时，要在文件名前面加上 @ 前缀并使用完整路径

5、使用代理进行抓取

为什么要使用代理进行抓取呢？以google为例吧，如果去抓google的数据，短时间内抓的很频繁的话，你就抓取不到了。google对你的ip地址做限制这个时候，你可以换代理重新抓。

0
1
2
3
4
5
6
7
8
9
10
    <?php  
     $ch = curl_init();  
     curl_setopt($ch, CURLOPT_URL, "http://blog.51yip.com");  
     curl_setopt($ch, CURLOPT_HEADER, false);  
     curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  
     curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, TRUE);  
     curl_setopt($ch, CURLOPT_PROXY, 125.21.23.6:8080);  
     //url_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');如果要密码的话，加上这个  
     $result=curl_exec($ch);  
     curl_close($ch);  
     ?>

6、抓取一些有页面访问控制的页面

以前写过一篇，页面访问控制的3种方法有兴趣的可以看一下。

如果用上面提到的方法抓的话，会报以下错误

You are not authorized to view this page
You do not have permission to view this directory or page using the credentials that you supplied because your Web browser is sending a WWW-Authenticate header field that the Web server is not configured to accept.

这个时候，我们就要用CURLOPT_USERPWD来进行验证了。

0
1
2
3
4
5
6
7
8
9
10
11
    <?php  
     $ch = curl_init();  
     curl_setopt($ch, CURLOPT_URL, "http://club-china");  
     /*CURLOPT_USERPWD主要用来破解页面访问控制的
     *例如平时我们所以htpasswd产生页面控制等。*/
     //curl_setopt($ch, CURLOPT_USERPWD, '231144:2091XTAjmd=');  
     curl_setopt($ch, CURLOPT_HTTPGET, 1);  
     curl_setopt($ch, CURLOPT_REFERER, "http://club-china");  
     curl_setopt($ch, CURLOPT_HEADER, 0);  
     $result=curl_exec($ch);  
     curl_close($ch);  
     ?>

7、模拟登录到sina

我们要抓取数据，可能是登录以后的内容，这个时候我们就要用到curl的模拟登录功能了。

0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
   <?php
    function checklogin( $user, $password )  
{  
if ( emptyempty( $user ) || emptyempty( $password ) )  
{  
return 0;  
}  
$ch = curl_init( );  
curl_setopt( $ch, CURLOPT_REFERER, "http://mail.sina.com.cn/index.html" );  
curl_setopt( $ch, CURLOPT_HEADER, true );  
curl_setopt( $ch, CURLOPT_RETURNTRANSFER, true );  
curl_setopt( $ch, CURLOPT_USERAGENT, USERAGENT );  
curl_setopt( $ch, CURLOPT_COOKIEJAR, COOKIEJAR );  
curl_setopt( $ch, CURLOPT_TIMEOUT, TIMEOUT );  
curl_setopt( $ch, CURLOPT_URL, "http://mail.sina.com.cn/cgi-bin/login.cgi" );  
curl_setopt( $ch, CURLOPT_POST, true );  
curl_setopt( $ch, CURLOPT_POSTFIELDS, "&logintype=uid&u=".urlencode( $user )."&psw=".$password );  
$contents = curl_exec( $ch );  
curl_close( $ch );  
if ( !preg_match( "/Location: (.*)\\/cgi\\/index\\.php\\?check_time=(.*)\n/", $contents, $matches ) )  
{  
return 0;  
}else{  
return 1;  
}  
}  
 
     define( "USERAGENT", $_SERVER['HTTP_USER_AGENT'] );  
     define( "COOKIEJAR", tempnam( "/tmp", "cookie" ) );  
     define( "TIMEOUT", 500 );  
 
     echo checklogin("zhangying215","xtaj227");  
     ?>

打开/tmp下面的cookie文件看一下

8、cURL设置项

其实，cURL有许多配置选项，这些选项才是cURL的灵魂，通过setopt()设置，下面总结几个比较常见且重要的配置项，希望在对读者在以后用到cURL时有一定的帮助：

CURLOPT_AUTOREFERER:当根据location:重定向时，自动设置header中的Referer:信息

CURLOPT_COOKIESESSION:启用时cURL会紧紧传递一个sessioncookie，忽略其他cookie

CURLOPT_HEADER:将头文件的信息作为数据流输出

CURLOPT_INFILESIZE:设置上传文件的大小，单位为字节

CURLOPT_MAXCONNECTS:允许最大连接数量

CURLOPT_MAXREDIRS:指定HTTP重定向的最多数量

CURLOPT_COOKIE:设置HTTP请求中“cookie:”部分的内容，多个cookie用分号跟个，分号后带一个空格

CURLOPT_POSTFIELDS:全部数据用HTTP协议中的“POST”操作发送要发送文件，在文件名前面加上@前缀并使用完整路径