PHPcURL抓取网页数据实战教程

本文深入剖析了PHP使用cURL抓取网页数据时最常踩的四大“坑”：为何curl_exec()悄无声息返回空字符串（根源在于未开启CURLOPT_RETURNTRANSFER）、HTTPS请求因SSL证书验证失败而报错60的正确解法（指定可信CA证书路径而非禁用验证）、如何通过精准设置User-Agent及关键HTTP头规避403拒绝访问、以及中文乱码问题的可靠应对策略（基于mb_detect_encoding严格探测并转换编码）——每一个看似微小的配置疏漏，都可能让爬虫功亏一篑，而本文提供的正是生产环境中经验证的、兼顾安全性与稳定性的实操方案。

为什么 curl_exec() 返回空字符串但没报错

常见原因是没显式开启 CURLOPT_RETURNTRANSFER。cURL 默认直接输出响应体，而不是返回给 PHP 变量。一旦漏掉这行，curl_exec() 看似执行成功，实际返回 null 或空字符串。

务必在 curl_setopt() 中设置：

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

• 不设或设为 false：响应直接打印到输出缓冲，函数返回 true（不代表有数据）
• 设为 true：响应内容作为字符串返回，可赋值给变量处理
• 若同时用了 ob_start()，容易误以为“有内容”，其实是缓冲区里的输出，不是函数返回值

抓取 HTTPS 页面时出现 SSL 证书验证失败

错误信息类似：cURL error 60: SSL certificate problem: unable to get local issuer certificate。这不是代码写错了，而是 cURL 缺少可信 CA 证书包，尤其在 Windows 或某些 Linux 发行版上常见。

安全且实用的解法是显式指定 CA 证书路径，而非禁用验证（CURLOPT_SSL_VERIFYPEER => false 不推荐）：

curl_setopt($ch, CURLOPT_CAINFO, '/path/to/cacert.pem');

• 证书文件可从 https://curl.se/ca/cacert.pem 下载，保存为本地 cacert.pem
• Windows 下路径注意用正斜杠或双反斜杠，例如 C:/php/cacert.pem
• 如果服务器已安装系统级 CA（如 Ubuntu 的 ca-certificates 包），也可设为 /etc/ssl/certs/ca-certificates.crt

如何模拟浏览器正常访问避免被拒绝

很多网站会检查 User-Agent、Accept、甚至 Referer，直接裸调用 cURL 很可能返回 403 或空页。

至少补全以下基础请求头：

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36');
curl_setopt($ch, CURLOPT_HTTPHEADER, [
    'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language: zh-CN,zh;q=0.9,en;q=0.8',
    'Accept-Encoding: gzip, deflate',
    'Connection: keep-alive',
]);

• CURLOPT_FOLLOWLOCATION 设为 true 才能自动跳转（比如登录后重定向）
• 需要维持会话时，配合 CURLOPT_COOKIEJAR 和 CURLOPT_COOKIEFILE 写入/读取 cookie 文件
• 部分站点还校验 Sec-Fetch-* 头，但 PHP cURL 无法原生设置这些，此时需考虑改用 Puppeteer 或 Playwright

抓取中文网页乱码或 mb_detect_encoding() 判定失败

根本原因常是网页声明了 charset=gb2312 或 gbk，但 PHP 默认按 UTF-8 解析。直接 iconv() 转换易出错，因为原始编码未必严格符合声明。

更稳妥的做法是：先用 mb_detect_encoding() 尝试探测，再按需转换：

$content = curl_exec($ch);
$encoding = mb_detect_encoding($content, ['UTF-8', 'GBK', 'GB2312', 'BIG5'], true);
if ($encoding && $encoding !== 'UTF-8') {
    $content = mb_convert_encoding($content, 'UTF-8', $encoding);
}

• 第三个参数 true 表示严格模式，避免误判
• 不要依赖 标签——它可能晚于 HTTP Header 中的 Content-Type，而 cURL 只拿到原始字节流
• 如果页面本身混合编码（极少见），需结合 mb_substitute_character('none') 避免替换问号影响后续解析

理论要掌握，实操不能落！以上关于《PHPcURL抓取网页数据实战教程》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！