PHP自动翻页抓取数据教程详解

本文深入剖析了PHP抓取分页数据的关键难点与实战要点，强调成功的核心不在于编写“自动翻页”的循环代码，而在于精准识别目标网站的分页机制（GET参数、AJAX接口或前端渲染的无限滚动），并针对性地构造请求、严谨处理curl异常响应、合理延时防封、以及用XPath等技术稳健提取结构化数据；文章直击开发者常见误区——盲目写循环却忽视网页真实逻辑和反爬变化，提醒读者：花10分钟读懂三页源码和网络请求，远胜于事后数小时调试。

PHP 抓取分页内容，核心不是“自动翻页”，而是识别分页逻辑并构造正确请求——多数失败源于没看懂目标网站的分页机制，而非代码写得不够“智能”。

怎么判断分页是 GET 参数、AJAX 还是滚动加载

先打开浏览器开发者工具（F12），切到 Network 标签，手动点下一页或滚动到底部，观察触发了什么请求：

• URL 变成 list.php?page=2 或 index.html?p=3 → 是 GET 分页，直接拼 page 参数即可
• 看到 XHR 或 fetch 请求，响应是 JSON，地址像 /api/items?page=2 → 是 AJAX 分页，需模拟带 Accept: application/json 的请求，注意 Referer 和 Cookie 是否需要携带
• 没新请求，但页面 DOM 增加了新条目 → 很可能是前端 JS 渲染的无限滚动，PHP 无法直接抓取，得换方案（如 Puppeteer）或找它背后的真实 API

curl 循环请求时必须处理的三个细节

用 curl 抓多页，光写个 for 循环远远不够：

• 每次请求后检查 HTTP 状态码：curl_getinfo($ch, CURLINFO_HTTP_CODE) 不是 200 就该停，别硬刷
• 解析 HTML 前先确认是否拿到完整内容：用 mb_strlen($html) < 1000 或匹配关键标签（如