CodeIgniter分页只获取首块数据原因分析

本文深入剖析了 CodeIgniter 在分块查询（如 CSV 导出）中“只返回首块数据”这一常见陷阱的底层根源——`get()` 方法每次调用都会重置整个查询构建器状态，清空 JOIN、WHERE、ORDER BY 等关键条件，导致后续分页实际执行的是无关联、无序的裸表查询；文章不仅一针见血地指出问题本质，更提供了一套经过实战验证的安全高效解决方案：通过一次性构建完整查询、克隆 DB 实例、手动编译 SQL 并配合 `query()` 执行，彻底规避重置风险，同时融入 CSV 头写入、错误防护、游标分页优化等最佳实践，让大数据导出既稳定又可扩展。

本文揭示 CodeIgniter 中 get() 方法在循环分块查询时仅返回首块数据的根本原因——每次调用会重置查询构建器状态，并提供安全、高效的分块导出 CSV 的完整实现方案。

本文揭示 CodeIgniter 中 `get()` 方法在循环分块查询时仅返回首块数据的根本原因——每次调用会重置查询构建器状态，并提供安全、高效的分块导出 CSV 的完整实现方案。

在使用 CodeIgniter 进行大数据量导出（如生成 CSV 文件）时，开发者常采用「分块查询（chunked query）」策略：通过 LIMIT 和 OFFSET 分批读取数据库记录，避免内存溢出或超时。然而，如问题所示，以下典型写法会导致仅首块（如前 2000 行）被写入文件，后续循环始终返回空或重复数据：

while ($offset < $totalRows) {
    $result = $this->db->get('tblProgram', $chunk, $offset)->result_array(); // ❌ 问题所在
    // ... 处理结果
    $offset += $chunk;
}

根本原因：get() 方法会自动重置查询构建器

查阅 CodeIgniter 源码（DB_query_builder.php#L2521）可知，get() 方法内部执行了关键操作：

public function get($table = '', $limit = NULL, $offset = NULL)
{
    if ($table !== '') {
        $this->_track_aliases($table);
        $this->from($table); // ⚠️ 重设 FROM 表！
    }

    if (!empty($limit)) {
        $this->limit($limit, $offset); // ⚠️ 覆盖原有 LIMIT/OFFSET
    }

    $result = $this->query($this->_compile_select());
    $this->_reset_select(); // ✅ 彻底清空所有 WHERE、JOIN、ORDER BY 等状态！
    return $result;
}

这意味着：每次调用 $this->db->get(...) 都会丢弃此前设置的所有查询条件（包括 join()、order_by()、where() 等），仅保留最后一次 from() 和 limit()。因此，第二次循环时，$this->db->join() 和 $this->db->order_by() 已失效，实际执行的是一个不带关联、无排序的裸表查询 —— 很可能因主键缺失或索引失效导致结果集异常，甚至因优化器选择全表扫描而返回错误偏移。

正确做法：复用查询构造器 + 手动编译 + 避免 get()

应避免在循环内反复调用 get()，而是：

1. 一次性构建完整查询结构（含 JOIN、WHERE、ORDER BY）；
2. 在循环中仅动态注入 LIMIT 和 OFFSET；
3. 使用 query() 执行已编译的 SQL，绕过 get() 的重置逻辑。

以下是修复后的专业实现（兼容 CI 3.x）：

public function get_download_tree_data($options = array(), $rand = "")
{
    // 1. 构建基础查询（不执行）
    $this->db->select('tblTrees.*'); // 明确字段，避免 SELECT *
    $this->db->from('tblProgram');
    $this->db->join('tblPlots', 'tblPlots.programID = tblProgram.pkProgramID');
    $this->db->join('tblTrees', 'tblTrees.treePlotID = tblPlots.id');
    $this->db->order_by('tblTrees.id', 'ASC');

    // 2. 获取总行数（注意：COUNT(*) 应基于最终 JOIN 结果）
    $count_query = clone $this->db;
    $allResults = $count_query->count_all_results(); // ✅ 安全获取总数

    // 3. 初始化文件句柄
    $treePath = $this->config->item('temp_path') . "$rand/trees.csv";
    $tree_handle = fopen($treePath, 'w'); // 使用 'w' 而非 'a'，确保新文件
    if (!$tree_handle) {
        throw new Exception("无法创建 CSV 文件: $treePath");
    }

    $chunk = 2000;
    $offset = 0;

    // 4. 分块执行查询
    while ($offset < $allResults) {
        // 克隆原始查询对象，避免污染
        $query = clone $this->db;
        $query->limit($chunk, $offset);

        $sql = $query->_compile_select(); // 获取编译后 SQL
        $result = $this->db->query($sql)->result_array();

        // 写入 CSV（首块写入 header）
        if ($offset === 0 && !empty($result)) {
            fputcsv($tree_handle, array_keys($result[0])); // 写入列名
        }
        foreach ($result as $row) {
            fputcsv($tree_handle, $row);
        }

        $offset += $chunk;
    }

    fclose($tree_handle);
    return ['resultCount' => $allResults];
}

关键注意事项与最佳实践

• ✅ 永远 clone 查询构建器：防止循环中修改原始 $this->db 实例；
• ✅ 显式 select() 字段：避免 SELECT * 导致 CSV 列顺序不可控或性能下降；
• ✅ 使用 count_all_results() 前克隆对象：确保计数查询与数据查询逻辑一致；
• ✅ CSV 文件用 'w' 模式打开：避免追加写入导致脏数据；
• ⚠️ 慎用大 OFFSET：当 offset 较大时（如 >10万），MySQL 性能急剧下降。推荐改用「基于游标的分页（cursor-based pagination）」，例如：

  $this->db->where('tblTrees.id >', $last_id); // 替代 OFFSET

• ? 添加错误处理：如 fopen() 失败、query() 异常等，提升鲁棒性。

通过理解 CodeIgniter 查询构建器的生命周期机制，并采用手动 SQL 编译 + 克隆执行的方式，即可彻底解决分块查询「只取首块」的问题，实现稳定、可扩展的大数据导出功能。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~