SpringBatch多步骤导出用户数据详解

本文深入解析了如何利用 Spring Batch 的 Driving Query 模式，巧妙规避多步任务无法保证跨记录顺序的固有局限，通过以用户表为驱动源、在处理器中动态关联查询并组装“用户→地址→多条账单”的有序扁平化数据链，再借助 ListItemWriter 将聚合结果逐条写入同一文件，一举解决动态账单数量、跨表关联与严格物理排序三重挑战——既保持了 Spring Batch 的健壮批处理语义，又精准满足了业务对输出结构和顺序的苛刻要求。

本文介绍如何使用 Spring Batch 的 Driving Query 模式重构单步任务，通过组合用户主表、地址表和账单表数据，生成严格按序排列的扁平化输出文件（如：用户信息→地址→多条账单），解决动态账单数量与跨表关联的挑战。

在 Spring Batch 中，当输出文件需严格保持逻辑顺序（例如每个用户块内依次为用户信息、地址、若干账单），且子记录（如账单）数量不可预知时，不能简单依赖多个独立 Step 串联——因为 Step 是原子性执行单元，无法保证跨 Step 的记录间顺序，也无法让一个用户的全部关联数据“聚合成一个连续输出块”。

推荐采用 Driving Query + Composite ItemWriter 模式，核心思路是：

✅ 以用户表为主驱动源：JdbcCursorItemReader 仅查询 users 表，每读取一条用户记录即触发其完整数据链的组装；
✅ 在 Processor 中富化数据：ItemProcessor> 将单个 User 对象扩展为有序的 List（含 1 条用户信息 + 1 条地址 + N 条账单）；
✅ 统一写入，保障顺序：FlatFileItemWriter> 配合自定义 LineAggregator 或委托给 CompositeItemWriter，确保每个 List 内部按指定顺序写入文件。

以下是关键实现示例：

// 1. 定义扁平化记录类型（统一输出结构）
public record FlatRecord(String type, String content) {} // type: "USER", "ADDRESS", "BILL"

// 2. 主 Reader：只查 users 表
@Bean
public JdbcCursorItemReader<User> userReader(DataSource dataSource) {
    return new JdbcCursorItemReaderBuilder<User>()
        .name("userReader")
        .dataSource(dataSource)
        .sql("SELECT id, name, email FROM users ORDER BY id")
        .rowMapper((rs, rowNum) -> new User(rs.getLong("id"), rs.getString("name"), rs.getString("email")))
        .build();
}

// 3. Processor：按用户 ID 关联查询并组装有序记录列表
@Bean
public ItemProcessor<User, List<FlatRecord>> userToFlatRecordsProcessor(JdbcTemplate jdbcTemplate) {
    return user -> {
        List<FlatRecord> records = new ArrayList<>();

        // 1. 用户信息
        records.add(new FlatRecord("USER", String.format("U|%d|%s|%s", user.id(), user.name(), user.email())));

        // 2. 地址（假设一对一或取主地址）
        jdbcTemplate.query("SELECT street, city FROM addresses WHERE user_id = ?", 
            (rs, i) -> new FlatRecord("ADDRESS", String.format("A|%s|%s", rs.getString("street"), rs.getString("city"))),
            user.id()).forEach(records::add);

        // 3. 账单（一对多，动态数量）
        jdbcTemplate.query("SELECT amount, date FROM bills WHERE user_id = ? ORDER BY created_at",
            (rs, i) -> new FlatRecord("BILL", String.format("B|%.2f|%s", rs.getBigDecimal("amount"), rs.getString("date"))),
            user.id()).forEach(records::add);

        return records;
    };
}

// 4. Writer：将 List<FlatRecord> 展开写入同一文件（关键！）
@Bean
public FlatFileItemWriter<FlatRecord> flatRecordWriter() {
    return new FlatFileItemWriterBuilder<FlatRecord>()
        .name("flatRecordWriter")
        .resource(new FileSystemResource("output/users_export.txt"))
        .lineAggregator(new PassThroughLineAggregator<>()) // 直接调用 FlatRecord.content()
        .build();
}

// 5. 最终 Step：Reader → Processor → Writer（注意 Writer 输入类型为 FlatRecord）
@Bean
public Step exportStep(JobRepository jobRepository, PlatformTransactionManager transactionManager,
                      JdbcCursorItemReader<User> userReader,
                      ItemProcessor<User, List<FlatRecord>> processor,
                      FlatFileItemWriter<FlatRecord> writer) {
    return new StepBuilder("exportStep", jobRepository)
        .<User, List<FlatRecord>>chunk(10, transactionManager)
        .reader(userReader)
        .processor(processor)
        .writer(new ListItemWriter<>(writer)) // 包装器：将 List<FlatRecord> 拆解为逐条写入
        .build();
}

⚠️ 重要注意事项：

• ListItemWriter 是 Spring Batch 内置工具类（位于 org.springframework.batch.item.support），用于将 List 拆包后交由底层 ItemWriter 逐条处理，是保障顺序的关键桥梁；
• 所有数据库查询（地址、账单）应在 ItemProcessor 中完成，避免在 Reader 中做 JOIN（易导致笛卡尔积或分页错乱）；
• 若数据量极大，建议为 addresses 和 bills 表添加 (user_id) 索引，并在 ORDER BY 子句中显式声明排序，确保输出稳定性；
• 不要使用 MultiResourceItemReader 或多个 Step 分别导出三类数据——这会彻底破坏用户块内的物理顺序。

综上，该方案以“用户”为驱动粒度，在内存中完成单用户全量数据聚合与排序，再原子化输出，完美兼顾了业务顺序约束、关系完整性与 Spring Batch 的批处理语义。

终于介绍完啦！小伙伴们，这篇关于《SpringBatch多步骤导出用户数据详解》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识，快来关注吧！