DynamoDB海量数据读取技巧分享

小伙伴们有没有觉得学习文章很有意思？有意思就对了！今天就给大家带来《DynamoDB海量数据读取技巧：分页与流式优化》，以下内容将会涉及到，若是在学习中对其中部分知识点有疑问，或许看了本文就能帮到你！

DynamoDB数据检索机制与限制

Amazon DynamoDB作为一种键值和文档数据库，以其高吞吐量和低延迟而闻名。然而，它在数据检索方面有一个核心限制：单次Query或Scan操作返回的数据量上限为1MB。这意味着，即使您的查询条件匹配了大量数据，DynamoDB也只会返回最多1MB的数据，并提供一个LastEvaluatedKey，指示下一次请求应从何处继续。

在DynamoDB中，主要有两种数据检索操作：

• Query (查询)：这是首选的检索方式。它要求您提供一个分区键值，并可选地提供一个排序键条件。Query操作在内部针对特定的分区进行，效率高，适用于已知主键的精确或范围查找。
• Scan (扫描)：此操作会读取表中的所有项目，然后过滤出符合条件的数据。Scan操作的效率非常低，因为它需要遍历整个表，无论数据量多大，都会消耗大量的读容量单位（RCU）。对于大型表或频繁的Scan操作，这会导致性能瓶颈和高昂的成本。

当需要获取例如100-200k条记录时，单次1MB的限制意味着您必须进行多次请求。

分页处理：应对1MB限制的关键

为了获取超过1MB的数据，必须实现分页逻辑。DynamoDB通过LastEvaluatedKey来支持分页。当一个Query或Scan操作返回结果时，如果还有更多数据未返回，响应中会包含LastEvaluatedKey。在下一次请求中，将此LastEvaluatedKey作为ExclusiveStartKey参数传递，DynamoDB就会从上次停止的地方继续检索。

以下是一个概念性的Java伪代码示例，展示如何使用AWS SDK进行分页查询：

import software.amazon.awssdk.services.dynamodb.DynamoDbClient;
import software.amazon.awssdk.services.dynamodb.model.QueryRequest;
import software.amazon.awssdk.services.dynamodb.model.QueryResponse;
import software.amazon.awssdk.services.dynamodb.model.AttributeValue;

import java.util.Map;
import java.util.HashMap;
import java.util.List;
import java.util.ArrayList;

public class DynamoDBPaginator {

    private final DynamoDbClient dynamoDbClient;
    private final String tableName;

    public DynamoDBPaginator(DynamoDbClient dynamoDbClient, String tableName) {
        this.dynamoDbClient = dynamoDbClient;
        this.tableName = tableName;
    }

    /**
     * 示例：根据分区键和排序键条件查询所有匹配的项，并进行分页处理。
     * 假设我们有一个表，分区键是 'Airline'，排序键是 'BookingDate#Class'。
     * 查找 'xyz airline' 在 'Christmas weekend' 预订 'business class' 的乘客。
     */
    public List> fetchAllBusinessClassPassengers(
            String airline, String startDate, String endDate) {

        List> allItems = new ArrayList<>();
        Map lastEvaluatedKey = null;

        do {
            Map expressionAttributeValues = new HashMap<>();
            expressionAttributeValues.put(":airline", AttributeValue.builder().s(airline).build());
            expressionAttributeValues.put(":startDate", AttributeValue.builder().s(startDate).build());
            expressionAttributeValues.put(":endDate", AttributeValue.builder().s(endDate).build());
            expressionAttributeValues.put(":classPrefix", AttributeValue.builder().s("business#").build()); // Assuming format 'YYYY-MM-DD#Class'

            QueryRequest.Builder requestBuilder = QueryRequest.builder()
                    .tableName(tableName)
                    .keyConditionExpression("Airline = :airline AND begins_with(BookingDateClass, :classPrefix) AND BookingDate BETWEEN :startDate AND :endDate")
                    .expressionAttributeValues(expressionAttributeValues);

            if (lastEvaluatedKey != null) {
                requestBuilder.exclusiveStartKey(lastEvaluatedKey);
            }

            QueryResponse response = dynamoDbClient.query(requestBuilder.build());
            allItems.addAll(response.items());

            lastEvaluatedKey = response.lastEvaluatedKey();

            System.out.println("Fetched " + response.items().size() + " items. Total so far: " + allItems.size());

        } while (lastEvaluatedKey != null && !lastEvaluatedKey.isEmpty());

        return allItems;
    }

    public static void main(String[] args) {
        // 实际应用中应配置DynamoDbClient
        DynamoDbClient client = DynamoDbClient.builder().build(); // 简化，实际需配置region, credentials等
        DynamoDBPaginator paginator = new DynamoDBPaginator(client, "YourPassengersTable");

        // 示例调用：查找xyz航空在2023年圣诞周末预订商务舱的乘客
        List> passengers = paginator.fetchAllBusinessClassPassengers(
                "xyz airline", "2023-12-23", "2023-12-26");

        System.out.println("Total passengers fetched: " + passengers.size());
        // 处理 passengers 数据
    }
}

注意：上述代码中的keyConditionExpression和expressionAttributeValues是基于一个假设的表结构：分区键为Airline，排序键为BookingDateClass（例如"2023-12-25#business"）。实际应用中，您需要根据您的表设计调整查询条件。对于复杂查询，可能需要考虑使用全局二级索引（GSI）。

内存优化与数据流式传输

虽然分页解决了单次请求的数据量限制，但将所有分页结果累积到内存中（如上述allItems.addAll(response.items())）仍然可能导致内存溢出，尤其是在处理数十万条记录时。为了实现类似JDBCTemplate.queryForStreams的效果，您应该在每次获取到1MB数据块时，立即对其进行处理或将其流式传输给API消费者，而不是等待所有数据都加载完毕。

以下是实现流式处理的几种策略：

1. 逐页处理： 在每次循环中，当获取到一页数据时，立即对其进行业务逻辑处理（例如，写入文件、发送到消息队列、转换为JSON并写入响应流），然后丢弃该页数据，再获取下一页。

   // ... 在do-while循环中 ...
   QueryResponse response = dynamoDbClient.query(requestBuilder.build());
   for (Map item : response.items()) {
       // 立即处理单个item，例如：
       // processPassenger(item);
       // 或者将其写入响应的OutputStream
       // responseOutputStream.write(convertItemToJson(item).getBytes());
   }
   lastEvaluatedKey = response.lastEvaluatedKey();
   // ...

2. 响应式编程/WebFlux： 如果您的Spring Boot REST API是基于Spring WebFlux构建的，您可以利用其反应式流的特性。每次从DynamoDB获取到一页数据后，将其转换为Flux或Mono并推送到响应流中，从而实现真正的端到端流式传输。这允许客户端在数据完全生成之前就开始接收和处理数据。

通过这种方式，应用程序的内存占用将保持在一个较低的水平，因为它只在内存中保留当前正在处理的1MB数据块，而不是整个数据集。

性能与可伸缩性考量：Query vs. Scan

对于大规模数据检索，强烈建议使用Query操作而不是Scan。

• Query的优势： Query操作通过利用分区键和排序键，能够高效地定位数据，只读取必要的数据，从而消耗更少的RCU，并提供更快的响应时间。
• Scan的劣势： Scan操作会遍历整个表，无论您是否需要所有数据。这意味着：
  • 高成本： Scan会消耗大量的RCU，尤其是在大型表上，导致费用急剧增加。
  • 低性能： 随着表数据量的增长，Scan操作的延迟会线性增加。
  • 影响其他操作： 大量的Scan操作会消耗表的预置吞吐量，从而影响到其他Query或Put操作的性能。

对于“获取所有在圣诞周末预订商务舱的乘客”这样的场景，如果您的表设计得当，完全可以通过Query实现。例如：

• 表设计示例：
  • 主键： PartitionKey为Airline，SortKey为BookingDate#Class#PassengerId。
  • 查询： 您可以使用Airline = "xyz airline"作为分区键，然后使用begins_with("BookingDate#Class#PassengerId", "2023-12-23#business")和between("2023-12-23#business", "2023-12-26#business")等条件在排序键上进行范围查询。
• 全局二级索引（GSI）的应用： 如果您的主要查询模式不是基于Airline，而是基于BookingDate或Class，您可以创建一个GSI，其分区键为BookingDate，排序键为Class#PassengerId，或者更灵活的组合，以支持高效的跨分区查询。

何时考虑其他数据库方案

尽管DynamoDB通过分页和Query操作可以高效处理大量数据，但它并非适用于所有场景。在以下情况下，您可能需要考虑其他数据库方案：

• 频繁的全表扫描或复杂聚合： 如果您的核心业务需求是频繁地对整个数据集进行扫描、执行复杂的SQL-like聚合（如GROUP BY、JOIN），或者进行即席（ad-hoc）查询，那么DynamoDB可能不是最佳选择。这些操作在关系型数据库或专门的分析型数据库（如Amazon Redshift、Snowflake）中表现更优。
• 数据仓库/分析工作负载： 对于需要对大量历史数据进行复杂分析和报表生成的场景，将数据导出到数据湖（如Amazon S3）并结合查询服务（如Amazon Athena、Redshift Spectrum）会是更经济和高效的选择。
• 极度灵活的查询模式： 如果查询模式非常多变，难以通过固定的主键或索引模式优化，而更倾向于全文搜索或多维度过滤，那么Elasticsearch等搜索引擎可能更合适。

DynamoDB最擅长的是高吞吐量、低延迟的键值查找和基于主键的简单查询。当您的应用需求与此核心优势不符时，重新评估数据库选型是明智之举。

总结与最佳实践

处理DynamoDB中的海量数据需要策略性的方法。总结来说：

1. 拥抱分页： 熟练掌握LastEvaluatedKey机制，实现数据的逐页获取。
2. 实现流式处理： 避免一次性加载所有数据到内存，通过逐页处理或响应式编程实现数据的流式传输。
3. 优先使用Query： 始终设计表结构以支持高效的Query操作，避免在生产环境中使用Scan来检索大量数据。
4. 优化表设计： 合理规划分区键和排序键，必要时利用全局二级索引，以满足多样化的查询需求。
5. 评估业务需求： 如果您的核心需求与DynamoDB的优势不符（例如，需要频繁进行全表扫描或复杂分析），请考虑将数据存储在更适合的数据库或分析解决方案中。

通过遵循这些最佳实践，您可以在DynamoDB上构建高性能、可伸缩且成本效益高的数据检索系统，即使面对数十万条记录的挑战。

以上就是《DynamoDB海量数据读取技巧分享》的详细内容，更多关于的资料请关注golang学习网公众号！