DynamoDB Java SDK v2：高效批量删除数据指南

本文旨在提供一个使用AWS DynamoDB Java SDK v2进行批量数据删除的专业教程。我们将重点介绍如何利用`BatchWriteItemEnhancedRequest`和`addDeleteItem`方法，高效地从DynamoDB表中删除大量数据，并涵盖关键的实现细节、代码示例及注意事项，以确保操作的健壮性和性能。

在处理DynamoDB中的大量过期或无用数据时，逐条删除效率低下且可能产生高额的请求费用。DynamoDB提供了BatchWriteItem操作，允许您在单个请求中执行多达25个PutItem或DeleteItem操作，从而显著提高效率并降低成本。本教程将专注于使用Java AWS SDK v2的增强型客户端（Enhanced Client）来实现批量删除功能。

1. 理解DynamoDB批量写入操作

BatchWriteItem是DynamoDB提供的一个原子性操作，它允许您一次性提交多个写入请求。对于删除操作，这意味着您可以将多个DeleteItem请求捆绑到一个BatchWriteItem调用中。

关键特性：

立即学习“Java免费学习笔记（深入）”；

原子性（部分）： BatchWriteItem本身不是完全原子的。如果批处理中的某些项目成功，而另一些失败，DynamoDB会返回一个包含未处理项目的响应。限制：每个BatchWriteItem请求最多可以包含25个PutItem或DeleteItem操作。批处理中所有项目的总大小不能超过16MB。每个项目的大小限制为400KB。吞吐量： DynamoDB会根据您表的预置吞吐量或按需模式自动分配容量来处理批处理请求。

2. 前置条件

在开始之前，请确保您的Java项目已配置好AWS SDK v2的DynamoDB依赖。您需要在pom.xml（Maven）或build.gradle（Gradle）中添加以下依赖：

Maven:

图可丽批量抠图

用AI技术提高数据生产力，让美好事物更容易被发现

26 查看详情

    software.amazon.awssdk    dynamodb-enhanced    2.x.x     software.amazon.awssdk    dynamodb    2.x.x 

Gradle:

implementation 'software.amazon.awssdk:dynamodb-enhanced:2.x.x' // 使用最新稳定版本implementation 'software.amazon.awssdk:dynamodb:2.x.x' // 使用最新稳定版本

此外，您需要一个已配置的AWS凭证和区域，以便Java应用程序能够连接到DynamoDB。

3. 定义数据模型

为了使用增强型客户端，您需要为DynamoDB表中的项目定义一个Java Bean类，并使用@DynamoDbBean及其它注解来映射表结构。对于删除操作，至少需要定义主键（分区键和排序键，如果存在）。

import software.amazon.awssdk.enhanced.dynamodb.mapper.annotations.DynamoDbBean;import software.amazon.awssdk.enhanced.dynamodb.mapper.annotations.DynamoDbPartitionKey;import software.amazon.awssdk.enhanced.dynamodb.mapper.annotations.DynamoDbSortKey;/** * 示例数据模型类，表示DynamoDB表中的一个项目。 * 至少需要包含主键属性。 */@DynamoDbBeanpublic class ItemEntity {    private String partitionKey; // 分区键    private String sortKey;      // 排序键 (如果表有复合主键)    private String attribute1;   // 其他属性    // 默认构造函数是必需的    public ItemEntity() {}    public ItemEntity(String partitionKey, String sortKey) {        this.partitionKey = partitionKey;        this.sortKey = sortKey;    }    @DynamoDbPartitionKey    public String getPartitionKey() {        return partitionKey;    }    public void setPartitionKey(String partitionKey) {        this.partitionKey = partitionKey;    }    @DynamoDbSortKey // 如果有排序键    public String getSortKey() {        return sortKey;    }    public void setSortKey(String sortKey) {        this.sortKey = sortKey;    }    public String getAttribute1() {        return attribute1;    }    public void setAttribute1(String attribute1) {        this.attribute1 = attribute1;    }    // 重写equals和hashCode方法，对于基于对象的删除非常重要    @Override    public boolean equals(Object o) {        if (this == o) return true;        if (o == null || getClass() != o.getClass()) return false;        ItemEntity that = (ItemEntity) o;        return partitionKey.equals(that.partitionKey) &&               (sortKey != null ? sortKey.equals(that.sortKey) : that.sortKey == null);    }    @Override    public int hashCode() {        int result = partitionKey.hashCode();        result = 31 * result + (sortKey != null ? sortKey.hashCode() : 0);        return result;    }}

4. 批量删除实现

核心的批量删除逻辑将涉及DynamoDbEnhancedClient、BatchWriteItemEnhancedRequest和WriteBatch。

import software.amazon.awssdk.services.dynamodb.DynamoDbClient;import software.amazon.awssdk.enhanced.dynamodb.DynamoDbEnhancedClient;import software.amazon.awssdk.enhanced.dynamodb.model.BatchWriteItemEnhancedRequest;import software.amazon.awssdk.enhanced.dynamodb.model.WriteBatch;import software.amazon.awssdk.regions.Region;import software.amazon.awssdk.services.dynamodb.model.BatchWriteItemResponse;import software.amazon.awssdk.services.dynamodb.model.WriteRequest;import java.util.ArrayList;import java.util.List;import java.util.Map;import java.util.concurrent.TimeUnit;public class DynamoDBBatchDeleteService {    private final DynamoDbEnhancedClient enhancedClient;    private final String tableName;    /**     * 构造函数，初始化DynamoDB增强型客户端和表名。     *     * @param enhancedClient DynamoDB增强型客户端实例。     * @param tableName 要操作的DynamoDB表名。     */    public DynamoDBBatchDeleteService(DynamoDbEnhancedClient enhancedClient, String tableName) {        this.enhancedClient = enhancedClient;        this.tableName = tableName;    }    /**     * 执行批量删除操作。     * DynamoDB的batchWriteItem请求限制为25个项目。     * 此方法会自动将传入的项目列表分割成25个项目一批进行处理。     *     * @param itemsToDelete 包含要删除项目主键的ItemEntity对象列表。     *                      每个ItemEntity对象必须至少填充其主键属性。     * @return 成功删除的项目总数。     */    public int batchDeleteItems(List itemsToDelete) {        if (itemsToDelete == null || itemsToDelete.isEmpty()) {            System.out.println("没有提供要删除的项目。");            return 0;        }        final int BATCH_SIZE = 25; // DynamoDB批处理限制        int deletedCount = 0;        // 将项目列表分割成25个一组的批次        for (int i = 0; i < itemsToDelete.size(); i += BATCH_SIZE) {            List currentBatch = itemsToDelete.subList(i, Math.min(i + BATCH_SIZE, itemsToDelete.size()));            // 构建BatchWriteItemEnhancedRequest            BatchWriteItemEnhancedRequest.Builder builder = BatchWriteItemEnhancedRequest.builder();            currentBatch.forEach(item -> {                // 为每个项目添加删除请求                builder.addWriteBatch(WriteBatch.builder(ItemEntity.class)                        .tableName(tableName) // 指定表名                        .addDeleteItem(item) // 传入ItemEntity对象，增强客户端会自动提取主键                        .build());            });            try {                System.out.println(String.format("尝试删除批次中的 %d 个项目 (总进度: %d/%d)...",                                                 currentBatch.size(), i + currentBatch.size(), itemsToDelete.size()));                // 执行批量写入操作                BatchWriteItemResponse response = enhancedClient.batchWriteItem(builder.build());                // 处理未处理的项目 (UnprocessedItems)                // DynamoDB可能会因为吞吐量限制或其他原因返回未处理的项目                if (response.hasUnprocessedItems() && !response.unprocessedItems().isEmpty()) {                    System.out.println("警告: 批处理中存在未处理的项目。需要重试。");                    handleUnprocessedItems(response.unprocessedItems());                } else {                    System.out.println("批次删除请求发送成功。");                    deletedCount += currentBatch.size(); // 假设成功发送的都将最终被删除                }            } catch (Exception e) {                System.err.println("批量删除过程中发生错误: " + e.getMessage());                // 根据业务需求处理异常，例如记录日志、重试等            }        }        return deletedCount;    }    /**     * 处理BatchWriteItem操作返回的未处理项目。     * 实际应用中可能需要实现指数退避重试逻辑。     *     * @param unprocessedItems 未处理的项目映射。     */    private void handleUnprocessedItems(Map<String, List> unprocessedItems) {        // 这是一个简化的处理，实际应用中应实现更健壮的重试机制，如指数退避。        unprocessedItems.forEach((table, requests) -> {            System.out.println(String.format("表 '%s' 中有 %d 个未处理的请求。", table, requests.size()));            // 在这里可以提取未处理的请求，并尝试重新提交它们            // 例如：将它们添加到一个新的批处理请求中，并稍后重试            // 为了演示，我们只打印信息            requests.forEach(request -> {                if (request.deleteRequest() != null) {                    System.out.println("未处理的删除请求: " + request.deleteRequest().key());                }            });            // 实际应用中：            // List retryItems = convertWriteRequestsToItemEntities(requests);            // batchDeleteItems(retryItems); // 递归或循环重试，注意避免无限循环        });        // 简化的重试等待        try {            TimeUnit.SECONDS.sleep(1); // 等待一小段时间再重试        } catch (InterruptedException e) {            Thread.currentThread().interrupt();            System.err.println("重试等待被中断。");        }    }    public static void main(String[] args) {        // 1. 初始化DynamoDbClient和DynamoDbEnhancedClient        // 在生产环境中，这些客户端通常通过依赖注入或单例模式进行管理        DynamoDbClient ddbClient = DynamoDbClient.builder()                .region(Region.AP_SOUTHEAST_2) // 请替换为您的AWS区域                // .credentialsProvider(...) // 如果需要，配置AWS凭证                .build();        DynamoDbEnhancedClient enhancedClient = DynamoDbEnhancedClient.builder()                .dynamoDbClient(ddbClient)                .build();        String myTableName = "YourActualTableName"; // 替换为您的实际表名        DynamoDBBatchDeleteService service = new DynamoDBBatchDeleteService(enhancedClient, myTableName);        // 2. 准备要删除的项目列表        List itemsToDelete = new ArrayList();        // 假设您的表主键是 partitionKey 和 sortKey        for (int i = 1; i <= 30; i++) { // 示例：创建30个项目，将触发两次批处理请求            itemsToDelete.add(new ItemEntity("pk" + i, "sk" + i));        }        // 3. 执行批量删除        System.out.println("开始批量删除...");        int totalDeleted = service.batchDeleteItems(itemsToDelete);        System.out.println(String.format("批量删除完成。总共处理了 %d 个项目。", totalDeleted));        // 4. 关闭客户端 (重要)        ddbClient.close();        System.out.println("DynamoDB客户端已关闭。");    }}

代码说明：

DynamoDbEnhancedClient初始化： 这是AWS SDK v2中推荐的客户端，它提供了更高级别的抽象，例如对象映射。batchDeleteItems方法：它接收一个ItemEntity列表，这些ItemEntity对象至少需要填充其主键属性，以便DynamoDB知道要删除哪个项目。批次分割： 由于BatchWriteItem有25个项目的限制，该方法会将传入的列表自动分割成多个批次进行处理。BatchWriteItemEnhancedRequest.Builder： 用于构建批量写入请求。WriteBatch.builder(ItemEntity.class)： 为特定表和数据模型类构建一个写入批次。tableName(tableName)： 明确指定要操作的表名。addDeleteItem(item)： 这是关键方法。它接受一个ItemEntity对象，增强型客户端会自动提取该对象的主键信息，并将其转换为一个DeleteItem请求。enhancedClient.batchWriteItem(builder.build())： 执行批量写入请求。handleUnprocessedItems： 这是一个非常重要的部分。DynamoDB的batchWriteItem操作可能会返回UnprocessedItems，表示由于各种原因（如吞吐量限制）未能成功处理的项目。在生产环境中，您需要实现一个健壮的重试机制，通常采用指数退避策略，以确保所有项目最终都被处理。

5. 注意事项与最佳实践

错误处理与重试： batchWriteItem操作可能返回UnprocessedItems。务必检查响应中的unprocessedItems字段，并实现指数退避和重试逻辑来处理这些项目。简单的重试可能导致无限循环或资源浪费。批次大小： 严格遵守25个项目的批次大小限制。如果您的列表包含更多项目，请务必将其拆分为多个请求。吞吐量管理： 批量操作会消耗大量的读/写容量单位（RCUs/WCUs）。如果您的表使用预置容量模式，请确保有足够的容量来处理峰值负载，否则可能会导致节流（throttling）并增加UnprocessedItems。按需模式可以更好地处理突发流量。主键要求： addDeleteItem方法需要完整的主键信息（分区键和排序键，如果存在）来唯一标识要删除的项目。即使您的ItemEntity包含其他属性，增强型客户端也只会使用主键进行删除。幂等性： 删除操作是幂等的。多次尝试删除同一个不存在的项目不会导致错误，但会消耗写入容量。日志记录： 在批量操作中，详细的日志记录对于监控进度、调试问题和审计操作至关重要。异步处理： 对于非常大的数据集，可以考虑将批量删除操作放入一个单独的线程、Lambda函数或使用AWS Step Functions进行异步处理，以避免阻塞主应用程序流程。

6. 总结

使用AWS DynamoDB Java SDK v2的增强型客户端进行批量数据删除是一个高效且推荐的方法，特别是当您需要处理大量数据时。通过BatchWriteItemEnhancedRequest和addDeleteItem方法，您可以轻松地构建和执行批处理删除请求。然而，理解并妥善处理UnprocessedItems以及管理吞吐量是确保操作成功和系统稳定的关键。遵循本教程提供的指南和最佳实践，您将能够有效地在DynamoDB中实现健壮的批量数据删除功能。

以上就是DynamoDB Java SDK v2：高效批量删除数据指南的详细内容，更多请关注创想鸟其它相关文章！