SpringBoot读取S3JSON数据转对象列表

偷偷努力，悄无声息地变强，然后惊艳所有人！哈哈，小伙伴们又来学习啦~今天我将给大家介绍《Spring Boot读取AWS S3 JSON数据转对象列表》，这篇文章主要会讲到等等知识点，不知道大家对其都有多少了解，下面我们就一起来看一吧！当然，非常希望大家能多多评论，给出合理的建议，我们一起学习，一起进步！

本文档详细介绍了如何在 Spring Boot 应用程序中从 AWS S3 存储桶读取包含 JSON 行的文件，并将这些 JSON 行转换为 Java 对象列表。文章提供了两种不同的实现方法，分别演示了将 S3 文件读取到本地文件系统再进行处理，以及直接在内存中处理 S3 文件内容，并附带了完整的代码示例和配置说明。

准备工作

在开始之前，请确保你已经具备以下条件：

• 一个可用的 AWS 账户，并且已经创建了 S3 存储桶。
• 安装了 Java Development Kit (JDK)。
• 安装了 Maven 或 Gradle 构建工具。
• 一个 Spring Boot 项目，可以使用 Spring Initializr (https://start.spring.io/) 创建。

添加依赖

首先，需要在 pom.xml 文件中添加 AWS S3 SDK 的依赖。

<dependency>
    <groupId>software.amazon.awssdk</groupId>
    <artifactId>s3</artifactId>
    <version>2.17.285</version>
</dependency>

配置 AWS S3 客户端

创建一个配置类，用于配置和创建 S3Client 实例。需要提供 AWS 访问密钥 ID 和密钥，以及 S3 区域。

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.auth.credentials.StaticCredentialsProvider;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.S3Client;

@Configuration
public class AwsS3ClientConfig {

    @Bean
    public S3Client s3Client(){
        AwsBasicCredentials awsBasicCredentials = AwsBasicCredentials.create("ACCESS_KEY_ID", "SECRET_ACCESS_KEY");
        return S3Client
                .builder()
                .region(Region.US_EAST_1)
                .credentialsProvider(StaticCredentialsProvider.create(awsBasicCredentials))
                .build();
    }
}

请务必将 ACCESS_KEY_ID 和 SECRET_ACCESS_KEY 替换为你的 AWS 凭证。 同样需要确认 Region 是否正确。

创建 Person 类

定义一个 Person 类，用于映射 S3 文件中的 JSON 对象。

public class Person {
    private String name;
    private String surname;

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getSurname() {
        return surname;
    }

    public void setSurname(String surname) {
        this.surname = surname;
    }

    @Override
    public String toString() {
        return "Person{" +
                "name='" + name + '\'' +
                ", surname='" + surname + '\'' +
                '}';
    }
}

实现 AWS S3 服务 (V1 - 读取到本地文件)

创建一个名为 AwsS3Service 的服务类，用于从 S3 存储桶读取文件，并将其转换为 Person 对象列表。

import com.fasterxml.jackson.databind.ObjectMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.GetObjectRequest;

import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.ArrayList;
import java.util.List;

@Service
public class AwsS3Service {

    private final S3Client s3Client;

    @Autowired
    public AwsS3Service(S3Client s3Client) {
        this.s3Client = s3Client;
    }


    public List<Person> readFileAndCreateList(String bucketName, String keyName) throws IOException {
        final Path file = readFile(bucketName, keyName);
        return convertFileToList(file);
    }

    private Path readFile(String bucketName, String keyName) throws IOException {
        GetObjectRequest getObjectRequest = GetObjectRequest
                .builder()
                .bucket(bucketName)
                .key(keyName)
                .build();

        final byte[] bytes = s3Client
                .getObject(getObjectRequest)
                .readAllBytes();
        final Path path = Paths.get("demo.txt");
        Files.write(path, bytes);
        return path;
    }

    private List<Person> convertFileToList(Path path) throws IOException {
        final List<String> lines = Files.readAllLines(path);
        StringBuilder json = new StringBuilder();
        List<Person> persons=new ArrayList<>();
        for (String line : lines) {
            if ("{".equals(line)) {
                json = new StringBuilder("{");
            } else if ("}".equals(line)) {
                json.append("}");
               persons.add(new ObjectMapper()
                        .readValue(json.toString(), Person.class));
            } else {
                json.append(line.trim());
            }
        }
        return persons;
    }
}

此版本的服务首先将 S3 文件读取到本地文件系统，然后将其转换为对象列表。

实现 AWS S3 服务 (V2 - 在内存中读取)

以下是另一种实现方式，它直接在内存中处理 S3 文件内容，避免了创建临时文件。

import com.fasterxml.jackson.databind.ObjectMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.GetObjectRequest;

import java.io.BufferedReader;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.List;

@Service
public class AwsS3Service {

    private final S3Client s3Client;

    @Autowired
    public AwsS3Service(S3Client s3Client) {
        this.s3Client = s3Client;
    }


    public List<Person> readFileAndCreateObjectList(String bucketName, String keyName) throws IOException {
        final List<String> lines = readFile(bucketName, keyName);
        return convertFileLinesToObjectList(lines);
    }

    private List<String> readFile(String bucketName, String keyName) throws IOException {
        GetObjectRequest getObjectRequest = GetObjectRequest
                .builder()
                .bucket(bucketName)
                .key(keyName)
                .build();

        byte[] bytes;
        try (ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream()) {
            s3Client
                    .getObject(getObjectRequest)
                    .transferTo(byteArrayOutputStream);
            bytes = byteArrayOutputStream.toByteArray();
        }

        List<String> lines=new ArrayList<>();
        try(ByteArrayInputStream byteArrayInputStream = new ByteArrayInputStream(bytes);
            InputStreamReader inputStreamReader = new InputStreamReader(byteArrayInputStream);
            BufferedReader bufferedReader=new BufferedReader(inputStreamReader)){
           while (bufferedReader.ready()){
              lines.add(bufferedReader.readLine());
           }
        }
        return lines;
    }

    private List<Person> convertFileLinesToObjectList(List<String> lines) throws IOException {
        StringBuilder json = new StringBuilder();
        List<Person> persons = new ArrayList<>();
        for (String line : lines) {
            if ("{".equals(line)) {
                json = new StringBuilder("{");
            } else if ("}".equals(line)) {
                json.append("}");
                persons.add(new ObjectMapper()
                        .readValue(json.toString(), Person.class));
            } else {
                json.append(line.trim());
            }
        }
        return persons;
    }
}

创建 Spring Boot 应用

创建一个 Spring Boot 应用，并使用 AwsS3Service 来读取 S3 文件并打印结果。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.CommandLineRunner;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

import java.util.List;

@SpringBootApplication
public class DemoApplication implements CommandLineRunner {

    private final AwsS3Service awsS3Service;

    @Autowired
    public DemoApplication(AwsS3Service awsS3Service) {
        this.awsS3Service = awsS3Service;
    }

    public static void main(String[] args) {
        SpringApplication.run(DemoApplication.class);
    }

    @Override
    public void run(String... args) throws Exception {
        //KEY_NAME==filename.txt
        final List<Person> peoples =
                awsS3Service
                        .readFileAndCreateList("BUCKET_NAME", "KEY_NAME"); // 或者使用 readFileAndCreateObjectList
        System.out.println(peoples);
    }
}

请将 BUCKET_NAME 和 KEY_NAME 替换为你的 S3 存储桶名称和文件名称。

运行程序

运行 Spring Boot 应用程序。控制台应该会打印出从 S3 文件读取的 Person 对象列表。

[Person{name='rohit', surname='sharma'}, Person{name='virat', surname='kohli'}]

注意事项

• 确保你的 AWS 凭证具有读取 S3 存储桶的权限。
• 如果 S3 文件非常大，建议使用流式读取方式，以避免内存溢出。
• 代码中使用了 ObjectMapper 来将 JSON 字符串转换为 Java 对象。请确保 Person 类的属性与 JSON 对象的字段匹配。
• 在生产环境中，建议使用更安全的凭证管理方式，例如 AWS IAM Roles。
• V1 版本会将 S3 文件下载到本地，请确保程序有写入本地文件的权限，并且及时清理临时文件。

总结

本文档介绍了如何在 Spring Boot 应用程序中从 AWS S3 存储桶读取 JSON 数据并将其转换为 Java 对象列表。提供了两种不同的实现方法，可以根据实际需求选择合适的方式。 通过使用 AWS S3 SDK 和 Spring Boot，可以方便地从云存储中读取数据，并将其集成到应用程序中。

到这里，我们也就讲完了《SpringBoot读取S3JSON数据转对象列表》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！