本文将指导你如何使用 Spring Boot 和 AWS SDK 从 S3 存储桶中读取包含多个 JSON 行的文件，并将这些行转换为 Java 对象列表。我们将会探讨两种不同的实现方式：一种是将 S3 文件读取到本地文件系统，然后进行处理；另一种是直接在内存中处理 S3 文件。
准备工作
首先，确保你已经配置好了 AWS 凭证，并且拥有访问 S3 存储桶的权限。你还需要在 pom.xml 文件中添加 AWS SDK 的依赖：
software.amazon.awssdk s3 2.17.285
假设你的 S3 存储桶中有一个名为 filename.txt 的文件，内容如下：
{ "name":"rohit", "surname":"sharma"}{ "name":"virat", "surname":"kohli"}
我们希望将每一行 JSON 数据解析为 Person 对象。
创建 Person 类
首先，创建一个简单的 Java 类 Person，用于存储 JSON 数据：
public class Person { private String name; private String surname; public String getName() { return name; } public void setName(String name) { this.name = name; } public String getSurname() { return surname; } public void setSurname(String surname) { this.surname = surname; } @Override public String toString() { return "Person{" + "name='" + name + ''' + ", surname='" + surname + ''' + '}'; }}
配置 AWS S3 客户端
创建一个配置类，用于初始化 AWS S3 客户端：
@Configurationpublic class AwsS3ClientConfig { @Bean public S3Client s3Client(){ AwsBasicCredentials awsBasicCredentials = AwsBasicCredentials.create("ACCESS_KEY_ID", "SECRET_ACCESS_KEY"); return S3Client .builder() .region(Region.US_EAST_1) .credentialsProvider(StaticCredentialsProvider.create(awsBasicCredentials)) .build(); }}
请务必替换 “ACCESS_KEY_ID” 和 “SECRET_ACCESS_KEY” 为你实际的 AWS 凭证。 Region.US_EAST_1 也要替换成你S3桶所在的区域。
实现方式一：读取到本地文件系统
这种方式首先将 S3 文件下载到本地文件系统，然后读取文件内容并解析为 Person 对象列表。
@Servicepublic class AwsS3Service { private final S3Client s3Client; @Autowired public AwsS3Service(S3Client s3Client) { this.s3Client = s3Client; } public List readFileAndCreateList(String bucketName, String keyName) throws IOException { final Path file = readFile(bucketName, keyName); return convertFileToList(file); } private Path readFile(String bucketName, String keyName) throws IOException { GetObjectRequest getObjectRequest = GetObjectRequest .builder() .bucket(bucketName) .key(keyName) .build(); final byte[] bytes = s3Client .getObject(getObjectRequest) .readAllBytes(); final Path path = Paths.get("demo.txt"); Files.write(path, bytes); return path; } private List convertFileToList(Path path) throws IOException { final List lines = Files.readAllLines(path); StringBuilder json = new StringBuilder(); List persons=new ArrayList(); for (String line : lines) { if ("{".equals(line)) { json = new StringBuilder("{"); } else if ("}".equals(line)) { json.append("}"); persons.add(new ObjectMapper() .readValue(json.toString(), Person.class)); } else { json.append(line.trim()); } } return persons; }}
这段代码首先通过 readFile 方法从 S3 下载文件，然后使用 convertFileToList 方法读取文件内容，逐行解析 JSON 数据，并将其转换为 Person 对象。
实现方式二：在内存中处理
这种方式直接从 S3 读取文件内容到内存，避免了创建本地文件的步骤。
@Servicepublic class AwsS3Service { private final S3Client s3Client; @Autowired public AwsS3Service(S3Client s3Client) { this.s3Client = s3Client; } public List readFileAndCreateObjectList(String bucketName, String keyName) throws IOException { final List lines = readFile(bucketName, keyName); return convertFileLinesToObjectList(lines); } private List readFile(String bucketName, String keyName) throws IOException { GetObjectRequest getObjectRequest = GetObjectRequest .builder() .bucket(bucketName) .key(keyName) .build(); byte[] bytes; try (ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream()) { s3Client .getObject(getObjectRequest) .transferTo(byteArrayOutputStream); bytes = byteArrayOutputStream.toByteArray(); } List lines=new ArrayList(); try(ByteArrayInputStream byteArrayInputStream = new ByteArrayInputStream(bytes); InputStreamReader inputStreamReader = new InputStreamReader(byteArrayInputStream); BufferedReader bufferedReader=new BufferedReader(inputStreamReader)){ while (bufferedReader.ready()){ lines.add(bufferedReader.readLine()); } } return lines; } private List convertFileLinesToObjectList(List lines) throws IOException { StringBuilder json = new StringBuilder(); List persons = new ArrayList(); for (String line : lines) { if ("{".equals(line)) { json = new StringBuilder("{"); } else if ("}".equals(line)) { json.append("}"); persons.add(new ObjectMapper() .readValue(json.toString(), Person.class)); } else { json.append(line.trim()); } } return persons; }}
这段代码使用 ByteArrayOutputStream 和 ByteArrayInputStream 将 S3 文件内容读取到内存中，然后使用 BufferedReader 逐行读取并解析 JSON 数据。
使用示例
创建一个 Spring Boot 应用，并在 CommandLineRunner 中调用上述服务：
@SpringBootApplicationpublic class DemoApplication implements CommandLineRunner { private final AwsS3Service awsS3Service; @Autowired public DemoApplication(AwsS3Service awsS3Service) { this.awsS3Service = awsS3Service; } public static void main(String[] args) { SpringApplication.run(DemoApplication.class); } @Override public void run(String... args) throws Exception { //KEY_NAME==filename.txt final List peoples = awsS3Service .readFileAndCreateList("BUCKET_NAME", "KEY_NAME"); System.out.println(peoples); }}
请将 “BUCKET_NAME” 和 “KEY_NAME” 替换为你实际的 S3 存储桶名称和文件名称。
注意事项
异常处理： 在实际应用中，需要添加更完善的异常处理机制，例如处理 S3 连接错误、文件不存在等情况。性能优化： 如果文件非常大，可以考虑使用 S3 Select API 进行过滤，或者使用分页读取的方式来减少内存占用。JSON 解析： 使用 ObjectMapper 解析 JSON 数据时，需要确保 JSON 格式正确，否则会抛出异常。资源释放： 在处理 I/O 流时，务必使用 try-with-resources 语句确保资源被正确释放。
总结
本文介绍了两种使用 Spring Boot 和 AWS SDK 从 S3 读取 JSON 对象列表的方法。第一种方法将 S3 文件下载到本地文件系统，然后进行处理；第二种方法直接在内存中处理 S3 文件，避免了创建本地文件的步骤。选择哪种方法取决于你的具体需求和文件大小。希望本文能够帮助你更好地理解如何在 Spring Boot 应用中使用 AWS S3。
以上就是使用 Spring Boot 从 AWS S3 读取 JSON 对象列表的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/107287.html
微信扫一扫 
支付宝扫一扫 
