本文详细介绍了如何使用Spring RestTemplate从外部API获取数据，并利用Java Stream API对复杂数据结构进行高效的过滤和转换。教程涵盖了去重、属性重命名以及将原始数据映射为自定义API输出格式的完整流程，旨在帮助开发者构建更灵活、可控的数据消费与展示逻辑。
引言：API数据消费与处理的挑战
在现代应用开发中，与外部API交互是常见的需求。Spring框架的RestTemplate提供了一种便捷的方式来消费RESTful服务。然而，从外部API获取的数据往往是复杂的、嵌套的Java对象列表。在将这些数据展示给最终用户或提供给自己的API之前，我们通常需要对其进行一系列处理，例如过滤重复项、选择性地提取字段、重命名属性，甚至将数据转换成完全不同的结构。本教程将引导您完成这一过程，特别关注如何利用Java Stream API高效地实现这些数据操作。
初始API调用与数据模型
假设我们正在使用RestTemplate从一个天气API获取省份数据。初始设置包括一个RestTemplate调用和一个用于反序列化JSON响应的DTO（Data Transfer Object）结构。
1. RestTemplate 获取数据
首先，我们有一个静态方法用于通过RestTemplate调用外部API：
public static Provinces restTemplateProvince(RestTemplate restTemplate) { String provinceCommunityURL = "https://www.el-tiempo.net/api/json/v2/provincias"; Provinces province = restTemplate.getForObject(provinceCommunityURL, Provinces.class); return province;}
这个方法会返回一个Provinces对象，其中包含了从API获取的原始省份数据。
2. Provinces 和 ProvincesData DTOs
为了正确地将JSON响应映射到Java对象，我们定义了两个DTO类：Provinces和ProvincesData。
Provinces类：
import com.fasterxml.jackson.annotation.JsonIgnoreProperties;import com.fasterxml.jackson.annotation.JsonProperty;import java.util.List;@JsonIgnoreProperties(ignoreUnknown = true)public class Provinces { @JsonProperty("provincias") // 注意：原始问题中是"provincial"，这里修正为更常见的"provincias" private List provinces; public Provinces() {} public Provinces(List provinces) { this.provinces = provinces; } @JsonProperty("provincias") public List getProvinces() { // 修正方法名，遵循Java命名规范 return provinces; } @JsonProperty("Test") // 原始问题中此处为"Test"，可能为测试用途，实际应与JSON字段匹配或移除 public void setProvinces(List provinces) { // 修正方法名 this.provinces = provinces; }}
ProvincesData类：
import com.fasterxml.jackson.annotation.JsonIgnoreProperties;import com.fasterxml.jackson.annotation.JsonProperty;@JsonIgnoreProperties(ignoreUnknown = true)public class ProvincesData { @JsonProperty("CODPROV") private String codProv; @JsonProperty("NOMBRE_PROVINCIA") private String nomeProvincia; @JsonProperty("CODAUTON") private String codAuton; @JsonProperty("COMUNIDAD_CIUDAD_AUTONOMA") private String comunidadeCidadeAutonoma; public ProvincesData() {} public ProvincesData(String codProv, String nomeProvincia, String codAuton, String comunidadeCidadeAutonoma) { this.codProv = codProv; this.nomeProvincia = nomeProvincia; this.codAuton = codAuton; this.comunidadeCidadeAutonoma = comunidadeCidadeAutonoma; } @JsonProperty("CODPROV") public String getCodProv() { return codProv; } @JsonProperty("Test") // 原始问题中此处为"Test"，可能为测试用途，实际应与JSON字段匹配或移除 public void setCodProv(String codProv) { this.codProv = codProv; } @JsonProperty("NOMBRE_PROVINCIA") // 补充JsonProperty注解以确保正确映射 public String getNomeProvincia() { return nomeProvincia; } public void setNomeProvincia(String nomeProvincia) { this.nomeProvincia = nomeProvincia; } @JsonProperty("CODAUTON") // 补充JsonProperty注解 public String getCodAuton() { return codAuton; } public void setCodAuton(String codAuton) { this.codAuton = codAuton; } @JsonProperty("COMUNIDAD_CIUDAD_AUTONOMA") // 补充JsonProperty注解 public String getComunidadeCidadeAutonoma() { return comunidadeCidadeAutonoma; } public void setComunidadeCidadeAutonoma(String comunidadeCidadeAutonoma) { this.comunidadeCidadeAutonoma = comunidadeCidadeAutonoma; }}
注意：在上述DTO中，我修正了Provinces类中@JsonProperty的名称，以及方法命名以符合Java标准。ProvincesData中也补充了@JsonProperty注解，以确保字段的正确映射。原始问题中一些set方法上的@JsonProperty(“Test”)看起来是测试代码，在实际生产中应移除或修正。
数据过滤与转换的需求
原始问题提出，从API获取的数据是一个List，但需要对其进行以下处理：
去重：根据codAuton字段去除重复的省份数据。属性重命名与精简：构建一个只包含所需数据的新列表，并更改属性名称，以便在自己的API中以更友好的标题展示。
解决方案：结合Java Stream API进行数据处理
Java 8引入的Stream API为集合操作提供了强大且富有表现力的方式，非常适合进行数据过滤、转换和聚合。
1. 在数据获取层进行去重过滤
为了在数据返回之前就完成去重，我们可以在restTemplateProvince方法中直接应用Stream API。这里我们将根据codAuton字段进行去重。
import org.springframework.web.client.RestTemplate;import java.util.ArrayList;import java.util.List;import java.util.stream.Collectors;public class Templates { // 假设这个类名为Templates public static Provinces restTemplateProvince(RestTemplate restTemplate) { String provinceCommunityURL = "https://www.el-tiempo.net/api/json/v2/provincias"; Provinces province = restTemplate.getForObject(provinceCommunityURL, Provinces.class); // 使用Stream API进行去重过滤 List includedCodAutons = new ArrayList(); // 用于跟踪已经包含的codAuton List filteredProvinces = province.getProvinces() .stream() .filter(p -> { // 如果includedCodAutons中不包含当前p.getCodAuton()，则添加并返回true（保留） if (!includedCodAutons.contains(p.getCodAuton())) { includedCodAutons.add(p.getCodAuton()); return true; } // 否则返回false（过滤掉） return false; }) .collect(Collectors.toList()); // 将过滤后的列表设置回Provinces对象 province.setProvinces(filteredProvinces); return province; }}
在这个修改后的restTemplateProvince方法中：
我们首先像往常一样获取Provinces对象。然后，通过province.getProvinces().stream()创建一个数据流。filter操作结合一个辅助includedCodAutons列表来判断codAuton是否已出现过。这种方法在处理少量数据时简洁易懂。collect(Collectors.toList())将过滤后的元素收集回一个新的List。最后，我们更新Provinces对象中的省份列表，并返回它。
2. 在业务逻辑层进行数据转换与重命名
尽管我们在数据获取层已经完成了去重，但如果您的API需要返回一个更精简、属性名更友好的列表，或者甚至是一个List，那么还需要进一步的转换。这通常在Service层完成。
首先，定义一个新的DTO来表示我们希望在API中展示的精简数据结构：
// CustomProvinceView.javapublic class CustomProvinceView { private String autonomousCommunityCode; // 重命名codAuton private String autonomousCommunityName; // 重命名comunidadeCidadeAutonoma public CustomProvinceView(String autonomousCommunityCode, String autonomousCommunityName) { this.autonomousCommunityCode = autonomousCommunityCode; this.autonomousCommunityName = autonomousCommunityName; } // Getters public String getAutonomousCommunityCode() { return autonomousCommunityCode; } public String getAutonomousCommunityName() { return autonomousCommunityName; } // Setters (可选，如果不需要修改，可以省略) public void setAutonomousCommunityCode(String autonomousCommunityCode) { this.autonomousCommunityCode = autonomousCommunityCode; } public void setAutonomousCommunityName(String autonomousCommunityName) { this.autonomousCommunityName = autonomousCommunityName; }}
接下来，修改ProvinceService来执行这种转换：
import org.springframework.beans.factory.annotation.Autowired;import org.springframework.stereotype.Service;import org.springframework.web.client.RestTemplate;import java.util.List;import java.util.stream.Collectors;@Servicepublic class ProvinceService { @Autowired RestTemplate restTemplate; // 注入RestTemplate public List getAllProvincesFilteredAndTransformed() { // 调用Templates类中经过去重处理的方法 Provinces listOfProvinces = Templates.restTemplateProvince(restTemplate); // 对去重后的ProvincesData列表进行转换 return listOfProvinces.getProvinces() .stream() .map(p -> new CustomProvinceView(p.getCodAuton(), p.getComunidadeCidadeAutonoma())) .collect(Collectors.toList()); } // 如果需要返回List，例如只包含社区名称： public List getAllAutonomousCommunityNames() { Provinces listOfProvinces = Templates.restTemplateProvince(restTemplate); return listOfProvinces.getProvinces() .stream() .map(ProvincesData::getComunidadeCidadeAutonoma) .collect(Collectors.toList()); }}
最后，更新您的RestController以返回转换后的数据：
import org.springframework.beans.factory.annotation.Autowired;import org.springframework.web.bind.annotation.GetMapping;import org.springframework.web.bind.annotation.RestController;import java.util.List;@RestControllerpublic class ShowcaseController { @Autowired ProvinceService provinceService; @GetMapping("/provinces/custom") public List getCustomProvinces(){ return provinceService.getAllProvincesFilteredAndTransformed(); } @GetMapping("/provinces/community-names") public List getCommunityNames(){ return provinceService.getAllAutonomousCommunityNames(); }}
通过以上步骤，我们实现了：
使用RestTemplate获取原始数据。在数据获取阶段对数据进行去重处理。在业务逻辑层将去重后的数据转换成符合API输出需求的新DTO列表，并重命名了属性。提供了另一种将数据转换为List的示例。
注意事项与最佳实践
性能考量：在filter操作中使用List.contains()对于非常大的列表（百万级别以上）可能会有性能问题，因为它是一个O(n)操作。对于大数据集，更高效的去重方法是使用Set：
Set includedCodAutons = new HashSet();List filteredProvinces = province.getProvinces().stream() .filter(p -> includedCodAutons.add(p.getCodAuton())) // Set.add()返回true表示添加成功（不重复），false表示已存在（重复） .collect(Collectors.toList());
这种方式将去重操作的平均时间复杂度降低到O(1)，整体过滤效率更高。
DTO设计：为外部API响应和内部API输出设计不同的DTO是良好的实践。外部API DTO（如Provinces和ProvincesData）应尽可能匹配外部API的结构，以便于反序列化。而内部API DTO（如CustomProvinceView）则应根据您的业务需求和客户端展示需求进行优化，只包含必要字段且命名清晰。职责分离：将数据获取、过滤和转换逻辑分别放置在不同的层（如Templates类、Service层）有助于保持代码的模块化和可维护性。Templates负责原始数据获取和初步的通用处理，Service层负责业务逻辑和数据转换以满足特定API需求。错误处理：在实际应用中，RestTemplate调用应该包含适当的错误处理机制，例如try-catch块来捕获RestClientException，并处理网络问题或API返回的错误状态码。
总结
本教程展示了如何利用Spring RestTemplate和Java Stream API有效地处理从外部API获取的复杂数据。通过分阶段的过滤和转换，我们能够将原始、可能冗余的数据转化为精简、结构清晰且符合特定API输出要求的格式。掌握这些技术将使您在构建健壮且灵活的Spring Boot
以上就是使用RestTemplate获取并处理API数据：过滤、转换与定制化输出的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/50221.html
微信扫一扫 
支付宝扫一扫 
