Java Stream API:重构批量数据处理以避免共享可变性

java stream api:重构批量数据处理以避免共享可变性

本文探讨了在Java中处理批量数据库查询时如何通过重构代码来避免共享可变性。通过利用Java Stream API的map、flatMap和collect操作,可以消除对外部集合的副作用,从而实现更纯粹、更易于维护和并发友好的数据处理模式。

1. 批量数据处理中的共享可变性问题

在企业级应用中,从数据库批量获取数据是常见需求。然而,数据库通常对单次查询接受的参数数量有限制(例如,SQL IN 子句的参数数量)。因此,我们经常需要将一个大的键列表分割成多个小批次,然后对每个批次执行查询。

原始代码示例展示了这种场景,其中一个包含5000个数字的列表被分割成多个大小为500的子列表,然后对每个子列表执行数据库查询。

AtomicInteger counter = new AtomicInteger();List catList = new ArrayList(); // 外部可变列表List dogList = new ArrayList(); // 外部可变列表List numbers = Stream.iterate(1, e -> e + 1)    .limit(5000)    .collect(Collectors.toList());Collection<List> partitionedListOfNumbers = numbers.stream()    .collect(Collectors.groupingBy(num -> counter.getAndIncrement() / 500))    .values(); // 将列表分割成大小为500的子列表partitionedListOfNumbers.stream()    .forEach(list -> {        List interimCatList = catRepo.fetchCats(list); // 从数据库获取Cat        catList.addAll(interimCatList); // 修改外部 catList        List interimDogList = dogRepo.fetchDogs(list); // 从数据库获取Dog        dogList.addAll(interimDogList); // 修改外部 dogList    });

上述代码的核心问题在于其使用了forEach操作,并在其中通过catList.addAll(interimCatList)和dogList.addAll(interimDogList)直接修改了外部的catList和dogList。这种模式被称为“共享可变性”(Shared Mutability)。

共享可变性带来了多方面的问题:

立即学习“Java免费学习笔记(深入)”;

线程安全隐患: 在多线程环境下,如果多个线程同时访问并修改catList或dogList,可能导致数据不一致或运行时错误。可读性和可维护性降低: 外部状态的修改使得代码难以理解,因为一个方法的行为不仅取决于其输入,还取决于其外部环境的状态。不符合函数式编程范式: 函数式编程鼓励纯函数,即没有副作用的函数。修改外部状态是典型的副作用。

为了构建更健壮、更易于测试和并发友好的代码,我们应该尽量避免共享可变性。

2. 利用 Java Stream API 实现不可变数据处理

Java 8 引入的 Stream API 提供了一种声明式、函数式的方式来处理集合数据。通过利用 map、flatMap 和 collect 等操作,我们可以在不修改外部状态的情况下转换和聚合数据。

map: 将流中的每个元素转换成另一个元素,生成一个新的流。例如,将一个批次的键列表转换为一个List。flatMap: 将流中的每个元素转换成一个流,然后将这些流扁平化为一个单一的流。这在处理“流的流”时非常有用,例如将List<List>扁平化为List。collect: 将流中的元素聚合成一个结果容器(例如List、Set或Map)。这是创建最终不可变结果的关键。

3. 重构方案详解与示例代码

为了消除共享可变性,我们将重构代码,使其不再使用forEach来修改外部列表,而是利用Stream的管道操作来生成新的结果列表。

核心思路:

分批处理: 保持原有的分批逻辑,将大的键列表分割成多个子列表。映射批次到结果: 对每个子列表,执行数据库查询,将其映射成一个结果列表(例如List)。扁平化结果列表: 将所有批次的结果列表(List<List>)扁平化成一个单一的结果流。收集最终结果: 将扁平化后的结果流收集到一个新的List中。

以下是重构后的代码示例:

import java.util.ArrayList;import java.util.Collection;import java.util.List;import java.util.concurrent.atomic.AtomicInteger;import java.util.stream.Collectors;import java.util.stream.IntStream;import java.util.stream.Stream;// 模拟数据库仓库接口和实体类class Cat {    private int id;    private String name;    public Cat(int id, String name) { this.id = id; this.name = name; }    @Override public String toString() { return "Cat{id=" + id + ", name='" + name + "'}"; }}class Dog {    private int id;    private String name;    public Dog(int id, String name) { this.id = id; this.name = name; }    @Override public String toString() { return "Dog{id=" + id + ", name='" + name + "'}"; }}class CatRepository {    public List fetchCats(List keys) {        // 模拟数据库查询        System.out.println("Fetching Cats for keys: " + keys.size() + " elements, first: " + keys.get(0));        return keys.stream()                   .map(id -> new Cat(id, "Cat_" + id))                   .collect(Collectors.toList());    }}class DogRepository {    public List fetchDogs(List keys) {        // 模拟数据库查询        System.out.println("Fetching Dogs for keys: " + keys.size() + " elements, first: " + keys.get(0));        return keys.stream()                   .map(id -> new Dog(id, "Dog_" + id))                   .collect(Collectors.toList());    }}public class BatchProcessingRefactor {    public static void main(String[] args) {        CatRepository catRepo = new CatRepository();        DogRepository dogRepo = new DogRepository();        int totalNumbers = 5000;        int batchSize = 500;        // AtomicInteger 用于在 groupingBy 中生成分组键        // 它本身是可变的,但其作用是帮助创建不可变的子集合        AtomicInteger counter = new AtomicInteger();        // 1. 数据分批:将 1 到 5000 的数字分割成大小为 500 的子列表        // IntStream.rangeClosed(1, totalNumbers) 生成一个从1到totalNumbers的整数流        // boxed() 将 IntStream 转换为 Stream        Collection<List> partitionedListOfNumbers = IntStream.rangeClosed(1, totalNumbers)            .boxed()            .collect(Collectors.groupingBy(num -> counter.getAndIncrement() / batchSize))            .values();        System.out.println("Total partitions: " + partitionedListOfNumbers.size());        // 2. 处理 Cat 数据:使用 Stream API 避免共享可变性        // partitionedListOfNumbers.stream() 创建一个包含 List 的流        // .map(catRepo::fetchCats) 将每个 List 映射为一个 List        //   此时流的类型是 Stream<List>        // .flatMap(List::stream) 将 Stream<List> 扁平化为 Stream        //   即将所有 List 中的 Cat 对象合并到一个单一的流中        // .collect(Collectors.toList()) 将 Stream 中的所有 Cat 对象收集到一个新的 List 中        List catList = partitionedListOfNumbers.stream()            .map(catRepo::fetchCats)            .flatMap(List::stream)            .collect(Collectors.toList());        // 3. 处理 Dog 数据:同样的方式        List dogList = partitionedListOfNumbers.stream()            .map(dogRepo::fetchDogs)            .flatMap(List::stream)            .collect(Collectors.toList());        System.out.println("Fetched " + catList.size() + " cats.");        System.out.println("Fetched " + dogList.size() + " dogs.");        // 验证部分数据        // catList.stream().limit(5).forEach(System.out::println);        // dogList.stream().skip(4995).forEach(System.out::println);    }}

4. 优势与注意事项

优势:

避免共享可变性: catList 和 dogList 是通过 collect(Collectors.toList()) 操作创建的新列表,它们在创建过程中没有被外部修改,从而消除了副作用和线程安全问题。函数式编程风格: 代码更具声明性,清晰地表达了“转换”和“聚合”的意图,而不是“迭代”和“修改”。并发友好: 由于消除了共享可变状态,这种模式更容易适应并行流 (parallelStream()),从而在多核处理器上获得性能提升,而无需担心复杂的同步机制。可维护性与可测试性: 减少了副作用,使得代码逻辑更纯粹,更容易进行单元测试和推理。

注意事项:

AtomicInteger 的使用: 在 groupingBy 操作中,AtomicInteger 被用来生成不重复的分组键。虽然 AtomicInteger 本身是可变的,但它在这里的作用是辅助流操作生成不可变的子集合,而不是用于累积最终结果,因此它不会引入共享可变性问题到最终结果列表中。代码重复的抽象: 示例中 catList 和 dogList 的获取逻辑存在相似性。在更复杂的场景中,可以考虑将这部分逻辑抽象为一个通用方法,接受一个函数作为参数来执行具体的数据库查询,从而进一步减少代码重复。错误处理: 在实际应用中,数据库查询可能会抛出异常。Stream API 提供了 try-catch 或 Optional 等机制来处理这些情况,但需要额外设计。

5. 总结

通过采用 Java Stream API 的 map、flatMap 和 collect 等操作,我们可以有效地重构批量数据处理代码,从而避免共享可变性。这种方法不仅提升了代码的线程安全性、可读性和可维护性,还使其更符合现代函数式编程的理念。在处理大量数据或构建高并发系统时,优先考虑这种不可变的数据处理模式将带来显著的优势。

以上就是Java Stream API:重构批量数据处理以避免共享可变性的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/40257.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
48岁渔村网红阿霞坠海遇难是怎么回事?详情介绍
上一篇 2026年11月18日 12:03:34
蒋尚义:摩尔定律放缓催动半导体变局,芯粒化解 AI 芯片成本危机
下一篇 2025年11月10日 20:17:04

相关推荐

  • QQ邮箱手机网页版登录入口 QQ邮箱在线登录入口

    QQ邮箱手机网页版登录入口 QQ邮箱在线登录入口QQ邮箱手机网页版登录入口 QQ邮箱在线登录入口QQ邮箱手机网页版登录入口 QQ邮箱在线登录入口QQ邮箱手机网页版登录入口 QQ邮箱在线登录入口

    QQ邮箱手机网页版登录入口为https://mail.qq.com/,打开手机浏览器输入该网址即可访问。支持微信扫码登录,界面适配移动端,可添加桌面快捷方式。邮件、联系人、附件等数据多端同步,分类管理便捷。采用加密传输与双重验证,保障账户安全,异常登录实时提醒。 QQ邮箱手机网页版登录入口在哪里?这…

    2026年11月18日 • 用户投稿
    200
  • 上半年国内6000+价位手机份额分析:苹果涨幅最高

    上半年国内6000+价位手机份额分析:苹果涨幅最高上半年国内6000+价位手机份额分析:苹果涨幅最高上半年国内6000+价位手机份额分析:苹果涨幅最高上半年国内6000+价位手机份额分析:苹果涨幅最高

    8月20日,一位数码博主公布了今年第一季度与第二季度国内6000元以上价位段智能手机市场份额的对比数据。数据显示,苹果以1.61个百分点的显著增长,成为该价位段中增幅最大的品牌,其市场份额由第一季度的64.98%上升至第二季度的66.59%,进一步巩固了其在高端市场的领先地位。 苹果手机 除苹果外,…

    2026年11月18日 • 用户投稿
    000
  • 商汤徐立:未来核心战略在于无缝集成基础设施、人工智能模型和应用

    商汤徐立:未来核心战略在于无缝集成基础设施、人工智能模型和应用商汤徐立:未来核心战略在于无缝集成基础设施、人工智能模型和应用商汤徐立:未来核心战略在于无缝集成基础设施、人工智能模型和应用商汤徐立:未来核心战略在于无缝集成基础设施、人工智能模型和应用

    恰逢商汤科技十周年庆典,“2024商汤十周年国际论坛:迈向ai 2.0共融新时代”在香港科学园成功举办。来自全球的行业领袖、政府代表、ai专家共聚于此,共同探讨ai行业的未来。活动上,商汤科技董事长兼首席执行官徐立表示,当下正处在agi的转折点,在人工智能2.0时代,商汤的核心战略是无缝集成数字基础…

    2026年11月18日 • 用户投稿
    000
  • vscode怎么连接docker_vscode容器开发配置

    vscode怎么连接docker_vscode容器开发配置vscode怎么连接docker_vscode容器开发配置vscode怎么连接docker_vscode容器开发配置vscode怎么连接docker_vscode容器开发配置

    vs code 连接 docker 容器进行开发的核心方法是使用 remote – containers 插件。1. 安装 docker 和 remote – containers 插件;2. 创建定义环境的 dockerfile;3. 配置 .devcontainer/de…

    2026年11月18日 • 用户投稿
    000
  • PyTorch在CentOS上的常见问题及解决方法

    centos系统下pytorch安装与使用常见问题及解决方案 本文将针对CentOS系统中PyTorch安装和使用过程中遇到的常见问题提供相应的解决方案。 一、 常见问题及解决方案 问题:如何确认我的系统是否支持PyTorch GPU版本? 解决方案: PyTorch GPU版本需要NVIDIA显卡…

    2026年11月18日
    100
  • Steam最新软硬件统计出炉:6成以上玩家在用Win10

    Steam最新软硬件统计出炉:6成以上玩家在用Win10Steam最新软硬件统计出炉:6成以上玩家在用Win10Steam最新软硬件统计出炉:6成以上玩家在用Win10Steam最新软硬件统计出炉:6成以上玩家在用Win10

    9月4日当天,steam平台公布了其8月份的硬件与软件使用情况统计报告。 在各类数据中,操作系统的变动最为显著。Windows 10 64位版本的用户比例上升了6.22个百分点,总计已达到60.62%,而Windows 7 64位版本的用户数量则降至29.17%,创下了历史新低。 以下是部分基础数据…

    2026年11月18日 • 用户投稿
    000
  • 聚焦AI科技与医疗的跨学科融合,CAIR香港人工智能与机器人医疗论坛开幕

    聚焦AI科技与医疗的跨学科融合,CAIR香港人工智能与机器人医疗论坛开幕聚焦AI科技与医疗的跨学科融合,CAIR香港人工智能与机器人医疗论坛开幕聚焦AI科技与医疗的跨学科融合,CAIR香港人工智能与机器人医疗论坛开幕聚焦AI科技与医疗的跨学科融合,CAIR香港人工智能与机器人医疗论坛开幕

    2024年3月28日至29日,“cair香港人工智能与机器人医疗论坛”在香港科学园举行。论坛由中国科学院香港创新研究院人工智能与机器人创新中心主办,聚焦人工智能与机器人在医疗领域的创新应用。来自全球的专家学者参与,探讨如何透过科技提升医疗服务质量、优化资源配置、提升效率,并促进医学研究发展。 ☞☞☞…

    2026年11月18日 • 用户投稿
    000
  • 【智能春联】生成海报基于百度云接口实现

    春联是中国特有的文学形式和过年重要习俗,以对仗文字描绘美好、抒发愿望。文中介绍智能春联商用及接口价格,还详述相关开发过程:获取AccessToken、Java调用接口,用创客贴模板图,确定文字坐标后,通过Java代码合并文字与图片生成春联图片,同时提及字体等注意事项。 ☞☞☞AI 智能聊天, 问答助…

    2026年11月18日
    300
  • 如何将 Excel 单元格变成正方形

    如何将 Excel 单元格变成正方形如何将 Excel 单元格变成正方形如何将 Excel 单元格变成正方形如何将 Excel 单元格变成正方形

    首先通过手动拖动或精确设置行高和列宽使单元格成正方形,推荐行高20磅、列宽2.85字符;其次可用VBA宏批量设置,运行指定代码将选中区域统一调整为正方形;最后可借助开发工具中的网格线和按钮控件辅助对齐,提升布局精度。 如果您希望在 Excel 中调整单元格的行高和列宽,使其呈现为正方形,可以通过精确…

    2026年11月18日 • 用户投稿
    400
  • 问题 linux下执行.sh 文件出现 no such file or directoryile

    问题 linux下执行.sh 文件出现 no such file or directoryile问题 linux下执行.sh 文件出现 no such file or directoryile问题 linux下执行.sh 文件出现 no such file or directoryile问题 linux下执行.sh 文件出现 no such file or directoryile

    问题 linux系统是centos 7.x 发现将windows自动打的包发到centos后执行.sh文件出现如下: 原因 通过查询发现,原来windows的格式不是unix而是其他格式,导致手动发包上去导致该问题。 查询.sh文件的格式,通过vim 打开.sh然后执行如下: 代码语言:javasc…

    2026年11月18日 • 用户投稿
    300
  • 细节表现超Sora,网友:真正的国产之光!MiniMax视频模型再上新

    细节表现超Sora,网友:真正的国产之光!MiniMax视频模型再上新细节表现超Sora,网友:真正的国产之光!MiniMax视频模型再上新细节表现超Sora,网友:真正的国产之光!MiniMax视频模型再上新细节表现超Sora,网友:真正的国产之光!MiniMax视频模型再上新

    minimax 的 ai 视频生成模型:挑战sora,引领国产ai浪潮 MiniMax在短短几个月内,凭借其AI高清视频生成模型Abab-video-1和最新的图生视频模型I2V-01-Live,迅速在AI视频生成领域崭露头角,甚至与OpenAI的Sora展开直接竞争。其网页版访问量在短短几周内暴增…

    2026年11月18日 • 用户投稿
    200
  • 夸克app在线入口 夸克app在线网址

    夸克app在线入口 夸克app在线网址夸克app在线入口 夸克app在线网址夸克app在线入口 夸克app在线网址夸克app在线入口 夸克app在线网址

    夸克app在线入口为https://quark.sm.cn/,该平台提供AI搜索、文档处理、图片识别、语音搜索等功能,支持个人数据同步备份与多设备云端存储,并设有阅读频道及旅游路线规划等特色服务。 夸克app在线入口 夸克app在线网址在哪里?这是不少网友都关注的,接下来由PHP小编为大家带来夸克a…

    2026年11月18日 • 用户投稿
    000
  • 数据堆成山,决策拍脑袋?“浙”里有华为云MaaS秘籍!

    数据堆成山,决策拍脑袋?“浙”里有华为云MaaS秘籍!数据堆成山,决策拍脑袋?“浙”里有华为云MaaS秘籍!数据堆成山,决策拍脑袋?“浙”里有华为云MaaS秘籍!数据堆成山,决策拍脑袋?“浙”里有华为云MaaS秘籍!

    数据堆积如山,分析无从下手?财务报表刚做完,领导一句“再加个维度”就得推倒重来?合同审查员面对200页英文合同逐字研读,错过签约最佳时机……明明数据都在,却用不起来;流程跑了一遍又一遍,效率依然提不上去;买了ai工具,却因不会用而束之高阁——这样的困局,几乎每家企业都深有体会。如何破题,已成为企业提…

    2026年11月18日 • 用户投稿
    000
  • 新加坡国立大学赖载兴教授专访:用混沌边缘改善神经网络,与上帝掷骰子 | IJAIRR

    新加坡国立大学赖载兴教授专访:用混沌边缘改善神经网络,与上帝掷骰子 | IJAIRR新加坡国立大学赖载兴教授专访:用混沌边缘改善神经网络,与上帝掷骰子 | IJAIRR新加坡国立大学赖载兴教授专访:用混沌边缘改善神经网络,与上帝掷骰子 | IJAIRR新加坡国立大学赖载兴教授专访:用混沌边缘改善神经网络,与上帝掷骰子 | IJAIRR

    新加坡国立大学赖载兴教授:利用混沌边缘提升神经网络性能,探寻人工智能的“掷骰子”之道 2021年,诺贝尔物理学奖授予复杂系统研究领域的三位科学家,其中乔治·帕里西教授的成果对神经网络理论研究产生了深远影响。新加坡国立大学赖载兴教授正是这一跨学科研究浪潮中的杰出代表。他的学术生涯始于对物理学的热爱,从…

    2026年11月18日 • 用户投稿
    100
  • HBase数据备份在CentOS上如何实现

    在centos系统上安全可靠地备份hbase数据,请遵循以下步骤: 第一步:HBase安装与配置 确保您的CentOS系统已正确安装HBase。若未安装,请参考官方文档进行安装。 接下来,编辑hbase-site.xml文件,配置HBase备份参数,例如: hbase.backup.enabled …

    2026年11月18日
    000
  • 126邮箱个人邮箱登录入口 126免费邮箱官方登录

    126邮箱个人邮箱登录入口 126免费邮箱官方登录126邮箱个人邮箱登录入口 126免费邮箱官方登录126邮箱个人邮箱登录入口 126免费邮箱官方登录126邮箱个人邮箱登录入口 126免费邮箱官方登录

    126邮箱登录入口为mail.126.com,用户可通过浏览器访问官网输入账号密码登录,支持移动端适配与多设备同步,具备智能反垃圾、邮件追踪等功能。 126邮箱个人邮箱登录入口在哪里?这是不少网友都关注的,接下来由PHP小编为大家带来126免费邮箱官方登录方式及使用技巧,感兴趣的网友一起随小编来瞧瞧…

    2026年11月18日 • 用户投稿
    000
  • AI睡眠新风,TCL小蓝翼C7新风空调满足用户健康呼吸体验

    AI睡眠新风,TCL小蓝翼C7新风空调满足用户健康呼吸体验AI睡眠新风,TCL小蓝翼C7新风空调满足用户健康呼吸体验AI睡眠新风,TCL小蓝翼C7新风空调满足用户健康呼吸体验AI睡眠新风,TCL小蓝翼C7新风空调满足用户健康呼吸体验

    今年夏季的炎热程度令人难以忘怀。东北多个地区气温创下历史新高,例如中国最北的城市漠河曾出现高达35℃的极端高温,6月持续的酷热天气使得空调安装订单激增。尽管已经进入立秋时节,许多地方的气温依然居高不下。面对如此持久的高温,人们不禁感叹“命是空调给的”。然而,传统空调在使用过程中暴露出的一系列问题,严…

    2026年11月18日 • 用户投稿
    000
  • 传华为将推出 5 款笔记本电脑新品:均运行 Linux 系统

    华为或将发布五款搭载linux系统的笔记本电脑,引发业界关注。据数码博主爆料,新款matebook系列笔记本,包括matebook d 14、d 16、14、gt 14和x pro 2024款,都将预装linux系统。这一举动或出于多方面考虑。 华为笔记本电脑 降低成本是重要因素之一。Linux作为…

    2026年11月18日
    200
  • 双屏翻盖 像3DS!6英寸120Hz游戏掌机预热视频公开

    双屏翻盖 像3DS!6英寸120Hz游戏掌机预热视频公开双屏翻盖 像3DS!6英寸120Hz游戏掌机预热视频公开双屏翻盖 像3DS!6英寸120Hz游戏掌机预热视频公开双屏翻盖 像3DS!6英寸120Hz游戏掌机预热视频公开

    据it之家消息,ayn此前预告了其新款thor掌机,该设备采用翻盖式双屏设计,整体造型与任天堂3ds颇为相似。 目前,官方已发布Thor掌机的预热视频,展示了设备的外观细节。视频中可见,掌机的B面与C面采用了光面材质外壳,视觉效果接近初代任天堂3DS,而A面和D面则使用了磨砂质感处理。此外,摇杆区域…

    2026年11月18日 • 用户投稿
    400
  • 元象发布中国最大MoE开源大模型 落地应用登顶港台榜

    元象发布中国最大MoE开源大模型 落地应用登顶港台榜元象发布中国最大MoE开源大模型 落地应用登顶港台榜元象发布中国最大MoE开源大模型 落地应用登顶港台榜元象发布中国最大MoE开源大模型 落地应用登顶港台榜

    元象xverse发布中国最大moe开源模型:xverse-moe-a36b,加速ai应用低成本部署,将国产开源提升至国际领先水平。该模型总参数255b,激活参数36b,达到100b模型性能的「跨级」跃升,同时训练时间减少30%,推理性能提升100%,使每token成本大幅下降。 元象「高性能全家桶」…

    2026年11月18日 • 用户投稿
    100

发表回复

登录后才能评论
关注微信