使用ExecutorService高效并行计算字符串相似度

使用ExecutorService高效并行计算字符串相似度

本文详细介绍了如何利用Java的ExecutorService和线程池机制,高效并行地计算列表中字符串的相似度。通过将每个字符串的相似度计算任务封装成独立的Runnable,并提交给线程池执行,避免了传统单线程或不当多线程同步导致的性能瓶颈,实现了任务的合理分解与并发处理,从而显著提升了处理效率。

在处理大量数据时,例如计算一个字符串列表内所有字符串两两之间的相似度,如果采用单线程顺序执行,效率会非常低下。而如果采用多线程,但任务分解不合理或同步机制使用不当,也可能无法达到预期的并行效果,甚至引入新的问题。本教程将指导您如何使用java的executorservice,以一种标准且高效的方式实现这一目标。

问题分析与传统方法局限

在原始场景中,用户尝试通过创建一个Runnable实例,并在其中使用synchronized (LOCK)来同步对整个列表的相似度计算过程。这种做法存在以下几个问题:

不合理的同步范围: synchronized (LOCK)锁住了整个run方法中的循环,导致同一时刻只有一个线程能够执行相似度计算,这完全失去了多线程并行的意义。任务分解不当: 每个线程被设计为独立完成整个列表的相似度计算,这不仅重复工作,而且在同步的限制下,实际上是串行执行。索引越界风险: newList.get(i)和i++的组合在循环中可能导致索引越界(i可能达到newList.size()),且逻辑上可能不是期望的两两比较。

正确的做法是将大任务分解成多个小任务,每个小任务独立完成一部分工作,然后由线程池来调度这些小任务的并行执行。

使用ExecutorService进行任务分解与并行计算

Java的java.util.concurrent.ExecutorService提供了一种高级的并发API,用于管理线程池和提交任务。通过它,我们可以将计算字符串相似度的任务分解为针对每个字符串的独立子任务,然后由线程池中的线程并行执行。

核心思想

创建线程池: 使用Executors.newFixedThreadPool(int nThreads)创建一个固定大小的线程池,限制同时运行的线程数量。任务封装: 将每个字符串的相似度计算逻辑封装到一个Runnable实现中。这个Runnable负责计算一个特定字符串与列表中所有其他字符串的相似度。提交任务: 遍历字符串列表,为每个字符串创建一个Runnable实例,并将其提交给ExecutorService。关闭线程池: 在所有任务提交完毕后,调用pool.shutdown()优雅地关闭线程池,等待所有已提交任务完成。

示例代码与解析

以下是使用ExecutorService实现字符串相似度并行计算的示例代码:

import java.util.ArrayList;import java.util.List;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;// 假设有一个Solution类提供findSimilarityRatio方法class Solution {    public double findSimilarityRatio(String s1, String s2) {        // 模拟耗时的相似度计算        try {            Thread.sleep(10); // 模拟计算耗时        } catch (InterruptedException e) {            Thread.currentThread().interrupt();        }        // 实际的相似度计算逻辑        return (double) Math.min(s1.length(), s2.length()) / Math.max(s1.length(), s2.length());    }}// 假设listExe提供获取字符串列表的方法class ListExecutor {    public List getStringList() {        List list = new ArrayList();        list.add("apple");        list.add("apricot");        list.add("banana");        list.add("bandana");        list.add("orange");        list.add("grape");        return list;    }}public class MultiThreadSimilarityCalculator {    // solution对象,假设它是线程安全的或我们会在需要时同步    private static final Solution solution = new Solution();    private static final ListExecutor listExe = new ListExecutor();    public static void main(String[] args) {        // 创建一个固定大小为10的线程池        ExecutorService pool = Executors.newFixedThreadPool(10);        List stringList = listExe.getStringList();        // 遍历列表中的每个字符串,为每个字符串创建一个任务        for (String str : stringList) {            // 将任务提交给线程池            pool.submit(new SimilarityRunnable(str, stringList));        }        // 所有任务提交完毕后,关闭线程池。        // shutdown()方法会阻止新的任务提交,并等待所有已提交任务完成。        pool.shutdown();        System.out.println("所有任务已提交,线程池正在关闭...");    }    /**     * SimilarityRunnable 类封装了计算一个字符串与列表中所有其他字符串相似度的任务。     */    private static class SimilarityRunnable implements Runnable {        private final String str; // 当前要比较的字符串        private final List stringList; // 整个字符串列表        public SimilarityRunnable(String str, List stringList) {            this.str = str;            this.stringList = stringList;        }        @Override        public void run() {            for (String listStr : stringList) {                // 避免自身与自身比较,这里使用 == 判断引用是否相同,                // 如果字符串内容相同但引用不同,仍会比较。                // 如果需要严格避免内容相同的字符串比较,需要使用 equals()。                if (listStr == str) {                    continue;                }                // 如果 solution 对象不是线程安全的,需要在这里进行同步。                // 例如:synchronized (solution) { ... }                System.out.println(Thread.currentThread().getName()                    + ": 字符串 '" + str + "' 与 '" + listStr + "' 的相似度是 "                    + solution.findSimilarityRatio(str, listStr));            }        }    }}

代码解析:

main 方法:

ExecutorService pool = Executors.newFixedThreadPool(10);:创建了一个包含10个线程的线程池。这意味着最多可以有10个任务同时执行。for (String str : stringList):迭代原始字符串列表。pool.submit(new SimilarityRunnable(str, stringList));:对于列表中的每一个字符串str,都创建一个SimilarityRunnable实例,并将其提交给线程池。每个SimilarityRunnable实例都负责计算str与stringList中所有其他字符串的相似度。pool.shutdown();:在所有任务都提交给线程池后,调用shutdown()方法。这会阻止新的任务被提交,并允许线程池中的线程完成所有已提交的任务,然后优雅地终止。

SimilarityRunnable 类:

它实现了Runnable接口,定义了任务的执行逻辑。构造函数接收一个str(当前要进行比较的字符串)和stringList(完整的字符串列表)。run() 方法包含实际的业务逻辑:遍历stringList,计算str与listStr的相似度。if (listStr == str):这是一个优化点,用于跳过字符串自身与自身的比较。需要注意的是,==比较的是对象的引用,如果列表中存在内容相同但引用不同的字符串,它们仍然会被比较。如果希望完全跳过内容相同的字符串,应使用listStr.equals(str)。线程安全考虑: solution.findSimilarityRatio(str, listStr)这行代码假设solution对象及其findSimilarityRatio方法是线程安全的(即,它不会修改共享状态,或者其内部已处理了并发)。如果solution对象不是线程安全的,那么在调用其方法时需要进行额外的同步,例如 synchronized (solution) { … }。

注意事项与最佳实践

线程池大小: newFixedThreadPool(10)中的10是一个示例值。理想的线程池大小取决于您的任务性质(CPU密集型或I/O密集型)、系统可用核心数以及内存限制。对于CPU密集型任务,通常设置为CPU核心数加1或2。共享资源同步: 确保所有线程访问的共享资源(如本例中的solution对象)是线程安全的。如果不是,必须采取适当的同步措施(如synchronized关键字、ReentrantLock等)。任务粒度: 将任务分解为粒度适中的小任务非常重要。过大的任务会减少并行度,过小的任务则会增加线程调度的开销。本例中,为每个字符串创建一个任务是合理的粒度。异常处理: 在Runnable的run()方法中,应该包含健壮的异常处理逻辑,以防止单个任务的失败影响整个应用程序。线程池的关闭: 务必在应用程序生命周期结束时调用pool.shutdown()。如果需要等待所有任务完成,可以使用pool.awaitTermination()方法。例如:

pool.shutdown();try {    if (!pool.awaitTermination(60, TimeUnit.SECONDS)) { // 等待最多60秒        pool.shutdownNow(); // 如果超时,强制关闭    }} catch (InterruptedException ex) {    pool.shutdownNow();    Thread.currentThread().interrupt();}

submit() vs execute(): ExecutorService提供了execute()和submit()方法。execute(Runnable command):用于提交Runnable任务,不返回任何结果。submit(Runnable task) 或 submit(Callable task):提交Runnable或Callable任务,返回一个Future对象,可以用来检查任务状态、获取任务结果或取消任务。在本例中,我们不需要获取任务的返回值,所以submit(Runnable)或execute(Runnable)都可以。

总结

通过本教程,我们学习了如何利用Java的ExecutorService和线程池机制,将字符串相似度计算任务分解为可并行执行的子任务。这种模式不仅能够有效利用多核处理器的性能,提高应用程序的响应速度和吞吐量,而且通过线程池的管理,避免了手动创建和销毁线程的开销,使并发编程更加简洁和高效。理解并正确应用这种任务分解和线程池管理模式,是进行高效并发编程的关键。

以上就是使用ExecutorService高效并行计算字符串相似度的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/75567.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月14日 10:31:08
下一篇 2025年11月14日 11:07:56

相关推荐

  • PHP While 循环异常终止:问题诊断与解决方案

    本文旨在解决PHP中使用while循环从MySQL数据库获取数据时,循环只执行一次就停止的问题。通过分析错误信息和代码逻辑,我们将定位问题根源在于变量名冲突,并提供明确的修改方案,确保循环能够正确处理所有数据行。本文还将介绍如何避免类似错误,提升代码的健壮性和可维护性。 在PHP开发中,使用whil…

    2025年12月12日
    000
  • PHP 清空目录,包括自身脚本

    本文将介绍如何使用 PHP 编写脚本,用于删除指定目录下的所有文件,包括该脚本自身。 清空目录的 PHP 脚本实现 要实现清空目录的功能,我们需要以下几个步骤: 获取目录下的所有文件: 使用 glob() 函数获取目录下所有文件的路径。删除文件: 使用 unlink() 函数删除每个文件。删除脚本自…

    2025年12月12日
    000
  • Laravel 7 artisan key:generate 命令失效问题解决

    本文旨在解决 Laravel 7 项目中使用 php artisan key:generate 命令生成 APP_KEY 时遇到的 “file_get_contents” 错误。通过手动生成 APP_KEY 并更新 .env 文件,可以有效绕过该问题,确保应用程序正常运行。 …

    2025年12月12日
    000
  • Laravel Artisan Key Generate 失败问题解决指南

    第一段引用上面的摘要:本文旨在解决 Laravel 7 中执行 php artisan key:generate 命令时遇到的 “file_get_contents” 错误。通过手动生成 APP_KEY 并更新 .env 文件,帮助开发者快速解决该问题,确保应用程序正常运行。…

    2025年12月12日
    000
  • Laravel 7 artisan key:generate 报错解决方案

    第一段引用上面的摘要: 本文针对 Laravel 7 中执行 php artisan key:generate 命令时出现 “file_get_contents(/project/positiv/core/vendor/psy//.env): failed to open stream:…

    2025年12月12日
    000
  • Laravel 7 artisan key:generate 报错问题解决指南

    本文旨在解决 Laravel 7 项目中使用 php artisan key:generate 命令生成 APP_KEY 时遇到的 “file_get_contents(/project/positiv/core/vendor/psy//.env): failed to open str…

    2025年12月12日
    000
  • 如何在 Laravel 中验证嵌套数组中的邮箱和角色ID

    本文详细介绍了在 Laravel 应用程序中如何高效地验证包含嵌套数据的数组,特别是针对数组中每个元素的邮箱地址和角色ID。通过使用 Laravel 强大的表单请求(Form Request)或控制器验证方法,结合点式表示法和通配符,您可以轻松实现对复杂数据结构的准确验证,确保数据的完整性和安全性。…

    2025年12月12日
    000
  • Laravel 中嵌套数组数据验证指南

    本文详细介绍了在 Laravel 应用程序中如何高效地验证包含嵌套对象的数组数据。通过利用 Laravel 验证规则中的点表示法(.*),开发者可以精确地对数组内的每个元素(如电子邮件和角色ID)进行验证,无论是通过表单请求类还是控制器内置的 validate 方法,都能实现数据完整性和安全性的保障…

    2025年12月12日
    000
  • Laravel 中数组嵌套数据的高效验证指南

    本文详细介绍了在 Laravel 应用程序中如何高效验证包含嵌套数组的数据,特别是针对数组中每个元素的特定字段(如电子邮件和角色ID)。文章将深入讲解 Laravel 验证规则中的点式表示法(.* 通配符)的应用,并通过具体的代码示例演示如何在表单请求(Form Request)和控制器中实现此类验…

    2025年12月12日
    000
  • Laravel 数组请求数据验证:实现嵌套邮箱与角色ID的有效校验

    本文详细介绍了在 Laravel 应用程序中如何高效地验证包含嵌套数据的数组请求。重点讲解了使用 * 通配符进行数组元素遍历验证的技巧,特别是针对数组中每个对象的 email 和 role_id 字段的校验方法。通过示例代码,阐述了在表单请求类(Form Request)或控制器中应用这些验证规则的…

    2025年12月12日
    000
  • Laravel 中如何高效验证嵌套数组数据(含邮箱和角色ID)

    本文详细介绍了在 Laravel 应用中如何对接收到的嵌套数组数据进行有效验证,特别是针对数组中每个对象的邮箱地址和角色ID。通过使用 Laravel 强大的验证规则和点号通配符(*),开发者可以轻松定义复杂的数据结构验证逻辑,确保数据的完整性和安全性,无论是在表单请求还是控制器中都能灵活应用。 在…

    2025年12月12日
    000
  • 从PHP中提取XML节点键的实用教程

    本教程详细介绍了如何使用PHP从XML数据中提取所有嵌套的节点键路径。通过将XML转换为数组,并利用递归函数遍历多维数组结构,可以高效地获取到从根节点到每个叶子节点的完整路径,包括处理数字索引和复杂嵌套的情况,为XML数据处理提供了强大的工具。 引言 在php开发中,经常需要处理xml数据。当xml…

    2025年12月12日
    000
  • XML 数据解析:PHP 中提取 XML 节点键的实用方法

    本文介绍了在 PHP 中解析 XML 数据并提取所有节点键的实用方法。通过使用 SimpleXMLElement 和递归函数,可以有效地遍历 XML 结构,并获取包括嵌套节点在内的所有键名。本文提供了详细的代码示例和解释,帮助开发者快速掌握 XML 数据处理技巧。 在 php 中处理 xml 数据时…

    2025年12月12日
    000
  • PHP中从XML数据中提取完整层级键路径的指南

    本教程详细介绍了如何在PHP中高效地从XML数据中提取所有层级键路径。通过将XML转换为数组,并利用一个精心设计的递归函数,我们可以准确地遍历嵌套结构,捕获包括数值索引在内的所有节点键,从而解决传统方法难以处理的深层嵌套键路径问题,确保数据结构的完整性表示。 引言 在php开发中,处理xml数据是常…

    2025年12月12日
    000
  • XML 数据解析:PHP 中提取 XML 节点键的完整指南

    本文详细介绍了如何使用 PHP 解析 XML 数据并提取所有节点键。通过结合 SimpleXMLElement 和递归函数,可以有效地遍历 XML 结构,获取包括嵌套节点在内的所有键名。文章提供了一个完整的代码示例,展示了如何实现这一功能,并解释了关键步骤和注意事项。无论您是处理简单的 XML 文件…

    2025年12月12日
    000
  • 从PHP XML中提取所有节点键

    本教程详细介绍了如何利用PHP递归函数从XML数据中提取所有节点键,包括深层嵌套和数组形式的元素。通过将XML转换为数组,并设计一个能够追踪完整路径的递归函数,我们能够高效地获取XML结构中所有叶子节点的唯一路径,为XML数据处理和分析提供清晰的键值列表。 引言:XML数据键提取的挑战 在php中处…

    2025年12月12日
    000
  • PHP GD库图像处理内存管理与优化指南

    本文旨在解决PHP在处理大量图像时常见的内存溢出问题。当使用GD库函数如imagecreatefromjpeg和imagecreatetruecolor创建图像资源时,若不及时释放,会导致内存耗尽。核心解决方案是利用imagedestroy()函数显式释放图像资源,并辅以调整PHP的memory_l…

    2025年12月12日
    000
  • 基于PHP JSON的图片异步加载技术详解

    本文详细介绍了如何利用PHP从MySQL数据库获取图片路径,并通过JSON格式传输至前端,实现图片的异步加载与动态展示。文章重点阐述了使用JavaScript (jQuery) 正确解析JSON数据并构建标签的方法,同时优化了内容更新机制,旨在帮助开发者构建高效、响应式的图片展示功能,避免页面刷新,…

    好文分享 2025年12月12日
    000
  • PHP图像处理中的内存溢出与优化实践

    本文深入探讨了PHP在处理大量图片时常见的内存耗尽问题,特别是在使用GD库进行图片缩放操作时。文章详细分析了内存溢出的原因,并提供了通过显式释放图像资源(imagedestroy())以及调整PHP内存限制(memory_limit)等有效解决方案,旨在帮助开发者优化图片处理脚本,避免性能瓶颈。 P…

    2025年12月12日
    000
  • 掌握PHP与JSON实现图片动态加载与轮播

    在现代Web应用中,动态加载内容,尤其是图片,是提升用户体验的关键。本教程将深入探讨如何结合PHP、JSON和JavaScript (jQuery) 实现从数据库中自动加载并展示图片的功能,包括轮播效果,避免页面刷新,从而提供更加流畅的交互体验。 后端数据接口构建 (PHP) 要实现图片的动态加载,…

    2025年12月12日 好文分享
    000

发表回复

登录后才能评论
关注微信