Python正则表达式从邮件正文高效提取关键词、文本及URL教程

Python正则表达式从邮件正文高效提取关键词、文本及URL教程

本教程旨在解决从outlook邮件正文中,根据配置的父子关键词,精确提取关联文本和url的挑战。通过分析原有正则表达式的局限性,引入并详细解析了新的、更强大的正则表达式模式,该模式能一次性捕获关键词、其所在段落及紧随的url,并提供了完整的python实现代码,帮助开发者优化邮件内容自动化处理流程。

引言:邮件内容自动化提取的挑战

在日常工作中,我们经常需要从大量的邮件中筛选出特定信息,例如根据关键词识别邮件主题,并从邮件正文中提取与这些关键词相关的具体内容和链接。Python结合win32com.client库可以方便地与Microsoft Outlook进行交互,而正则表达式则是从非结构化文本中提取结构化数据的强大工具。然而,构建一个能够精确捕获所需信息(如关键词、其上下文文本以及紧随其后的URL)的正则表达式,往往是实现这一目标的关键挑战。

原有方案分析与局限性

原始的Python代码尝试通过以下步骤提取信息:

遍历Outlook中指定文件夹的邮件。检查邮件主题是否包含父关键词。如果主题匹配,则遍历配置的子关键词。对于每个子关键词,在邮件正文中查找匹配项。在找到子关键词后,尝试通过查找最近的换行符来确定“段落”的开始和结束。然后,在这个“段落”内查找URL。

然而,这种方法的局限性在于:

段落定义不准确: paragraph_start = body_lower.rfind(”, 0, match.start()) 和 paragraph_end = body_lower.find(”, match.end()) 这种方式通常只会捕获到关键词所在行的内容。如果URL位于关键词下方多行,或者与关键词不在同一逻辑“段落”内(但视觉上相关联),则无法被捕获。URL提取范围受限: URL提取逻辑 url_pattern.findall(paragraph_text) 仅在狭义定义的 paragraph_text 内进行。由于 paragraph_text 往往只包含关键词所在行,而URL通常在下一行或后续行,导致URL未能被正确识别和提取。

例如,对于以下邮件内容:

立即学习“Python免费学习笔记(深入)”;

01 事務用品・機器大阪府警察大正警察署:指サック等の購入   :大阪市大正区https://www.e-nyusatsu.pref.osaka.jp/CALS/Publish/EbController?Shori=SmallKokokuInfo&open_kokoku=01202350042214

如果子关键词是“事務用品・機器”,原代码中的paragraph_text可能只包含“01 事務用品・機器”,而无法包含后续的描述文本和URL。

优化后的正则表达式与提取策略

为了解决上述问题,我们需要一个更强大的正则表达式,能够一次性捕获关键词、其关联文本以及紧随其后的URL。核心思想是利用正则表达式的捕获组和非贪婪匹配,跨越多行来定位所有相关信息。

新正则表达式解析

我们构建的优化正则表达式如下:

rf'([^]*({"|".join(map(re.escape, child_keywords))})[^]*).*?(https?://S+)'

让我们分解这个正则表达式的各个部分:

一键职达 一键职达

AI全自动批量代投简历软件,自动浏览招聘网站从海量职位中用AI匹配职位并完成投递的全自动操作,真正实现’一键职达’的便捷体验。

一键职达 79 查看详情 一键职达

([^]*):

[^]*: 匹配零个或多个非换行符。这会捕获关键词之前在同一行的所有文本。(): 这是一个捕获组,用于捕获整个“段落”的前半部分。

({“|”.join(map(re.escape, child_keywords))}):

child_keywords: 这是一个包含所有子关键词的列表。map(re.escape, child_keywords): re.escape() 函数用于转义子关键词中的任何特殊正则表达式字符,确保它们被视为字面量。”|”.join(…): 将转义后的子关键词用 | 符号连接起来,形成一个“或”模式(例如 keyword1|keyword2|keyword3)。(): 这是一个捕获组,用于捕获匹配到的具体子关键词。

[^]*: 匹配关键词之后在同一行的零个或多个非换行符。

.*?:

.: 匹配任何字符(包括换行符,当配合 re.S 或 re.DOTALL 标志使用时)。*: 匹配前一个字符零次或多次。?: 使 * 变为非贪婪匹配,即尽可能少地匹配字符。这确保它只匹配到第一个紧随其后的URL,而不是匹配到文档末尾的URL。

(https?://S+):

: 单词边界,确保URL是一个独立的实体。https?://: 匹配 http:// 或 https://。S+: 匹配一个或多个非空白字符,直到遇到空白字符为止,这通常能捕获完整的URL。(): 这是一个捕获组,用于捕获完整的URL。

关键的正则表达式标志:

re.S (或 re.DOTALL): 使得 . 能够匹配包括换行符在内的所有字符。这对于跨行捕获关键词和URL之间的文本至关重要。re.IGNORECASE: 实现不区分大小写的匹配,如果需要的话。

代码实现:整合优化后的提取逻辑

我们将更新 search_and_save_email 函数中的子关键词匹配和信息提取部分。

import win32com.clientimport osimport jsonimport loggingimport redef read_config(config_file):    with open(config_file, 'r', encoding="utf-8") as f:        config = json.load(f)    return configdef search_and_save_email(config):    try:        folder_name = config.get("folder_name", "")        output_file_path = config.get("output_file_path", "")        output_file_name = config.get("output_file_name", "output.txt") # Use a default name or generate per email        parent_keyword = config.get("parent_keyword", "")        child_keywords = config.get("child_keywords", [])        # 确保输出目录存在        os.makedirs(output_file_path, exist_ok=True)        outlook = win32com.client.Dispatch("Outlook.Application").GetNamespace("MAPI")        inbox = outlook.GetDefaultFolder(6)        user_folder = None        for folder in inbox.Folders:            if folder.Name == folder_name:                user_folder = folder                break        if user_folder is not None:            # 编译父关键词正则表达式,用于主题匹配            parent_keyword_pattern = re.compile(r'(?:' + '|'.join(map(re.escape, parent_keyword.split())) + r')', re.IGNORECASE)            # 编译子关键词、关联文本和URL的正则表达式            # 注意 re.S (DOTALL) 标志,使 '.' 匹配换行符            # 注意 re.IGNORECASE 标志,使匹配不区分大小写            child_url_extraction_pattern = re.compile(                rf'([^]*({"|".join(map(re.escape, child_keywords))})[^]*).*?(https?://S+)',                re.S | re.IGNORECASE            )            for item in user_folder.Items:                # 检查邮件主题是否包含父关键词                if parent_keyword_pattern.findall(item.Subject):                    logging.info(f"在主题中找到父关键词: {item.Subject}")                    email_body = item.Body # 使用原始邮件正文                    output_content = ""                    # 使用新的正则表达式在邮件正文中查找所有匹配项                    # re.findall 返回一个列表,其中每个元素是一个元组,包含所有捕获组的内容                    matches = child_url_extraction_pattern.findall(email_body)                    if matches:                        for full_line_text, child_matched_keyword, url in matches:                            # full_line_text 包含了关键词所在行及其前后文本                            # child_matched_keyword 是实际匹配到的子关键词                            # url 是紧随其后的URL                            output_content += f"子关键词: {child_matched_keyword.strip()}"                            output_content += f"关联文本: {full_line_text.strip()}"                            output_content += f"URL: {url}"                        # 根据邮件主题生成文件名,并保存结果                        # 替换主题中的非法文件名字符                        safe_subject = re.sub(r'[/:*?"|]', '_', item.Subject)                        output_file = os.path.join(output_file_path, f"{safe_subject}.txt")                        with open(output_file, 'w', encoding='utf-8') as f:                            f.write(output_content)                        logging.info(f"结果已保存到 {output_file}")                    else:                        logging.warning(f"在邮件主题 '{item.Subject}' 中找到父关键词,但未找到匹配的子关键词或URL。")                # else:                #     # 如果父关键词未找到,这里可以跳过或记录                #     logging.debug(f"未在主题中找到父关键词: {item.Subject}")        else:            logging.warning(f"文件夹 '{folder_name}' 未找到。")    except Exception as e:        logging.error(f"发生错误: {str(e)}")if __name__ == "__main__":    logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')    config_file_path = "E:config2.json" # 请根据实际路径修改    # 示例配置文件内容 (config2.json)    # {    #   "folder_name": "调达プロジェクト",    #   "output_file_path": "E:output",    #   "output_file_name": "output.txt",    #   "parent_keyword": "meeting",    #   "child_keywords": ["土木一式工事", "産業用機器", "事務用品・機器"]    # }    if not os.path.exists(config_file_path):        logging.error(f"配置文件 '{config_file_path}' 不存在。请检查路径或创建文件。")    else:        config = read_config(config_file_path)        search_and_save_email(config)

注意事项与最佳实践

正则表达式标志: re.S (或 re.DOTALL) 是此解决方案的关键,它允许 . 匹配换行符,从而使正则表达式能够跨越多行捕获信息。re.IGNORECASE 则确保匹配不区分大小写,增加了匹配的灵活性。关键词转义: 使用 re.escape() 函数处理 child_keywords 列表中的每个子关键词是至关重要的。这可以防止关键词中可能存在的特殊正则表达式字符(如 .、*、+ 等)被错误地解释为正则表达式语法,从而导致匹配失败或意外行为。非贪婪匹配: .*? 的使用确保了在找到第一个URL后停止匹配,避免了过度匹配到文档末尾的URL。编码 处理包含非ASCII字符(如日语)的文本时,务必确保文件读写和字符串处理都使用正确的编码(例如 utf-8),以避免乱码问题。文件命名: 在保存输出文件时,邮件主题可能包含Windows文件系统不允许的字符(如 /, , :, *, ?, “, , |)。在示例代码中,我们添加了 re.sub(r'[/:*?”|]’, ‘_’, item.Subject) 来替换这些非法字符,确保生成有效的文件名。错误处理与日志: 保持健壮的错误处理机制(try-except 块)和详细的日志记录(logging 模块)对于调试和监控自动化脚本的运行至关重要。

总结

通过优化正则表达式,我们成功解决了从Outlook邮件正文中精确提取关键词、关联文本和URL的难题。新的正则表达式模式结合 re.S 和 re.IGNORECASE 标志,能够一次性、跨行地捕获所有所需信息,大大提高了数据提取的准确性和效率。这一方法不仅适用于邮件处理,也为其他复杂的文本内容提取任务提供了宝贵的参考。理解正则表达式的各个组成部分及其标志的用途,是掌握高效文本处理能力的关键。

以上就是Python正则表达式从邮件正文高效提取关键词、文本及URL教程的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/578941.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
Laravel模型关联排序?关联数据如何排序?
上一篇 2025年11月10日 09:46:59
基于变量动态确定JSON字段值的教程:以国家-电话区号为例
下一篇 2025年11月10日 09:47:06

相关推荐

  • composer require-dev和require有什么不同_Composer Require与Require-Dev区别解析

    require用于声明项目运行必需的依赖,如框架、数据库组件和第三方SDK,这些包会随项目部署到生产环境;2. require-dev用于声明仅在开发和测试阶段需要的工具,如PHPUnit、PHPStan、Faker等,不会默认部署到生产环境;3. 安装时composer install根据环境决定…

    2026年5月10日
    1000
  • 修复Django电商项目中AJAX过滤产品列表图片不显示问题

    在Django电商项目中,当使用AJAX动态加载过滤后的产品列表时,常遇到图片无法正常显示的问题。这通常是由于前端模板中图片加载方式(如data-setbg属性结合JavaScript库)与AJAX动态内容更新机制不兼容所致。解决方案是直接在AJAX返回的HTML中使用标准的标签来渲染图片,确保浏览…

    2026年5月10日
    000
  • 开源免费PHP工具 PHP开发效率提升利器

    推荐开源免费PHP开发工具以提升效率:VS Code、Sublime Text轻量高效,PhpStorm专业强大;调试用Xdebug、Kint、Ray;依赖管理选Composer;代码质量工具包括PHPStan、Psalm、PHP_CodeSniffer;数据库管理可用%ignore_a_1%MyA…

    2026年5月10日
    000
  • Matplotlib 地图中多类型图例的创建与优化

    Matplotlib 地图中多类型图例的创建与优化Matplotlib 地图中多类型图例的创建与优化Matplotlib 地图中多类型图例的创建与优化Matplotlib 地图中多类型图例的创建与优化

    本教程旨在解决matplotlib地图可视化中,如何在一个图例中同时展示颜色块(如区域分类)和自定义标记(如特定兴趣点)的问题。文章详细介绍了当传统`patch`对象无法正确显示标记时,如何利用`matplotlib.lines.line2d`创建标记图例句柄,并将其与颜色块图例句柄合并,从而生成一…

    2026年5月10日 用户投稿
    100
  • Golang JSON序列化:控制敏感字段暴露的最佳实践

    本教程探讨golang中如何高效控制结构体字段在json序列化时的可见性。当需要将包含敏感信息的结构体数组转换为json响应时,通过利用`encoding/json`包提供的结构体标签,特别是`json:”-“`,可以轻松实现对特定字段的忽略,从而避免敏感数据泄露,确保api…

    2026年5月10日
    000
  • 利用海象运算符简化条件赋值:Python教程与最佳实践

    本文旨在探讨Python中海象运算符(:=)在条件赋值场景下的应用。通过对比传统if/else语句与海象运算符,以及条件表达式,分析海象运算符在简化代码、提高可读性方面的优势与局限性。并通过具体示例,展示如何在列表推导式等场景下合理使用海象运算符,同时强调其潜在的复杂性及替代方案,帮助开发者更好地掌…

    2026年5月10日
    100
  • Debian syslog性能优化技巧有哪些

    提升Debian系统syslog (通常基于rsyslog)性能,关键在于精简配置和高效处理日志。以下策略能有效优化日志管理,提升系统整体性能: 精简配置,高效加载: 在rsyslog配置文件中,仅加载必要的输入、输出和解析模块。 使用全局指令设置日志级别和格式,避免不必要的处理。 自定义模板: 创…

    2026年5月10日
    000
  • 怎么在PHP代码中实现图片上传功能_PHP图片上传功能实现与安全处理教程

    首先创建含enctype的HTML表单,再用PHP接收文件,检查目录、移动临时文件,验证类型与大小,生成唯一文件名,并调整php.ini限制以确保上传成功。 如果您尝试在PHP项目中添加图片上传功能,但服务器无法正确接收或保存文件,则可能是由于表单配置、文件处理逻辑或安全限制的问题。以下是实现该功能…

    2026年5月10日
    100
  • 比特币新手教程 比特币交易平台有哪些

    比特币是一种去中心化的数字货币,基于区块链技术实现点对点交易,具有匿名性、有限发行和不可篡改等特点;新手可通过交易所购买,P2P交易获得比特币,常用平台包括Binance、OKX和Huobi;交易流程包括注册账户、实名认证、绑定支付方式、充值法币并下单购买,可选择市价单或限价单;比特币存储方式有交易…

    2026年5月10日
    000
  • c++中的SFINAE技术是什么_c++模板编程中的SFINAE原理与应用

    SFINAE 是“替换失败不是错误”的原则,指模板实例化时若参数替换导致错误,只要存在其他合法候选,编译器不报错而是继续重载决议。它用于条件启用模板、类型检测等场景,如通过 decltype 或 enable_if 控制函数重载,实现类型特征判断。尽管 C++20 引入 Concepts 简化了部分…

    2026年5月10日
    000
  • Go语言mgo查询构建:深入理解bson.M与日期范围查询的正确实践

    本文旨在解决go语言mgo库中构建复杂查询时,特别是涉及嵌套`bson.m`和日期范围筛选的常见错误。我们将深入剖析`bson.m`的类型特性,解释为何直接索引`interface{}`会导致“invalid operation”错误,并提供一种推荐的、结构清晰的代码重构方案,以确保查询条件能够正确…

    2026年5月10日
    100
  • RichHandler与Rich Progress集成:解决显示冲突的教程

    在使用rich库的`richhandler`进行日志输出并同时使用`progress`组件时,可能会遇到显示错乱或溢出问题。这通常是由于为`richhandler`和`progress`分别创建了独立的`console`实例导致的。解决方案是确保日志处理器和进度条组件共享同一个`console`实例…

    2026年5月10日
    000
  • Golang goroutine与channel调试技巧

    使用go run -race检测数据竞争,结合runtime.NumGoroutine监控协程数量,通过pprof分析阻塞调用栈,利用select超时避免永久阻塞,有效排查goroutine泄漏、死锁和数据竞争问题。 Go语言的goroutine和channel是并发编程的核心,但它们也带来了调试上…

    2026年5月10日
    000
  • 使用 Jupyter Notebook 进行探索性数据分析

    Jupyter Notebook通过单元格实现代码与Markdown结合,支持数据导入(pandas)、清洗(fillna)、探索(matplotlib/seaborn可视化)、统计分析(describe/corr)和特征工程,便于记录与分享分析过程。 Jupyter Notebook 是进行探索性…

    2026年5月10日
    000
  • 《魔兽世界》将于6月11日开启国服回归技术测试

    《魔兽世界》将于6月11日开启国服回归技术测试《魔兽世界》将于6月11日开启国服回归技术测试《魔兽世界》将于6月11日开启国服回归技术测试《魔兽世界》将于6月11日开启国服回归技术测试

    《%ign%ignore_a_1%re_a_1%》官方宣布,将于6月11日开启国服回归技术测试,时间为7天,并称可以在6月内正式开服,玩家们可以访问官网下载战网客户端并预下载“巫妖王之怒”客户端,技术测试详情见下图。 WordAi WordAI是一个AI驱动的内容重写平台 53 查看详情 以上就是《…

    2026年5月10日 用户投稿
    200
  • 如何在HTML中插入表单元素_HTML表单控件与输入类型使用指南

    HTML表单通过标签构建,包含action和method属性定义数据提交目标与方式,常用input类型如text、password、email等适配不同输入需求,配合label、required、placeholder提升可用性,结合textarea、select、button等控件实现完整交互,是…

    2026年5月10日
    100
  • 前端缓存策略与JavaScript存储管理

    根据数据特性选择合适的存储方式并制定清晰的读写与清理逻辑,能显著提升前端性能;合理运用Cookie、localStorage、sessionStorage、IndexedDB及Cache API,结合缓存策略与定期清理机制,可在保证用户体验的同时避免安全与性能隐患。 前端缓存和JavaScript存…

    2026年5月10日
    200
  • 网站标题关键词更新后,搜索引擎为何仍显示旧标题?

    网站标题更新后,搜索引擎为何显示旧标题? 网站SEO优化中,站长常修改网站标题关键词,期望搜索结果显示自定义标题。然而,即使更新标签、meta keywords、meta description和结构化数据中的name属性后,搜索结果仍显示旧标题,这令人费解。本文将对此进行解释。 问题:站长修改了网…

    2026年5月10日
    100
  • HTML5网页如何实现手势操作 HTML5网页移动端交互的处理技巧

    首先利用原生touch事件实现滑动判断,再通过preventDefault解决滚动冲突,接着引入Hammer.js处理复杂手势,最后通过优化点击区域、避免事件冲突和增加视觉反馈提升体验。 在移动端浏览器中,HTML5网页可以通过触摸事件实现手势操作,提升用户体验。虽然原生JavaScript提供了基…

    2026年5月10日
    000
  • 深入理解 Express.js 中 next() 参数的作用与中间件机制

    本文深入探讨 express.js 中间件函数中的 `next()` 参数。它负责将控制权传递给请求-响应周期中的下一个中间件或路由处理程序。文章将详细解释 `next()` 的工作原理、中间件的注册与执行顺序,以及不正确使用 `next()` 可能导致请求挂起的风险,并通过代码示例和实际应用场景,…

    2026年5月10日
    000

发表回复

登录后才能评论
关注微信