本教程详细介绍了如何使用Python从非结构化文本文件（如TXT）中提取特定模式的数据（如设备名称），并将其与结构化JSON文件中的数据进行匹配。通过结合json模块和re模块的正则表达式功能，文章演示了如何高效地查找匹配项，并从JSON结构中提取相应的关联URL信息，为跨文件数据整合提供了实用的解决方案。
引言
在日常数据处理中，我们经常会遇到需要从不同格式的数据源中关联信息的需求。例如，从日志文件或报告文本中识别特定标识符，然后利用这些标识符去结构化数据（如json、xml或数据库）中查找并提取更详细的信息。本教程将以一个具体场景为例，演示如何使用python有效地从一个包含设备名称的文本文件中提取这些名称，并与一个复杂的json结构进行匹配，最终提取出与匹配设备相关的url信息。
数据源概览
我们假设拥有两个数据文件：一个JSON文件（test.json）和一个文本文件（test.txt）。
test.json 文件结构示例:
这个JSON文件包含一个results列表，每个元素代表一个设备或连接，其中嵌套了termination_a和device等信息，关键是我们关注device下的name字段和顶层的url以及termination_a下的url。
{ "results": [ { "url": "https://api.server.com/cables/100/", "termination_a": { "url": "https://api.server.com/interfaces/250/", "device": { "url": "https://api.server.com/devices/10/", "display": "device-number1-2023-08 myname (1718)", "name": "device-number1-2023-08 myname" } } }, { "url": "https://api.server.com/cables/200/", "termination_a": { "url": "https://api.server.com/interfaces/160/", "device": { "url": "https://api.server.com/devices/22/", "display": "device-number3-2023-08 myname (2245)", "name": "device-number1-2023-08 myname1" } } }, { "url": "https://api.server.com/cables/300/", "termination_a": { "url": "https://api.server.com/interfaces/260/", "device": { "url": "https://api.server.com/devices/73/", "display": "device-number8-2023-08 myname (3678)", "name": "device-number8-2023-08 myname" } } } ]}
test.txt 文件内容示例:
立即学习“Python免费学习笔记（深入）”；
这个文本文件包含一些描述性的句子，其中嵌入了我们感兴趣的设备名称。
this is device-number1-2023-08 myname1 and it is good.this is device-number3-2023-08 myname3 and it is not good.this is device-number8-2023-08 myname8 and it is.
我们的目标是：从test.txt中识别出设备名称，然后用这些名称去test.json中查找匹配的条目，并打印出该条目对应的url和termination_a.url。
核心实现：提取文本数据
从非结构化文本中提取特定模式的数据，正则表达式（Regular Expressions）是极其强大的工具。Python内置的re模块提供了完整的正则表达式支持。
步骤:
读取文本文件： 使用open()函数以读取模式打开test.txt文件。定义正则表达式： 根据设备名称的模式（例如device-number1-2023-08 myname1），我们可以构造一个正则表达式来捕获它。观察示例，设备名称通常以device-开头，后跟字母数字组合、日期和另一个单词。一个合适的模式是 (device-w+-d+-d+ w+)。device-: 匹配字面字符串 “device-“。w+: 匹配一个或多个字母、数字或下划线。d+: 匹配一个或多个数字。` `: 匹配一个空格。括号()：用于捕获匹配到的整个设备名称。使用 re.findall() 提取： re.findall() 函数会在整个字符串中查找所有非重叠的匹配项，并以列表形式返回所有捕获的组（如果定义了捕获组）。
代码示例：
import re# 假设 test.txt 已经存在with open("test.txt", "r") as text_file: text_data = text_file.read()# 使用正则表达式提取设备名称# 模式：device-任意字符-数字-数字 空格 任意字符txt_device_names = re.findall(r"(device-w+-d+-d+ w+)", text_data)print("从文本文件提取的设备名称:", txt_device_names)
运行上述代码，txt_device_names 将会是 [‘device-number1-2023-08 myname1’, ‘device-number3-2023-08 myname3’, ‘device-number8-2023-08 myname8’]。
核心实现：匹配JSON并提取信息
一旦我们从文本文件中获得了设备名称列表，接下来就是加载JSON数据，并遍历其中的每个条目，查找匹配的设备名称，然后提取所需信息。
步骤:
加载JSON文件： 使用json模块的json.load()函数解析test.json文件内容。遍历JSON数据： JSON数据加载后通常是一个Python字典或列表。根据我们的JSON结构，我们需要遍历json_data[‘results’]列表。访问嵌套字段： 在每个result字典中，设备名称位于[‘termination_a’][‘device’][‘name’]路径下。执行匹配： 检查当前JSON条目的设备名称是否在之前从文本文件中提取的txt_device_names列表中。Python的in操作符可以高效地完成此任务。提取并打印信息： 如果找到匹配项，则提取并打印当前条目的url和termination_a.url。
代码示例：
import json# 假设 test.json 已经存在with open("test.json", "r") as json_file: json_data = json.load(json_file)# （此处省略了从 test.txt 提取名称的代码，假设 txt_device_names 已准备好）# txt_device_names = ['device-number1-2023-08 myname1', 'device-number3-2023-08 myname3', 'device-number8-2023-08 myname8']print("n开始匹配JSON数据并提取URL:")for r in json_data["results"]: # 尝试获取设备名称，使用 .get() 方法可以避免 Key Error device_name_in_json = r.get("termination_a", {}).get("device", {}).get("name") if device_name_in_json and device_name_in_json in txt_device_names: print(f"n匹配到的设备名称: {device_name_in_json}") print(f"t顶层URL: {r.get('url')}") print(f"ttermination_a URL: {r.get('termination_a', {}).get('url')}") print(f"ttermination_a device URL: {r.get('termination_a', {}).get('device', {}).get('url')}")
完整示例代码
将上述两个核心部分结合起来，形成一个完整的Python脚本：
import jsonimport re# 1. 读取并解析 JSON 文件try: with open("test.json", "r", encoding="utf-8") as json_file: json_data = json.load(json_file)except FileNotFoundError: print("错误: test.json 文件未找到。请确保文件存在。") exit()except json.JSONDecodeError: print("错误: test.json 文件内容格式不正确。") exit()# 2. 读取文本文件并提取设备名称try: with open("test.txt", "r", encoding="utf-8") as text_file: text_data = text_file.read()except FileNotFoundError: print("错误: test.txt 文件未找到。请确保文件存在。") exit()# 使用正则表达式提取设备名称# 模式：device-任意字符-数字-数字 空格 任意字符txt_device_names = re.findall(r"(device-w+-d+-d+ w+)", text_data)print("从文本文件提取的设备名称:", txt_device_names)# 3. 遍历 JSON 数据，查找匹配项并提取信息print("n开始匹配JSON数据并提取URL:")if not json_data.get("results"): print("JSON文件中没有 'results' 键或其为空。")else: found_matches = False for r in json_data["results"]: # 安全地访问嵌套字典，防止KeyError device_info = r.get("termination_a", {}).get("device", {}) device_name_in_json = device_info.get("name") if device_name_in_json and device_name_in_json in txt_device_names: found_matches = True print(f"n匹配到的设备名称: {device_name_in_json}") print(f"t顶层URL: {r.get('url', 'N/A')}") print(f"ttermination_a URL: {r.get('termination_a', {}).get('url', 'N/A')}") print(f"ttermination_a device URL: {device_info.get('url', 'N/A')}") if not found_matches: print("未在JSON中找到与文本文件匹配的设备名称。")
运行与输出
使用上述提供的 test.json 和 test.txt 文件，运行完整的Python脚本，将得到以下输出：
从文本文件提取的设备名称: ['device-number1-2023-08 myname1', 'device-number3-2023-08 myname3', 'device-number8-2023-08 myname8']开始匹配JSON数据并提取URL:匹配到的设备名称: device-number1-2023-08 myname1 顶层URL: https://api.server.com/cables/200/ termination_a URL: https://api.server.com/interfaces/160/ termination_a device URL: https://api.server.com/devices/22/
说明: 尽管文本文件中包含device-number3-2023-08 myname3和device-number8-2023-08 myname8，但根据我们提供的test.json示例，只有device-number1-2023-08 myname1在JSON中找到了完全匹配的name字段（位于第二个results条目中），因此只输出了这一条匹配结果。
注意事项与优化
正则表达式的健壮性：本教程使用的正则表达式 (device-w+-d+-d+ w+) 是基于当前示例数据构建的。如果设备名称的格式在实际应用中可能发生变化（例如，日期格式不同、名称中包含特殊字符、单词数量不固定等），则需要相应地调整正则表达式以确保其能够准确捕获所有目标模式。可以通过在线正则表达式测试工具（如Regex101）进行测试和调试。错误处理：代码中已添加了try-except块来处理FileNotFoundError（文件不存在）和json.JSONDecodeError（JSON格式错误），这对于生产环境中的脚本至关重要。对于JSON结构中可能缺失的键，我们使用了dict.get(key, default_value)方法。这比直接使用dict[key]更安全，可以避免在键不存在时引发KeyError，并提供一个默认值（如N/A或空字典{}）。性能考量：对于小型文件，当前的方法效率足够。如果JSON文件非常大，或者需要进行大量匹配操作，可以考虑将JSON中的设备名称预处理成一个哈希表（如Python字典或集合set），以实现O(1)的平均查找时间，而不是每次都在列表中进行O(N)的查找。例如，可以创建一个字典，以device_name为键，以包含其所有相关URL信息的列表为值。编码问题： 在打开文件时，明确指定encoding=’utf-8’是一个好习惯，可以避免因默认编码不匹配而导致的UnicodeDecodeError。
通过本教程，您应该能够掌握如何利用Python的json和re模块，有效地从不同格式的数据源中提取、匹配和关联信息，为您的数据处理任务提供一个灵活而强大的解决方案。
以上就是Python教程：高效匹配JSON与文本数据并提取关联信息的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1377312.html
微信扫一扫 
支付宝扫一扫 
