本教程详细介绍了如何利用 Python 的 Pandas 库高效地处理多个文本文件中的数据关联与提取任务。通过将文件数据加载为 DataFrame，并运用 merge 操作进行数据关联，我们可以轻松实现复杂的数据查找逻辑，例如根据一个文件中的 IP 地址在第二个文件中查找对应的 MAC 地址，再根据 MAC 地址在第三个文件中查找对应的端口信息，最终输出整合后的结果，极大地简化了传统的文件逐行处理流程。
在日常数据处理工作中，我们经常会遇到需要从多个文件中提取并关联特定信息的需求。例如，给定一个包含 ip 地址列表的文件、一个包含 ip-mac 映射关系的文件，以及一个包含 mac-端口映射关系的文件，我们的目标是根据 ip 地址依次查找对应的 mac 地址和端口信息。传统的做法可能涉及嵌套的文件读取和逐行字符串匹配，这不仅代码复杂，效率也较低。python 的 pandas 库为这类任务提供了强大而简洁的解决方案。
1. 准备工作：导入 Pandas 并加载数据
首先，我们需要导入 Pandas 库。然后，将每个文本文件的数据加载到 Pandas DataFrame 中。虽然实际应用中通常使用 pd.read_csv() 等函数从文件中读取数据，但为了演示方便，我们将按照原始数据结构手动创建 DataFrame。
import pandas as pd# 文件1: 仅包含IP地址列表df1 = pd.DataFrame({ "ipv4": ["1.1.1.1", "1.1.1.2", "1.1.1.3", "1.1.1.6", "1.1.1.11"]})# 文件2: 包含IP地址和MAC地址的映射关系df2 = pd.DataFrame({ "Protocol": ["Internet", "Internet", "Internet", "Internet", "Internet", "Internet", "Internet"], "Address": ["1.1.1.1", "1.1.1.2", "1.1.1.3", "1.1.1.4", "1.1.1.5", "1.1.1.6", "1.1.1.11"], "Age (min)": ["5", "-", "-", "0", "0", "64", "23"], "Addr": ["6026.aa11.1111", "0006.f2d2.2d2f", "6026.aa33.3333", "Incomplete", "Incomplete", "fa16.6edb.6666", "fa16.7e7d.7777"], "Type": ["A", "A", "A", "A", "A", "A", "A"], "Interface": ["Ethernet1/49", "Vlan1", "Vlan1", None, None, "Vlan1", "Vlan1"]})# 文件3: 包含MAC地址和端口的映射关系df3 = pd.DataFrame({ "vlan":[1,1,1,1,1], "mac address":["6026.aa11.1111","0006.f2d2.2d2f","6026.aa33.3333","fa16.6edb.6666","fa16.7e7d.7777"], "type":["static","dynamic","dynamic","dynamic","dynamic"], "protocols":["ip,ipx,assigned,other","ip,ipx,assigned,other","ip,ipx,assigned,other","ip,ipx,assigned,other","ip,ipx,assigned,other"], "port":["Switch"," Ethernet1/24"," Ethernet1/12"," Ethernet1/8"," Ethernet1/10"]})print("df1:")print(df1)print("ndf2:")print(df2)print("ndf3:")print(df3)
注意事项:
在实际应用中，如果你的数据存储在 file1.txt, file2.txt, file3.txt 等文件中，你可以使用 pd.read_csv(‘file1.txt’, header=None, names=[‘ipv4’]) 或 pd.read_csv(‘file2.txt’, sep=’s+’, skiprows=1) 等方法来加载数据。skiprows 参数用于跳过标题行，sep=’s+’ 用于处理不规则空格分隔的数据。确保列名与你的合并逻辑相匹配，或者在加载时进行重命名。
2. 数据关联与合并
Pandas 的 merge() 函数是实现数据关联的核心工具。它类似于 SQL 中的 JOIN 操作，可以根据一个或多个共同的列将两个 DataFrame 合并起来。
我们的目标是：
将 df1 (IP列表) 与 df2 (IP-MAC映射) 合并，基于 df1 的 ipv4 列和 df2 的 Address 列。将上一步合并的结果与 df3 (MAC-端口映射) 合并，基于中间结果的 Addr 列和 df3 的 mac address 列。
我们将使用 how=”inner” 参数进行内连接，这意味着只有在两个 DataFrame 中都存在的键值才会被保留在结果中。
# 第一次合并：df1 (IP) 与 df2 (IP-MAC)# 基于 df1 的 'ipv4' 列和 df2 的 'Address' 列进行合并merged_ip_mac = df1.merge(df2, how="inner", left_on="ipv4", right_on="Address")# 第二次合并：merged_ip_mac (IP-MAC) 与 df3 (MAC-端口)# 基于 merged_ip_mac 的 'Addr' 列和 df3 的 'mac address' 列进行合并final_df = merged_ip_mac.merge(df3, how="inner", left_on="Addr", right_on="mac address")print("n最终合并后的 DataFrame (final_df):")print(final_df)
在上述代码中：
left_on 指定左侧 DataFrame 中用于合并的列。right_on 指定右侧 DataFrame 中用于合并的列。how=”inner” 表示只保留在两个 DataFrame 的指定列中都存在的行。
3. 提取并格式化所需信息
合并完成后，final_df 包含了所有关联后的数据。我们现在只需要从中提取 ipv4、Addr (MAC地址) 和 port 这三列信息。
# 提取所需的列output_df = final_df[["ipv4", "Addr", "port"]]print("n提取所需信息后的 DataFrame:")print(output_df)# 按照指定格式打印结果print("n最终输出结果:")for index, row in output_df.iterrows(): print(f"ip {row['ipv4']} addr {row['Addr']} port {row['port'].strip()}") # 使用.strip()去除可能存在的空格
这里，我们首先通过 final_df[[“ipv4”, “Addr”, “port”]] 选择了感兴趣的列，创建了一个新的 DataFrame output_df。然后，我们遍历 output_df 的每一行，并使用 f-string 按照要求的格式打印输出。注意 row[‘port’].strip() 的使用，这是为了去除 file3 中 port 列可能存在的额外空格，以确保输出格式的整洁性。
总结
通过本教程，我们学习了如何利用 Pandas 库高效地处理多文件数据关联与提取任务。相较于传统的文件逐行处理方式，Pandas 的 DataFrame 和 merge() 函数提供了以下显著优势：
代码简洁性： 几行代码即可完成复杂的数据关联逻辑。处理效率： Pandas 底层使用 C 语言实现，对大数据集处理性能优越。数据结构化： 将非结构化的文本数据转换为结构化的 DataFrame，便于后续的分析和操作。可读性强： merge 操作的语义清晰，易于理解和维护。
在实际应用中，灵活运用 pd.read_csv()、merge() 的不同 how 参数（如 left, right, outer）以及其他 DataFrame 操作，可以解决各种复杂的数据处理挑战。
以上就是使用 Pandas 高效处理多文件数据关联与提取的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1372940.html
微信扫一扫 
支付宝扫一扫 
