本教程旨在指导用户如何利用 Python 的 Pandas 库高效地关联和提取来自多个结构化文本文件的数据。通过实际案例，我们将演示如何将包含 IP 地址、MAC 地址和端口信息的三份独立文件进行合并，最终生成一个统一的视图，展示每个 IP 对应的 MAC 地址及其连接端口。这种方法显著简化了跨文件数据查询和整合的复杂性。
1. 场景概述与数据准备
在日常的数据分析和网络管理工作中，我们经常需要从多个分散的数据源中提取和关联信息。例如，我们可能有以下三类文件：
file1.txt: 包含一系列需要查询的 IP 地址列表。
1.1.1.11.1.1.21.1.1.31.1.1.61.1.1.11
file2.txt: 包含 IP 地址到 MAC 地址的映射关系，以及其他网络设备信息。
Protocol Address Age (min) Addr Type InterfaceInternet 1.1.1.1 5 6026.aa11.1111 A Ethernet1/49Internet 1.1.1.2 - 0006.f2d2.2d2f A Vlan1Internet 1.1.1.3 - 6026.aa33.3333 A Vlan1Internet 1.1.1.4 0 Incomplete AInternet 1.1.1.5 0 Incomplete AInternet 1.1.1.6 64 fa16.6edb.6666 A Vlan1Internet 1.1.1.11 23 fa16.7e7d.7777 A Vlan1
file3.txt: 包含 MAC 地址到端口的映射关系，以及其他 VLAN 信息。
Unicast Entries vlan mac address type protocols port---------+---------------+--------+---------------------+------------------------- 1 6026.aa11.1111 static ip,ipx,assigned,other Switch 1 0006.f2d2.2d2f dynamic ip,ipx,assigned,other Ethernet1/24 1 6026.aa33.3333 dynamic ip,ipx,assigned,other Ethernet1/12 1 fa16.6edb.6666 dynamic ip,ipx,assigned,other Ethernet1/8 1 fa16.7e7d.7777 dynamic ip,ipx,assigned,other Ethernet1/10
我们的目标是：对于 file1.txt 中的每一个 IP 地址，首先在 file2.txt 中找到对应的 MAC 地址（Addr 列），然后根据这个 MAC 地址在 file3.txt 中找到对应的端口（port 列），最终输出 IP、MAC 和端口的组合信息。
2. 导入 Pandas 并加载数据
Pandas 是 Python 中一个强大的数据分析库，尤其擅长处理表格型数据。它提供了 DataFrame 结构，非常适合表示和操作我们的文件数据。首先，我们需要导入 Pandas 库，并将上述三个文件的数据加载到独立的 DataFrames 中。
为了演示方便，我们将直接创建 DataFrames。在实际应用中，您可以使用 pd.read_csv() 或 pd.read_fwf() 等函数从实际文件中加载数据，并根据文件格式指定分隔符、列名等参数。
import pandas as pdimport io# 模拟 file1.txt 数据data_file1 = """1.1.1.11.1.1.21.1.1.31.1.1.61.1.1.11"""df1 = pd.read_csv(io.StringIO(data_file1), header=None, names=['ipv4'])# 模拟 file2.txt 数据data_file2 = """Protocol Address Age (min) Addr Type InterfaceInternet 1.1.1.1 5 6026.aa11.1111 A Ethernet1/49Internet 1.1.1.2 - 0006.f2d2.2d2f A Vlan1Internet 1.1.1.3 - 6026.aa33.3333 A Vlan1Internet 1.1.1.4 0 Incomplete AInternet 1.1.1.5 0 Incomplete AInternet 1.1.1.6 64 fa16.6edb.6666 A Vlan1Internet 1.1.1.11 23 fa16.7e7d.7777 A Vlan1"""# 注意：这里使用 read_fwf 处理固定宽度格式，或者根据实际分隔符使用 read_csv# 为简化，直接手动构建 DataFrame，与原始答案保持一致df2 = pd.DataFrame({ "Protocol":{ "0":"Internet", "1":"Internet", "2":"Internet", "3":"Internet", "4":"Internet", "5":"Internet", "6":"Internet" }, "Address":{ "0":"1.1.1.1", "1":"1.1.1.2", "2":"1.1.1.3", "3":"1.1.1.4", "4":"1.1.1.5", "5":"1.1.1.6", "6":"1.1.1.11" }, "Age (min)":{ "0":"5", "1":"-", "2":"-", "3":"0", "4":"0", "5":"64", "6":"23" }, "Addr":{ "0":"6026.aa11.1111", "1":"0006.f2d2.2d2f", "2":"6026.aa33.3333", "3":"Incomplete", "4":"Incomplete", "5":"fa16.6edb.6666", "6":"fa16.7e7d.7777" }, "Type":{ "0":"A", "1":"A", "2":"A", "3":"A", "4":"A", "5":"A", "6":"A" }, "Interface":{ "0":"Ethernet1/49", "1":"Vlan1", "2":"Vlan1", "3":None, "4":None, "5":"Vlan1", "6":"Vlan1" }})# 模拟 file3.txt 数据data_file3 = """ vlan mac address type protocols port 1 6026.aa11.1111 static ip,ipx,assigned,other Switch 1 0006.f2d2.2d2f dynamic ip,ipx,assigned,other Ethernet1/24 1 6026.aa33.3333 dynamic ip,ipx,assigned,other Ethernet1/12 1 fa16.6edb.6666 dynamic ip,ipx,assigned,other Ethernet1/8 1 fa16.7e7d.7777 dynamic ip,ipx,assigned,other Ethernet1/10"""# 为简化，直接手动构建 DataFrame，与原始答案保持一致df3 = pd.DataFrame({ "vlan":{"0":1,"1":1,"2":1,"3":1,"4":1}, "mac address":{"0":"6026.aa11.1111","1":"0006.f2d2.2d2f","2":"6026.aa33.3333","3":"fa16.6edb.6666","4":"fa16.7e7d.7777"}, "type":{"0":"static","1":"dynamic","2":"dynamic","3":"dynamic","4":"dynamic"}, "protocols":{"0":"ip,ipx,assigned,other","1":"ip,ipx,assigned,other","2":"ip,ipx,assigned,other","3":"ip,ipx,assigned,other","4":"ip,ipx,assigned,other"}, "port":{"0":"Switch","1":" Ethernet1/24","2":" Ethernet1/12","3":" Ethernet1/8","4":" Ethernet1/10"}})print("df1:n", df1)print("ndf2:n", df2)print("ndf3:n", df3)
3. 使用 merge 操作关联 DataFrames
Pandas 的 merge 函数是实现多表关联的核心工具，类似于 SQL 中的 JOIN 操作。我们将分两步进行合并：
立即学习“Python免费学习笔记（深入）”；
第一次合并：关联 df1 和 df2
目标：根据 df1 中的 IP 地址 (ipv4 列) 找到 df2 中对应的 MAC 地址 (Addr 列)。关联键：df1 的 ipv4 列与 df2 的 Address 列。合并类型：使用 inner 合并，这意味着只有在两个 DataFrame 中都存在的 IP 地址才会被保留。
第二次合并：关联第一次合并的结果与 df3
目标：根据上一步得到的 MAC 地址 (Addr 列) 找到 df3 中对应的端口 (port 列)。关联键：合并结果的 Addr 列与 df3 的 mac address 列。合并类型：同样使用 inner 合并。
# 第一次合并：将 df1 (IP列表) 与 df2 (IP-MAC映射) 合并# 以 df1 的 'ipv4' 列和 df2 的 'Address' 列为键进行内连接merged_ip_mac = df1.merge(df2, how="inner", left_on="ipv4", right_on="Address")# 第二次合并：将上一步结果与 df3 (MAC-端口映射) 合并# 以 merged_ip_mac 的 'Addr' 列和 df3 的 'mac address' 列为键进行内连接final_df = merged_ip_mac.merge(df3, how="inner", left_on="Addr", right_on="mac address")print("n最终合并结果 (部分列):n", final_df)
4. 提取并展示所需结果
完成合并后，final_df 包含了所有三个文件中的相关信息。现在，我们只需要选择并展示我们关心的列：IP 地址 (ipv4)、MAC 地址 (Addr) 和端口 (port)。
# 提取所需的列并打印output_df = final_df[["ipv4", "Addr", "port"]]# 格式化输出for index, row in output_df.iterrows(): print(f"ip {row['ipv4']} addr {row['Addr']} port {row['port'].strip()}")
预期输出：
ip 1.1.1.1 addr 6026.aa11.1111 port Switchip 1.1.1.2 addr 0006.f2d2.2d2f port Ethernet1/24ip 1.1.1.3 addr 6026.aa33.3333 port Ethernet1/12ip 1.1.1.6 addr fa16.6edb.6666 port Ethernet1/8ip 1.1.1.11 addr fa16.7e7d.7777 port Ethernet1/10
5. 注意事项与进阶提示
实际文件加载: 当处理真实文件时，pd.read_csv() 是更常用的选择。您需要根据文件的实际分隔符（如逗号、制表符、空格等）设置 sep 参数，并根据是否有标题行设置 header 参数。例如：
# df1 = pd.read_csv('file1.txt', header=None, names=['ipv4'])# df2 = pd.read_csv('file2.txt', sep='s+', engine='python') # 对于不规则空格分隔# df3 = pd.read_csv('file3.txt', sep='s+', skiprows=1, engine='python') # 可能需要跳过标题下划线
对于像 file2.txt 和 file3.txt 这种列之间由不规则空格分隔的文本，sep=’s+’ 和 engine=’python’ 组合通常能很好地工作。skiprows 参数可以用来跳过不包含数据的行（如 file3.txt 中的 Unicast Entries 和 ——— 行）。
数据清洗: 在合并之前，确保用于关联的列（如 IP 地址和 MAC 地址）数据类型一致，并且没有前导/尾随空格。可以使用 .str.strip() 清除字符串列中的空格。合并类型: merge 函数的 how 参数非常重要：inner (默认): 只保留两个 DataFrame 中都有的键。left: 保留左侧 DataFrame 的所有行，并匹配右侧 DataFrame 的行。right: 保留右侧 DataFrame 的所有行，并匹配左侧 DataFrame 的行。outer: 保留所有 DataFrame 中的所有行，不匹配的用 NaN 填充。根据您的具体需求选择合适的合并类型。性能优化: 对于非常大的文件，Pandas 提供了高效的 C 语言实现，通常比手动循环文件快得多。确保您的 Pandas 版本是最新的以获得最佳性能。
总结
通过本教程，我们学习了如何利用 Python Pandas 库的 DataFrame 和 merge 功能，将分散在多个文件中的数据进行高效地关联和整合。这种方法不仅代码简洁，而且在处理大量数据时表现出卓越的性能，是进行复杂数据分析和报告生成的强大工具。掌握 Pandas 的数据加载、清洗和合并技巧，将极大地提升您的数据处理效率。
以上就是Python Pandas 多文件数据关联与提取教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1372948.html
微信扫一扫 
支付宝扫一扫 
