使用 Pandas 合并 Excel 数据并添加状态列

使用 pandas 合并 excel 数据并添加状态列

本文档旨在指导您如何使用 Pandas 库合并两个 Excel 文件的数据,并基于指定列的比较结果,自动添加一个 “Status” 列,标识数据是否匹配。我们将通过一个完整的示例代码,详细解释每一步骤,并提供注意事项,帮助您轻松完成数据比对和状态标记任务。

1. 环境准备

首先,确保您已安装 Pandas 库。如果没有,可以使用 pip 进行安装:

pip install pandas

2. 代码实现

以下是一个完整的 Python 脚本,用于实现 Excel 数据的合并、比较和状态标记:

import pandas as pdclass ExcelComparator:    def __init__(self, src_file_name, src_sheet_name, src_pk, src_cols_to_compare, tgt_cols_to_compare, tgt_file_name,                 tgt_sheet_name, tgt_pk, target_excel):        self.src_file_name = src_file_name        self.src_sheet_name = src_sheet_name        self.src_pk = src_pk        self.src_cols_to_compare = src_cols_to_compare        self.tgt_cols_to_compare = tgt_cols_to_compare        self.tgt_file_name = tgt_file_name        self.tgt_sheet_name = tgt_sheet_name        self.tgt_pk = tgt_pk        self.target_excel = target_excel    def highlight_cells(self, row):        styles = [''] * len(row)        pk_cols = [col for col in row.index if col in [self.src_pk, self.tgt_pk]]        for i, col in enumerate(row.index):            if i % 2 == 0 and col not in pk_cols:                src_col = col                tgt_col = row.index[i - 1]  # Adjusted to get the previous column                if row[src_col] == row[tgt_col]:                    styles[i], styles[i - 1] = 'background-color:lightgreen', 'background-color:lightgreen'                elif pd.isnull(row[src_col]) or pd.isnull(row[tgt_col]):                    styles[i], styles[i - 1] = 'background-color:yellow', 'background-color:yellow'                else:                    styles[i], styles[i - 1] = 'background-color:lightcoral', 'background-color:lightcoral'        return styles    def calculate_status(self, row):        for i in range(len(row.index) - 1, 0, -2):            src_col = row.index[i]            tgt_col = row.index[i - 1]            if row[src_col] != row[tgt_col]:                return 'Fail'        return 'Pass'    def read_and_compare(self):        src_df = pd.read_excel(self.src_file_name, sheet_name=self.src_sheet_name)        tgt_df = pd.read_excel(self.tgt_file_name, sheet_name=self.tgt_sheet_name)        result = src_df.merge(tgt_df, how='inner', left_on=self.src_pk, right_on=self.tgt_pk)        result_columns = [self.src_pk] + [col for pair in zip(self.src_cols_to_compare, self.tgt_cols_to_compare) for col                                         in pair]        result = result[result_columns]        result['Status'] = result.apply(self.calculate_status, axis=1)        result.style.apply(self.highlight_cells, axis=1).to_excel(self.target_excel)# Example usagecomparator = ExcelComparator(    src_file_name='source.xlsx',    src_sheet_name='Sheet1',    src_pk='ID',    src_cols_to_compare=['Name', 'Salary'],    tgt_cols_to_compare=['FirstName', 'Sal'],    tgt_file_name='target.xlsx',    tgt_sheet_name='Sheet1',    tgt_pk='EMP_ID',    target_excel='result.xlsx')comparator.read_and_compare()

3. 代码详解

该代码主要分为以下几个部分:

ExcelComparator 类: 封装了所有操作,方便复用。__init__ 方法: 初始化类的各种参数,包括源文件、目标文件、主键列、需要比较的列等。highlight_cells 方法: 根据比较结果,对单元格进行颜色标记。绿色表示匹配,黄色表示空值,红色表示不匹配。calculate_status 方法: 遍历每一行,比较指定的列,如果所有列都匹配,则状态为 “Pass”,否则为 “Fail”。read_and_compare 方法: 读取源文件和目标文件,根据主键进行合并,选择需要的列,计算状态,并将结果写入到目标 Excel 文件。示例用法: 创建 ExcelComparator 对象,并调用 read_and_compare 方法。

关键步骤解释:

读取 Excel 文件: 使用 pd.read_excel() 函数读取源文件和目标文件。合并数据: 使用 pd.merge() 函数,根据主键列将两个 DataFrame 合并。 how=’inner’ 表示只保留两个 DataFrame 中都存在的键。选择列: 根据 result_columns 列表,选择需要的列。计算状态: 使用 apply() 函数,对每一行调用 calculate_status 方法,计算状态,并将结果添加到新的 “Status” 列。颜色标记: 使用 style.apply() 函数,对单元格进行颜色标记。写入 Excel 文件: 使用 to_excel() 函数,将结果写入到目标 Excel 文件。

4. 使用方法

准备数据: 创建两个 Excel 文件,例如 source.xlsx 和 target.xlsx,并确保它们包含示例数据中所示的列。修改参数: 根据实际情况,修改示例用法中的参数,例如文件名、Sheet 名称、主键列、需要比较的列等。运行代码: 运行 Python 脚本。查看结果: 查看生成的 result.xlsx 文件,其中包含合并后的数据和 “Status” 列。

5. 注意事项

确保源文件和目标文件中都存在指定的主键列,并且主键列的数据类型一致。src_cols_to_compare 和 tgt_cols_to_compare 列表中的列的顺序必须一一对应。如果需要比较的列包含空值,可以使用 pd.isnull() 函数进行判断。可以根据实际需求,修改 highlight_cells 方法中的颜色标记规则。可以根据实际需求,修改 calculate_status 方法中的状态计算规则。

6. 总结

本文档提供了一个使用 Pandas 合并 Excel 数据并添加状态列的完整示例。通过学习本文档,您可以掌握使用 Pandas 进行数据处理的基本技巧,并将其应用到实际工作中。 记住根据您的具体数据和需求调整代码。

以上就是使用 Pandas 合并 Excel 数据并添加状态列的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1368212.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年12月14日 08:35:37
下一篇 2025年12月14日 08:35:47

相关推荐

发表回复

登录后才能评论
关注微信