本文旨在解决Pandas DataFrame中根据某一列的条件，从另一个DataFrame高效更新多行数据的问题。我们将探讨传统方法的局限性，并详细介绍如何巧妙结合Series.map()和Series.update()方法，实现基于非索引列的批量条件更新，确保所有匹配行都能正确获取新值，从而避免循环操作，提升数据处理效率。
挑战：基于条件更新多行数据
在数据处理中，我们经常遇到这样的场景：需要根据一个或多个列的值，从另一个数据源更新当前dataframe中的数据。当更新条件涉及的列（例如symbol）在目标dataframe中存在多行匹配时，传统的dataframe.update()方法默认基于索引进行更新，可能无法满足需求，而dataframe.merge()则倾向于创建新的dataframe或处理合并逻辑，对于原地更新特定列而言并非最优解。
考虑以下两个DataFrame：
DF1 (目标DataFrame):
import pandas as pdimport numpy as npdf1_data = { 'Symbol': ['UGE', 'UGE', 'UGE', 'UGE', 'UGE', 'UGE'], 'SecurityID': [np.nan, np.nan, np.nan, np.nan, np.nan, np.nan]}df1 = pd.DataFrame(df1_data, index=[3856, 13583, 25422, 36046, 47362, 58434])print("DF1:")print(df1)
输出：
Symbol SecurityID3856 UGE NaN13583 UGE NaN25422 UGE NaN36046 UGE NaN47362 UGE NaN58434 UGE NaN
DF2 (源DataFrame):
df2_data = { 'Symbol': ['UGE'], 'SecurityID': [128901]}df2 = pd.DataFrame(df2_data, index=[3856])print("nDF2:")print(df2)
输出：
Symbol SecurityID3856 UGE 128901
我们的目标是使用DF2中的SecurityID来更新DF1中所有Symbol为’UGE’的行的SecurityID。
传统方法的局限性
直接使用df1.update(df2)会遇到问题，因为它主要依赖索引进行匹配。由于DF2中只有一个索引为3856的行，因此只有DF1中索引为3856的行会被更新：
df1_copy = df1.copy()df1_copy.update(df2)print("n使用 df1.update(df2) 的结果:")print(df1_copy)
输出：
Symbol SecurityID3856 UGE 12890113583 UGE NaN25422 UGE NaN36046 UGE NaN47362 UGE NaN58434 UGE NaN
可以看到，只有第一行被更新，其他具有相同Symbol的行仍然是NaN。
解决方案：map()与update()的组合
为了实现基于非索引列的条件更新，我们可以巧妙地结合使用Series.map()和Series.update()方法。
创建映射关系： 首先，将源DataFrame df2转换为一个Series，其索引是用于匹配的列（Symbol），值是需要更新的列（SecurityID）。这实际上创建了一个查找表。
# 创建一个从Symbol到SecurityID的映射Seriessymbol_to_securityid_map = df2.set_index('Symbol')['SecurityID']print("n映射Series (symbol_to_securityid_map):")print(symbol_to_securityid_map)
输出：
SymbolUGE 128901Name: SecurityID, dtype: int64
应用映射： 接着，使用df1[‘Symbol’].map()将这个映射应用到DF1的Symbol列上。map()方法会遍历df1[‘Symbol’]中的每个值，并在symbol_to_securityid_map中查找对应的值。如果找到，则返回对应的值；如果未找到，则返回NaN。这会生成一个新的Series，其索引与df1对齐，值则是根据Symbol匹配到的SecurityID。
# 应用映射到df1的Symbol列，生成待更新的SecurityID Seriesmapped_security_ids = df1['Symbol'].map(symbol_to_securityid_map)print("n应用映射后的SecurityID Series (mapped_security_ids):")print(mapped_security_ids)
输出：
3856 12890113583 12890125422 12890136046 12890147362 12890158434 128901Name: Symbol, dtype: int64
请注意，mapped_security_ids的索引与df1的索引是完全一致的。
执行更新： 最后，使用df1[‘SecurityID’].update()方法，将mapped_security_ids中的值更新到df1的SecurityID列中。Series.update()方法会根据索引匹配进行原地更新。由于mapped_security_ids的索引与df1[‘SecurityID’]的索引完全一致，所有匹配的行都将被正确更新。
# 执行原地更新df1['SecurityID'].update(mapped_security_ids)print("n最终更新后的DF1:")print(df1)
输出：
Symbol SecurityID3856 UGE 128901.013583 UGE 128901.025422 UGE 128901.036046 UGE 128901.047362 UGE 128901.058434 UGE 128901.0
将上述步骤整合为一行代码：
# 完整解决方案df1['SecurityID'].update(df1['Symbol'].map(df2.set_index('Symbol')['SecurityID']))
关键优势与注意事项
高效性： 这种方法利用了Pandas的向量化操作，避免了显式的Python循环，因此对于大规模数据集具有很高的效率。灵活性： map()方法能够处理一对多的映射关系，即一个Symbol对应多个SecurityID（在df1中），或者一个Symbol在df2中只对应一个SecurityID。原地更新： Series.update()方法实现了原地修改，避免了创建新的DataFrame，有助于节省内存。数据类型： update()方法在更新时会尝试保持数据类型，但如果新值与旧值类型不兼容（例如从NaN更新为整数），Pandas可能会自动进行类型转换（如本例中SecurityID从NaN变为float）。处理未匹配值： 如果df1中的某个Symbol在df2中没有对应的SecurityID，map()会生成NaN。update()方法默认会忽略NaN值，这意味着目标列中原有的非NaN值不会被NaN覆盖。但在本例中，目标列初始为NaN，所以NaN值会被有效更新。
总结
结合Series.map()和Series.update()提供了一种优雅且高效的方式来解决Pandas DataFrame中基于非索引列的条件性多行更新问题。通过将源数据转换为一个映射Series，并利用map()进行值查找和update()进行索引对齐的更新，我们能够实现精确且高性能的数据操作，这在处理复杂数据集成和转换任务时尤为实用。
以上就是Pandas DataFrame条件匹配多行更新：高效利用map与update的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1369113.html
微信扫一扫 
支付宝扫一扫 
