本教程旨在解决pandas数据处理中常见的挑战：如何将包含混合数据类型（如英文数字词和数字字符串）以及多种分隔符的单列拆分为多个标准数值列。我们将利用正则表达式进行健壮的列拆分，结合`word2number`库智能地将英文数字词转换为数值，并最终统一数据类型，有效避免`valueerror: no valid number words found!`等错误，实现数据的结构化和清洗。
在数据分析和处理过程中，我们经常会遇到非标准化的数据格式。例如，一个DataFrame列可能包含多个逻辑上的值，它们被不同的分隔符连接起来，并且其中一些值是英文数字词（如”three hundred and two”），另一些则是标准的数字字符串（如”203.0″）。直接对这类数据进行拆分和类型转换往往会遇到困难，特别是当尝试将英文数字词转换为数字时，如果处理不当，word2number库可能会抛出ValueError。本教程将提供一个健壮且高效的解决方案，利用Pandas、正则表达式和word2number库来清洗这类复杂数据。
问题背景与挑战分析
假设我们有一个DataFrame，其中包含类似以下结构的列：
three hundred and two;203.0974.0,817.0one hundred and fifty-one;184.4992.0;815.9three hundred and sixty-two_164.9944.7;755.8
我们的目标是将cement_water列拆分为cement和water两列，将coarse_fine_aggregate列拆分为coarse_aggregate和fine_aggregate两列。所有新列的值都应为浮点数类型。其中，cement_water列的挑战在于：
分隔符多样：包含;、_等。数据类型混合：cement部分可能是英文数字词，water部分始终是数字字符串。
直接尝试使用简单的str.split()后，再对所有元素应用word_to_num函数，会因为非英文数字词（如203.0）或混合字符串（如three hundred and two;203.0在初步拆分后可能仍然包含分隔符残留或非纯数字词部分）而导致word2number库抛出ValueError: No valid number words found!。
核心工具介绍
为了解决上述挑战，我们将主要使用以下Python库和技术：
Pandas: 强大的数据分析和处理库，提供DataFrame结构和丰富的字符串操作方法。word2number: 一个专门用于将英文数字词（如”one hundred”）转换为对应数字的库。正则表达式 (Regex): 一种描述字符串模式的强大工具，用于灵活地匹配和提取复杂字符串中的特定部分。
分步解决方案
我们将通过以下步骤来处理数据：
步骤1：准备数据
首先，我们创建一个示例DataFrame来模拟实际数据。
import pandas as pdfrom word2number import w2n# 示例数据data = { 'cement_water': [ 'three hundred and two;203.0', 'one hundred and fifty-one;184.4', 'three hundred and sixty-two_164.9', 'two hundred and fifty,159.2' # 增加一个使用逗号分隔的例子 ], 'coarse_fine_aggregate': [ '974.0,817.0', '992.0;815.9', '944.7;755.8', '1043.6_771.9' # 增加一个使用下划线分隔的例子 ]}df = pd.DataFrame(data)print("原始DataFrame:")print(df)print("-" * 30)
步骤2：处理cement_water列 – 混合数据与多分隔符
这一步是解决问题的关键。我们需要首先使用正则表达式将cement_water列拆分为两部分，并确保第二部分（water）始终是数字。
2.1 使用正则表达式健壮地拆分列
我们使用str.extract()方法配合正则表达式来提取cement和water部分。
正则表达式解析: r'(?P.*)[;,_](?Pd+.?d*)$'(?P.*): 这是一个命名捕获组，名为cement。它会匹配行中从开头到分隔符前的所有字符（.*）。这部分可能包含英文数字词。[;,_]: 匹配任意一个分隔符（分号、逗号或下划线）。(?Pd+.?d*)$: 另一个命名捕获组，名为water。d+: 匹配一个或多个数字。.?: 匹配零个或一个小数点。d*: 匹配零个或多个数字。$: 匹配字符串的结尾。这确保了water部分是字符串末尾的数字。
# 使用正则表达式提取 cement 和 water 部分# water 部分固定为数字，cement 部分可能是英文数字词tmp = df['cement_water'].str.extract(r'(?P.*)[;,_](?Pd+.?d*)$')print("初步提取的 cement 和 water:")print(tmp)print("-" * 30)
2.2 智能转换英文数字词
现在tmp[‘cement’]列可能包含英文数字词或数字字符串（如果原始数据中cement部分就是数字）。我们不能直接对整个列应用w2n.word_to_num，因为它只接受纯英文数字词。我们需要识别哪些是英文数字词，哪些已经是数字字符串。
识别非数字字符串: 使用pd.to_numeric(…, errors=’coerce’)。如果一个字符串无法转换为数字，它将被强制转换为NaN。条件赋值: 通过检查NaN值，我们可以确定哪些是英文数字词，然后只对这些值应用w2n.word_to_num。
# 尝试将 cement 列转换为数字，无法转换的会变成 NaNs = pd.to_numeric(tmp['cement'], errors='coerce')# 找出那些是 NaN 的行（即原始 cement 部分是英文数字词的行）m = s.isna()# 仅对是英文数字词的行应用 w2n.word_to_num# 注意：这里我们只对 tmp 中那些原始 cement_water 列不为空的行进行处理# 确保不会因为 NaN 值导致 word_to_num 报错tmp.loc[m, 'cement'] = df.loc[m, 'cement_water'].apply(lambda x: w2n.word_to_num(x.split([',', ';', '_'])[0].strip()))# 修正：上述 lambda 表达式可能会有问题，因为 extract 已经将 cement 部分提取出来了。# 应该直接对 tmp.loc[m, 'cement'] 中的英文数字词进行转换。# 重新处理，确保只对已提取的英文数字词部分进行转换tmp.loc[m, 'cement'] = tmp.loc[m, 'cement'].map(w2n.word_to_num)print("转换英文数字词后的 cement 列:")print(tmp)print("-" * 30)
更正说明: 在原始的解决方案中，tmp.loc[m, ‘cement’] = df.loc[m, ‘cement_water’].map(w2n.word_to_num) 这一行是基于 df[‘cement_water’] 来转换的。这可能导致问题，因为 df[‘cement_water’] 仍然包含分隔符和 water 部分。正确的做法是，一旦 str.extract 已经将 cement 部分提取到 tmp[‘cement’] 中，我们应该直接对 tmp[‘cement’] 中那些被识别为英文数字词的字符串进行 w2n.word_to_num 转换。上面的代码块已进行修正。
步骤3：处理coarse_fine_aggregate列 – 简单拆分
coarse_fine_aggregate列的拆分相对简单，因为它只包含数字字符串，且分隔符也多样。我们可以使用str.split()配合正则表达式字符类来处理。
# 使用正则表达式字符类来分割 coarse_fine_aggregate 列coarse_fine_agg_split = df['coarse_fine_aggregate'].str.split('[;,_]', expand=True)# 重命名列coarse_fine_agg_split = coarse_fine_agg_split.rename( columns={0: 'coarse_aggregate', 1: 'fine_aggregate'})print("拆分后的 coarse_aggregate 和 fine_aggregate:")print(coarse_fine_agg_split)print("-" * 30)
步骤4：合并结果并统一数据类型
最后，我们将处理好的cement、water、coarse_aggregate和fine_aggregate列合并到一个新的DataFrame中，并确保所有列的数据类型都是浮点数。
# 合并所有处理后的列out = pd.concat([tmp, coarse_fine_agg_split], axis=1)# 将所有列转换为浮点数类型out = out.astype(float)print("最终处理结果DataFrame:")print(out)
完整代码示例
将上述所有步骤整合，形成一个完整的、可运行的代码示例：
import pandas as pdfrom word2number import w2n# 示例数据data = { 'cement_water': [ 'three hundred and two;203.0', 'one hundred and fifty-one;184.4', 'three hundred and sixty-two_164.9', 'two hundred and fifty,159.2' ], 'coarse_fine_aggregate': [ '974.0,817.0', '992.0;815.9', '944.7;755.8', '1043.6_771.9' ]}df = pd.DataFrame(data)print("原始DataFrame:")print(df)print("n" + "=" * 50 + "n")# --- 核心处理逻辑 ---# 1. 处理 'cement_water' 列# 使用正则表达式提取 cement 和 water 部分# water 部分固定为数字，cement 部分可能是英文数字词tmp = df['cement_water'].str.extract(r'(?P.*)[;,_](?Pd+.?d*)$')# 尝试将 cement 列转换为数字，无法转换的会变成 NaNs = pd.to_numeric(tmp['cement'], errors='coerce')# 找出那些是 NaN 的行（即原始 cement 部分是英文数字词的行）m = s.isna()# 仅对是英文数字词的行应用 w2n.word_to_numtmp.loc[m, 'cement'] = tmp.loc[m, 'cement'].map(w2n.word_to_num)# 2. 处理 'coarse_fine_aggregate' 列# 使用正则表达式字符类来分割列并重命名coarse_fine_agg_split = df['coarse_fine_aggregate'].str.split('[;,_]', expand=True)coarse_fine_agg_split = coarse_fine_agg_split.rename( columns={0: 'coarse_aggregate', 1: 'fine_aggregate'})# 3. 合并所有处理后的列并统一数据类型out = pd.concat([tmp, coarse_fine_agg_split], axis=1)out = out.astype(float)print("最终处理结果DataFrame:")print(out)print("n" + "=" * 50 + "n")# 验证数据类型print("最终DataFrame数据类型:")print(out.dtypes)
运行结果展示
原始DataFrame: cement_water coarse_fine_aggregate0 three hundred and two;203.0 974.0,817.01 one hundred and fifty-one;184.4 992.0;815.92 three hundred and sixty-two_164.9 944.7;755.83 two hundred and fifty,159.2 1043.6_771.9==================================================最终处理结果DataFrame: cement water coarse_aggregate fine_aggregate0 302.0 203.0 974.0 817.01 151.0 184.4 992.0 815.92 362.0 164.9 944.7 755.83 250.0 159.2 1043.6 771.9==================================================最终DataFrame数据类型:cement float64water float64coarse_aggregate float64fine_aggregate float64dtype: object
注意事项与最佳实践
正则表达式的精准性: 正则表达式是处理复杂字符串模式的关键。一个设计良好的正则表达式可以极大地简化数据提取和清洗过程。务必测试你的正则表达式，确保它能准确匹配所有预期情况，并避免意外捕获。pd.to_numeric(errors=’coerce’)的妙用: 在数据清洗中，errors=’coerce’是一个非常实用的参数。它允许我们尝试将列转换为数值类型，同时将任何无法转换的值自动替换为NaN，这为后续的条件处理（如识别英文数字词）提供了便利。条件赋值: 利用布尔索引（如tmp.loc[m, ‘cement’]）进行条件赋值，可以确保我们只对数据集中需要特定处理的部分进行操作，提高代码的效率和健壮性。数据探索: 在开始复杂的清洗工作之前，对数据进行初步探索（如查看df.head()、df.dtypes、df[‘column’].unique()）是至关重要的。这有助于了解数据中存在的各种格式和潜在问题，从而设计出更合适的清洗策略。word2number库的局限性: word2number库主要用于处理英文数字词。如果数据中包含其他语言的数字词，或者非常规的数字表达，可能需要额外的自定义函数或专门的NLP工具。
总结
本教程展示了如何利用Pandas、正则表达式和word2number库，系统地解决DataFrame中包含混合数据类型和多分隔符的复杂列的清洗问题。通过健壮的正则表达式进行拆分，智能地识别并转换英文数字词，并最终统一数据类型，我们不仅成功地将非结构化数据转化为易于分析的格式，还避免了常见的ValueError。这种方法在处理真实世界中复杂多变的数据时具有很高的通用性和实用价值。
以上就是Pandas数据清洗教程：高效处理混合类型、多分隔符列并转换英文数字词的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1380182.html
微信扫一扫 
支付宝扫一扫 
