本教程详细阐述了如何使用python和正则表达式处理结构不规则、空格分隔的文本文件，并将其转换为规范的csv格式。针对传统解析方法失效的“坏”文本文件，文章提供了一种自定义解析策略，通过智能识别和替换空格序列为制表符，有效解决字段边界模糊和字段内空格干扰的问题，确保数据准确提取。
引言：不规范文本文件的挑战
在数据处理中，我们经常会遇到格式不规范的文本文件，尤其是一些遗留系统或人工生成的报告。这类文件通常使用空格作为字段分隔符，但其“不规范”之处在于：
不一致的空格数量：不同字段之间的空格数量可能不固定。字段内包含空格：某些字段本身的值中可能包含空格，这些空格可能被误识别为分隔符。空字段表示：空字段可能通过多个连续空格来表示，其长度与其他字段分隔符的空格长度相似，难以区分。
当遇到此类“坏”文本文件时，诸如pandas.read_csv等标准库函数，即使尝试使用sep=’t’或sep=r’s{2,}’等参数，也往往难以准确解析，导致数据错位或合并。这要求我们采用更灵活、更具上下文感知能力的自定义解析方法。
自定义解析策略：Python与正则表达式
解决这类问题的核心在于利用Python的正则表达式（re模块）进行精细化匹配和替换。我们的目标是将不规则的空格序列转换为统一的制表符（t），从而可以使用制表符作为可靠的分隔符来拆分字段。
1. 文件读取与初步处理
首先，我们需要逐行读取文本文件，并对每行进行基本的清理，例如移除行尾的换行符。
立即学习“Python免费学习笔记（深入）”；
import reimport pandas as pdimport csv # 也可以使用 csv 模块进行输出def parse_bad_txt_to_table(filepath): table = [] with open(filepath, 'r', encoding='utf-8') as f: lines = f.readlines() for i, line in enumerate(lines): line = line.rstrip('n') # 移除行尾换行符 # ... 后续解析逻辑
2. 头部行解析
通常，文件的第一行是标题行（Header）。标题行中的字段名通常不会包含内部空格，因此我们可以相对简单地通过两个或更多空格来拆分它。
小绿鲸英文文献阅读器
英文文献阅读器，专注提高SCI阅读效率
199 查看详情
if i == 0: # 标题行：通过两个或更多空格进行拆分 row = re.split(r' {2,}', line) table.append(row) continue
3. 处理空白行
在某些不规范文件中，标题行和数据行之间可能存在一个或多个空白行。我们需要跳过这些空白行，以避免它们干扰数据解析。
if i == 1: # 假设第二行是空白行 if line.strip() != '': # 增加一个检查，确保确实是空白行 print(f"Warning: Expected blank line at index 1, found: '{line}'") continue
4. 数据行解析的核心：智能替换函数
数据行的解析是整个过程最复杂的部分，因为我们需要区分字段分隔符和字段内部的空格。这里我们使用re.sub()函数结合一个自定义的替换函数（replfunc）来实现。replfunc会根据匹配到的空格序列的长度及其上下文来决定如何替换。
# 数据行解析 def replfunc(mo): L = len(mo.group(0)) # 匹配到的空格序列的长度 start, end = mo.span() # 匹配到的空格序列在原始行中的起始和结束位置 # 特殊情况处理：字段内部的空格 # 示例中发现 "Rejected at level." 这种模式，两个空格是字段值的一部分 if L == 2 and line[:start].endswith('Rejected at') and line[end:].startswith('level.'): return ' ' # 替换为单个空格，而不是分隔符 # 其他情况，根据空格序列长度判断为字段分隔符 # 这里的逻辑高度依赖于具体数据文件的空格模式，需要根据实际情况调整 if L < 2: # 理论上，如果正则表达式是 r's{2,}'，不应该匹配到少于2个空格 return mo.group(0) # 保留原始匹配，或抛出错误 elif 2 <= L <= 12: return 't' # 替换为单个制表符 elif L == 17: return 'tt' # 替换为两个制表符，表示中间有一个空字段 elif L == 43: return 'ttt' # 替换为三个制表符 elif L == 61: return 'ttttt' # 替换为五个制表符 elif L == 120 or L == 263: return 't' # 替换为单个制表符 else: # 捕获未处理的空格序列长度，方便调试和后续调整 print(f"Warning: Unhandled space run length {L} at line {i+1}: '{line}'") return 't' # 默认替换为单个制表符 tabbed_line = re.sub(r's{2,}', replfunc, line) # 使用 replfunc 替换所有两个或更多空格的序列 row = tabbed_line.split('t') # 最终通过制表符拆分字段 table.append(row) return table
replfunc的关键点：
它接收一个匹配对象mo，通过mo.group(0)获取匹配到的字符串（即连续的空格）。L是空格序列的长度。通过line[:start]和line[end:]检查匹配位置前后的文本，实现上下文感知。这是识别字段内空格的关键。对于被识别为字段分隔符的空格序列，根据其长度替换为不同数量的制表符。例如，如果一个长空格序列实际上代表了两个空字段，则替换为tt。这使得即使原始数据中没有显式的分隔符，也能正确生成空字段。
5. 构建数据表格
经过上述处理，每行数据都被转换成了一个字段列表。我们将这些列表存储在一个更大的列表（table）中，形成一个二维数据结构。
完整代码示例
将上述逻辑整合，形成一个完整的Python函数：
import reimport pandas as pddef parse_bad_txt_to_table(filepath): """ 解析不规范的空格分隔文本文件，并返回一个二维列表（表格）。 """ table = [] try: with open(filepath, 'r', encoding='utf-8') as f: lines = f.readlines() except FileNotFoundError: print(f"Error: File not found at {filepath}") return [] except Exception as e: print(f"Error reading file {filepath}: {e}") return [] for i, line in enumerate(lines): line = line.rstrip('n') # 移除行尾换行符 if i == 0: # 标题行：通过两个或更多空格进行拆分 row = re.split(r' {2,}', line) table.append(row) continue if i == 1: # 假设第二行是空白行，跳过 if line.strip() != '': print(f"Warning: Expected blank line at index 1, found: '{line}'") continue # 数据行解析 def replfunc(mo): L = len(mo.group(0)) # 匹配到的空格序列的长度 start, end = mo.span() # 匹配到的空格序列在原始行中的起始和结束位置 # 特殊情况处理：字段内部的空格，例如 "Rejected at level." if L == 2 and line[:start].endswith('Rejected at') and line[end:].startswith('level.'): return ' ' # 替换为单个空格，作为字段值的一部分 # 否则，根据空格序列长度判断为字段分隔符 if L < 2: # 如果 r's{2,}' 匹配到少于2个空格，这表示正则表达式可能需要调整 return mo.group(0) elif 2 <= L <= 12: return 't' elif L == 17: return 'tt' elif L == 43: return 'ttt' elif L == 61: return 'ttttt' elif L == 120 or L == 263: return 't' else: # 捕获并警告未处理的空格序列长度，有助于调试 print(f"Warning: Unhandled space run length {L} at line {i+1}: '{line}'") return 't' # 默认替换为单个制表符 tabbed_line = re.sub(r's{2,}', replfunc, line) row = tabbed_line.split('t') table.append(row) return table# --- 示例用法 ---# 假设 'input.txt'
以上就是Python实战：高效处理不规范文本文件并转换为CSV的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/577956.html
微信扫一扫 
支付宝扫一扫 
