本文旨在提供两种高效的方法，利用Pandas库处理包含非数据文本（如报告头、脚）的CSV文件。我们将探讨如何智能地跳过或移除这些无关内容，确保只将结构化数据加载到DataFrame中，从而解决直接读取此类文件时遇到的常见问题，提升数据处理的准确性和效率。
在日常数据分析工作中，我们经常会遇到格式不规范的csv文件。这些文件可能在实际数据之前包含报告标题、生成日期、免责声明等冗余文本，甚至在数据之后也有类似信息。直接使用pandas.read_csv函数读取这类文件通常会导致解析错误或生成包含大量nan值的dataframe，影响后续的数据处理。本教程将介绍两种基于python和pandas的解决方案，帮助您精确地提取所需数据。
挑战与问题背景
设想您需要处理上万个CSV文件，每个文件都像以下示例一样：
SAMPLE FILE LTDSTUDENT NUMBERSINFO OF ALL STUDENTS No : from 27-Mar-2023 00:00:00 to 04-Apr-2023 00:00:00 and from 05-Oct-2023 00:00:00 to 13-Oct-2023 00:00:00Student,id,add,div,rankABC,12,USA,A,1DEF,13,IND,C,2XYZ,14,UK,E,3PQR,15,DE,F,4 This is System generated report, and needs no signature. 14-Oct-2023 18:14:12
其中，Student,id,add,div,rank是真正的列标题，其上方和下方的内容都是无关的。我们的目标是只获取包含学生信息的表格数据。
解决方案一：按行读取文件并分步解析
这种方法首先将整个文件内容作为字符串读取，然后利用Pandas的字符串处理能力进行解析。它适用于文件结构相对复杂，或数据起始行不固定但可以通过特定模式识别的情况。
核心思路：
将整个CSV文件读取为一个包含所有行的DataFrame。利用字符串操作将每一行按逗号分隔，展开成多列。识别并设置正确的列头。移除包含非数据内容的行（通常表现为NaN值）。
示例代码：
import pandas as pdimport io# 模拟一个CSV文件内容csv_content = """SAMPLE FILE LTDSTUDENT NUMBERSINFO OF ALL STUDENTS No : from 27-Mar-2023 00:00:00 to 04-Apr-2023 00:00:00 and from 05-Oct-2023 00:00:00 to 13-Oct-2023 00:00:00Student,id,add,div,rankABC,12,USA,A,1DEF,13,IND,C,2XYZ,14,UK,E,3PQR,15,DE,F,4 This is System generated report, and needs no signature. 14-Oct-2023 18:14:12"""# 将字符串内容视为文件对象file_like_object = io.StringIO(csv_content)# 1. 将整个文件内容读取为DataFrame的单列# 每一行作为DataFrame的一个元素df_raw = pd.DataFrame(file_like_object.read().split('n'))# 2. 将单列数据按逗号分隔，并展开成多列# .dropna() 用于删除那些不包含足够逗号分隔值的行（即非数据行）df_processed = df_raw[0].str.split(',', expand=True).dropna()# 3. 将第一行（即真实的列头）设置为DataFrame的列名# 同时，将数据部分（从第二行开始）重新赋值给DataFrame，并重置索引header = df_processed.iloc[0].valuesdf_final = df_processed.iloc[1:].reset_index(drop=True)df_final.columns = headerprint("解决方案一的结果:")print(df_final)
输出：
解决方案一的结果: Student id add div rank0 ABC 12 USA A 11 DEF 13 IND C 22 XYZ 14 UK E 33 PQR 15 DE F 4
注意事项：
此方法对于文件内容中存在大量空行或不规则行的情况非常有效，因为dropna()能帮助过滤掉大部分非数据行。expand=True是关键，它将str.split的结果转换为独立的列。reset_index(drop=True)用于清理因切片操作而产生的旧索引。
解决方案二：预处理文件流，定位数据起始行
这种方法通过逐行读取文件，直到找到包含列标题的特定行，然后将文件的其余部分直接传递给pandas.read_csv。这种方式更直接，尤其适用于数据起始行可以通过特定字符串模式（如列标题）精确识别的情况。
核心思路：
以文本模式打开CSV文件。逐行读取文件，直到找到包含预期列标题的行。将找到的列标题解析为列表。将文件的剩余部分（从数据行开始）传递给pandas.read_csv，并指定列名。移除数据末尾可能存在的冗余行（通常表现为NaN值）。
示例代码：
import pandas as pdimport io# 模拟一个CSV文件内容csv_content = """SAMPLE FILE LTDSTUDENT NUMBERSINFO OF ALL STUDENTS No : from 27-Mar-2023 00:00:00 to 04-Apr-2023 00:00:00 and from 05-Oct-2023 00:00:00 to 13-Oct-2023 00:00:00Student,id,add,div,rankABC,12,USA,A,1DEF,13,IND,C,2XYZ,14,UK,E,3PQR,15,DE,F,4 This is System generated report, and needs no signature. 14-Oct-2023 18:14:12"""# 将字符串内容视为文件对象file_like_object = io.StringIO(csv_content)# 1. 以读模式打开文件（或使用io.StringIO模拟文件）with file_like_object as file: line = file.readline() # 2. 循环读取行，直到找到包含“Student”的行（即列头） while not line.startswith('Student'): line = file.readline() # 处理文件末尾，如果没找到标题就退出循环 if not line: raise ValueError("未找到预期的列标题行！") # 3. 解析列头 # .strip() 移除行尾的换行符，.split(',') 分割成列表 column_names = line.strip().split(',') # 4. 使用pandas.read_csv读取文件的剩余部分 # `names`参数指定列名，`header=None`表示文件本身没有列头行 df_final = pd.read_csv(file, names=column_names, header=None) # 5. 移除数据末尾可能存在的冗余行（通过检查是否有NaN值） # 这里假设所有数据列都不应为NaN df_final = df_final.dropna(how='all') # 移除所有列都是NaN的行print("n解决方案二的结果:")print(df_final)
输出：
解决方案二的结果: Student id add div rank0 ABC 12 USA A 11 DEF 13 IND C 22 XYZ 14 UK E 33 PQR 15 DE F 4
注意事项：
file.readline()在每次调用后会自动推进文件指针。因此，当pd.read_csv(file, …)被调用时，它会从当前文件指针位置开始读取，即从数据的第一行开始。names参数用于在文件没有列头时指定列名。如果文件在找到标题行后，紧接着就是数据行，且该标题行已被readline()消费，那么header=None是合适的。dropna(how=’all’)可以有效清除文件末尾的空行或只有部分NaN值的行。如果数据中允许存在部分NaN，需要更精确的过滤条件。确保您用来判断标题行的字符串（例如’Student’）是唯一的，并且能准确识别数据起始行。
总结
处理包含冗余文本的CSV文件是数据清洗中的常见任务。本文介绍了两种高效且灵活的Pandas解决方案：
按行读取分步解析：适用于文件结构复杂、数据起始行不固定但可识别模式的情况，通过字符串处理和dropna()进行清洗。预处理文件流定位数据：适用于数据起始行可通过特定列标题精确识别的情况，利用文件指针的特性，直接将有效数据流传递给pd.read_csv。
选择哪种方法取决于您CSV文件的具体结构和冗余文本的模式。在处理大量文件时，将这些逻辑封装成函数可以大大提高工作效率和代码复用性。务必根据实际情况调整代码中的判断条件（如startswith(‘Student’)），以确保准确地识别数据区域。通过这些技术，您可以有效地将原始、不规范的CSV文件转化为干净、结构化的Pandas DataFrame，为后续的数据分析奠定坚实基础。
以上就是使用Pandas清洗并读取含冗余文本的CSV文件的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1371993.html
微信扫一扫 
支付宝扫一扫 
