在处理从数据库或API获取的复杂数据时，将分散的、多层结构的字典列表高效地转换为单个Pandas DataFrame并进行词频统计是一个常见需求。本文将详细介绍如何通过数据整合、利用Pandas的explode和value_counts等功能，避免生成多个独立的DataFrame，最终获得一个清晰、整合的词频统计结果。
1. 引言：处理多层字典列表的挑战
在数据分析和处理的实践中，我们经常会遇到从各种数据源（如数据库查询结果、API响应等）获取的数据，其结构可能并非直接适合Pandas DataFrame的创建。一个典型场景是，数据以列表的列表形式存在，或者在处理过程中，由于迭代方式不当，导致每次循环都生成一个独立的DataFrame。例如，原始数据可能看起来像是多个独立的字典列表拼接在一起：
[{'case_id': 22, 'case_subject': 'followup'}, {'case_id': 22, 'case_subject': 'rma'}, ...][{'case_id': 26, 'case_subject': 'c'}, {'case_id': 26, 'case_subject': 'ge'}, ...]...
如果直接尝试将这种结构转换为DataFrame，或者在循环中反复调用pd.DataFrame()，就会导致生成多个DataFrame，而不是我们期望的一个统一的DataFrame。我们的目标是，无论原始数据如何分散，最终都能得到一个包含所有信息的单一DataFrame，并在此基础上进行进一步的分析，例如对case_subject字段中的词进行频率统计。
2. 数据准备与整合：构建统一的字典列表
解决上述问题的关键在于，在将数据传递给pd.DataFrame()构造函数之前，确保所有待处理的数据行都已经被收集到一个单一的Python列表中，其中列表的每个元素都是一个字典，代表DataFrame的一行。
以下代码示例模拟了从原始数据源（如数据库游标cur.fetchall()）获取数据，并将其转换为这种统一格式的过程。假设raw_db_data变量包含了从数据库获取的原始行，每行包含一个case_id和一个case_subject的字符串描述。
import pandas as pdimport re# 模拟从数据库获取的原始数据# 实际场景中，data可能来自 cur.fetchall()，例如：raw_db_data = [ (22, 'followup rma ticket 61555'), (26, 'c ge app logs request'), (30, 'refund request return refund pending partial payment'), (34, 'unable control devices via mfg configured devices'), (38, 'trouble connecting alexa')]# 用于收集所有字典的单一列表output_data = []for row in raw_db_data: case_id = row[0] raw_subject_string = str(row[1]) # 清理和标准化主题字符串 # 移除特殊字符，保留字母数字和空格 cleaned_subject = ''.join(e for e in raw_subject_string if (e.isalnum() or e.isspace())) # 替换多个空格为单个空格，并转换为小写，去除首尾空格 standardized_subject = re.sub(r's+', ' ', cleaned_subject).lower().strip() # 将主题字符串分割成词列表 subject_words = standardized_subject.split(" ") # 为每个词创建一个字典，并添加到 output_data 列表中 for word in subject_words: if word: # 确保不是空字符串，避免生成无效行 each_row = {"case_id": case_id, "case_subject": word} output_data.append(each_row)# 此时，output_data 是一个包含所有扁平化字典的单一列表print("整合后的数据示例 (output_data):")print(output_data[:10]) # 打印前10个元素作为示例
代码解析：
output_data = []：这是核心，它是一个空的列表，用于累积所有处理后的字典。循环遍历raw_db_data中的每一行。cleaned_subject和standardized_subject：对原始主题字符串进行预处理，包括去除特殊字符、统一空格和转换为小写，以确保后续词频统计的准确性。strip()用于移除字符串两端的空白符。subject_words = standardized_subject.split(” “)：将清理后的主题字符串按空格分割成独立的词。内层循环for word in subject_words:：对于每个分割出的词，我们都创建一个新的字典{“case_id”: case_id, “case_subject”: word}。output_data.append(each_row)：将这个新创建的字典添加到output_data列表中。
通过这种方式，无论原始数据有多少行或每个主题包含多少个词，所有的case_id和对应的case_subject词都将被收集到一个output_data的单一列表中。
3. 创建单一DataFrame并进行词频统计
一旦output_data这个统一的字典列表准备就绪，就可以轻松地创建一个单一的Pandas DataFrame，并在此基础上进行词频统计。以下是完整的处理流程：
# 假设 output_data 已经通过上一步骤生成# output_data = [...]# 1. 从整合后的字典列表创建单一DataFramedf = pd.DataFrame(output_data)# 2. 执行词频统计和数据整形# 注意：在我们的 output_data 生成过程中，case_subject 已经是单个词了。# 但为了兼容原始问题中可能存在多词字符串的情况，保留 str.split() 操作，# 它会将单个词转换为单元素列表，后续 explode 仍能正常工作。out = (df .assign(case_subject = lambda x: x['case_subject'].str.split()) # 将 case_subject 列的字符串按空格分割成列表 .explode('case_subject') # 展开列表，为每个词创建一行 .value_counts(['case_id', 'case_subject']) # 对 case_id 和 case_subject 组合进行计数 .rename('Case_Subject_Split_
以上就是Pandas数据处理：将多层字典列表转换为统一DataFrame并进行词频统计的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1373468.html
微信扫一扫 
支付宝扫一扫 
