本教程详细介绍了如何利用Beautiful Soup库解析复杂的HTML div结构，提取出非结构化的文本信息，并通过巧妙的分隔符处理将其转化为键值对。随后，我们将这些结构化数据导入Pandas DataFrame，并通过转置和重命名操作，最终生成一个符合分析需求的整洁表格数据。
1. 引言与问题背景
在数据抓取和分析过程中，我们经常会遇到需要从html页面中提取结构化信息的情况。虽然许多html表格可以直接使用pandas的read_html函数进行解析，但对于非标准表格结构，特别是嵌套在div标签中的键值对信息，则需要更精细的解析方法。本教程将展示如何结合beautiful soup和pandas，将一个包含多个div标签的html片段转换为一个规整的pandas dataframe，以便后续的数据分析。
假设我们有以下HTML片段，其中包含公司的一些基本信息：
Industry<a href="/stock-screener/?sp=country::5|sector::a|industry::146|equityType::aLife Sciences Tools & ServicesSector<a href="/stock-screener/?sp=country::5|sector::18|industry::a|equityType::aHealthcareEmployees17000
Equity TypeORD
我们的目标是将其转换为如下Pandas DataFrame：
+--------------------------------+------------+-----------+-------------+| Industry | Sector | Employees | Equity Type |+--------------------------------+------------+-----------+-------------+| Life Sciences Tools & Services | Healthcare | 17000 | ORD |+--------------------------------+------------+-----------+-------------+
2. 准备工作
在开始之前，请确保您的Python环境中已安装beautifulsoup4和pandas库。如果尚未安装，可以使用pip进行安装：
pip install beautifulsoup4 pandas
3. 使用Beautiful Soup解析HTML
首先，我们需要使用Beautiful Soup解析HTML字符串，并定位到包含目标信息的父div元素。
立即学习“前端免费学习笔记（深入）”；
from bs4 import BeautifulSoupimport pandas as pdhtml_content = """"""# 创建Beautiful Soup对象soup = BeautifulSoup(html_content, "html.parser")# 查找包含公司信息的父divcompany_profile_div = soup.find("div", class_="companyProfileHeader")# 提取每个子div中的文本信息# 使用get_text(strip=True, separator="~")方法，可以在提取文本时自动去除空白，# 并用指定的分隔符连接不同标签内的文本。这对于区分键和值非常关键。extracted_texts = [ div.get_text(strip=True, separator="~") for div in company_profile_div.find_all("div")]print("原始提取文本列表:", extracted_texts)# 输出: ['Industry~Life Sciences Tools & Services', 'Sector~Healthcare', 'Employees~17000', 'Equity Type~ORD']Industry<a href="/stock-screener/?sp=country::5|sector::a|industry::146|equityType::aLife Sciences Tools & ServicesSector<a href="/stock-screener/?sp=country::5|sector::18|industry::a|equityType::aHealthcareEmployees17000
Equity TypeORD
在上述代码中，get_text(strip=True, separator=”~”)是关键。它能够将每个div标签内的所有文本内容（包括子标签如和
中的文本）连接起来，并用~符号分隔。这样，我们就能得到一个清晰的”键~值”字符串。
接下来，我们需要将这些”键~值”字符串分割成独立的键和值对。
# 将每个字符串按"~"分割成键值对final_lst = [item.split("~") for item in extracted_texts]print("分割后的键值对列表:", final_lst)# 输出: [['Industry', 'Life Sciences Tools & Services'], ['Sector', 'Healthcare'], ['Employees', '17000'], ['Equity Type', 'ORD']]
现在，final_lst是一个列表的列表，每个子列表包含一个键和其对应的值。
4. 转换为Pandas DataFrame
有了final_lst，我们可以将其轻松转换为Pandas DataFrame。然而，直接转换会得到一个两列的DataFrame，其中第一列是键，第二列是值。为了得到期望的输出格式（键作为列名，值作为一行数据），我们需要进行一些转置和重命名操作。
# 1. 将列表转换为DataFrame# 此时DataFrame的行是键值对，列是索引0和1df = pd.DataFrame(final_lst)print("n初始DataFrame:n", df)# 输出:# 0 1# 0 Industry Life Sciences Tools & Services# 1 Sector Healthcare# 2 Employees 17000# 3 Equity Type ORD# 2. 转置DataFrame# 将原来的行变为列，列变为行。现在第一行包含所有键，第二行包含所有值。df = df.transpose()print("n转置后的DataFrame:n", df)# 输出:# 0 1 2 3# 0 Industry Sector Employees Equity Type# 1 Life Sciences Tools & Services Healthcare 17000 ORD# 3. 将第一行设置为列名# df.iloc[0] 获取DataFrame的第一行作为新的列名df.rename(columns=df.iloc[0], inplace=True)print("n设置列名后的DataFrame:n", df)# 输出:# Industry Sector Employees Equity Type# 0 Industry Sector Employees Equity Type# 1 Life Sciences Tools & Services Healthcare 17000 ORD# 4. 删除作为列名的第一行# 因为第一行现在已经作为列名，其数据本身已无用，需要删除。df.drop(df.index[0], inplace=True)print("n最终DataFrame:n", df)# 输出:# Industry Sector Employees Equity Type# 1 Life Sciences Tools & Services Healthcare 17000 ORD
通过这四个步骤，我们成功地将HTML中的结构化信息转换为一个整洁、易于分析的Pandas DataFrame。
5. 完整代码示例
from bs4 import BeautifulSoupimport pandas as pd# 待解析的HTML内容html_content = """"""# 1. 使用Beautiful Soup解析HTML并提取文本soup = BeautifulSoup(html_content, "html.parser")company_profile_div = soup.find("div", class_="companyProfileHeader")if company_profile_div: # 提取每个子div中的文本，并用"~"分隔键和值 extracted_texts = [ div.get_text(strip=True, separator="~") for div in company_profile_div.find_all("div") ] # 将"键~值"字符串分割成独立的键和值对 final_lst = [item.split("~") for item in extracted_texts] # 2. 转换为Pandas DataFrame df = pd.DataFrame(final_lst) # 3. 转置DataFrame，使键成为一行，值成为另一行 df = df.transpose() # 4. 将第一行（包含键）设置为列名 df.rename(columns=df.iloc[0], inplace=True) # 5. 删除作为列名的第一行 df.drop(df.index[0], inplace=True) print("最终生成的DataFrame:") print(df)else: print("未找到指定的HTML元素 'companyProfileHeader'。")Industry<a href="/stock-screener/?sp=country::5|sector::a|industry::146|equityType::aLife Sciences Tools & ServicesSector<a href="/stock-screener/?sp=country::5|sector::18|industry::a|equityType::aHealthcareEmployees17000
Equity TypeORD
6. 注意事项与扩展
分隔符的选择： 在get_text(separator=”~”)中，分隔符~的选择很重要。应选择一个在实际数据中极不可能出现的字符，以避免数据混淆。如果数据中可能包含~，可以考虑使用更复杂的正则表达式或Beautiful Soup的其他方法来精确提取键和值。HTML结构变化： 本教程的方法依赖于HTML结构的相对稳定性（即键和值都位于同一个div内，并且可以通过get_text提取）。如果HTML结构发生变化，例如键和值位于不同的兄弟div中，则需要调整Beautiful Soup的解析逻辑。错误处理： 在实际应用中，应加入更多的错误处理机制，例如检查company_profile_div是否为None，或者split(“~”)后列表长度是否为2，以确保数据的完整性和代码的健壮性。数据类型转换： 提取出的数据默认为字符串类型。如果需要进行数值计算（如Employees），请记得使用df[‘Employees’] = pd.to_numeric(df[‘Employees’])等方法进行类型转换。多个记录： 如果HTML中包含多个companyProfileHeader类似的结构，表示多条公司记录，则需要在一个循环中处理每个记录，并将每个记录生成的DataFrame追加到一个列表中，最后使用pd.concat合并所有DataFrame。
7. 总结
通过本教程，我们学习了如何利用Beautiful Soup库的强大解析能力和Pandas库的数据处理功能，将复杂的HTML div结构中的非结构化文本数据有效地转换为结构化的Pandas DataFrame。这种方法对于处理那些不规则或非标准的HTML表格数据尤其有用，为后续的数据清洗、分析和可视化奠定了坚实的基础。掌握这种技巧，将大大提升从网页中获取和利用数据的效率。
以上就是将HTML结构化数据转换为Pandas DataFrame教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1575797.html
微信扫一扫 
支付宝扫一扫 
