本文详细介绍了如何利用Python的requests和BeautifulSoup库进行网页数据抓取，特别是当网页中存在多个具有相同HTML类名的元素时，如何精确筛选出所需信息。文章着重演示了如何通过高级CSS选择器，例如:-soup-contains()，来排除不符合条件的数据（如“在线视频咨询”），从而实现高效且准确的数据提取。
网页数据抓取中的常见挑战
在进行网页数据抓取（web scraping）时，开发者经常会遇到一个普遍的问题：网页上的不同类型的信息可能被包裹在具有相同html类名（class name）的标签中。例如，一个医生可能有多个执业地点，包括实体医院和在线咨询服务，而这些地点信息可能都使用相同的
工具准备
要解决上述问题，我们将使用Python中两个强大的库：
requests: 用于向目标网站发送HTTP请求，获取网页的HTML内容。BeautifulSoup: 一个解析HTML和XML文档的库，能够方便地从复杂结构中提取数据。
在开始之前，请确保已安装这些库：
pip install requests beautifulsoup4
核心问题：同名类标签与数据筛选
假设我们正在抓取医生信息，每个医生可能在多个地点提供服务。这些地点（无论是实体医院还是在线咨询）都可能使用相同的CSS类名（例如listing-locations）。我们的目标是只获取医生提供的实体医院服务地点，并忽略任何“在线视频咨询”的地点。
解决方案详解
解决此问题的关键在于利用BeautifulSoup提供的强大CSS选择器功能，特别是:-soup-contains()伪类选择器，它允许我们根据元素内包含的文本内容进行筛选。
立即学习“Python免费学习笔记（深入）”；
1. 获取网页内容
首先，我们需要使用requests库获取目标网页的HTML内容。
import requestsfrom bs4 import BeautifulSoupurl = "https://oladoc.com/pakistan/lahore/gynecologist"# 发送GET请求并获取响应response = requests.get(url)# 检查请求是否成功response.raise_for_status() # 使用BeautifulSoup解析HTML内容soup = BeautifulSoup(response.content, "html.parser")
2. 定位医生信息
通常，网页上的每个独立信息块（例如，每个医生的完整信息）都会被一个特定的HTML元素包裹。我们需要找到这些主要的容器。根据示例，每个医生的信息都包含在class=”gynecologist”的元素中。
# 遍历所有医生信息块for g in soup.select(".gynecologist"): # 提取医生姓名 doctor_name = g.h2.get_text(strip=True) print("姓名:", doctor_name) # ... 接下来是提取地点信息
3. 精确筛选医院位置
这是解决问题的核心步骤。我们需要选择所有具有listing-locations类的元素，但同时排除那些文本内容包含“Online Video Consultation”的元素。BeautifulSoup的select()方法支持复杂的CSS选择器，包括:-soup-contains()。
listing-locations: 选择所有class为listing-locations的元素。:-soup-contains(‘Online Video Consultation’): 选择包含特定文本“Online Video Consultation”的元素。:not(…): 否定选择器，排除括号内匹配的元素。
结合起来，”.listing-locations:not(:-soup-contains(‘Online Video Consultation’))”将选择所有class为listing-locations，但不包含“Online Video Consultation”文本的元素。
# 筛选医院地点：选择所有class为listing-locations，且不包含“Online Video Consultation”文本的元素 hospitals = g.select( ".listing-locations:not(:-soup-contains('Online Video Consultation'))" ) # 提取每个筛选出的医院名称 hospital_names = [h.span.text.strip() for h in hospitals] print("医院:", hospital_names) print("-" * 30) # 分隔线，使输出更清晰
4. 完整代码示例
将以上步骤整合，得到完整的Python抓取脚本：
import requestsfrom bs4 import BeautifulSoup# 目标URLurl = "https://oladoc.com/pakistan/lahore/gynecologist"try: # 发送GET请求并获取网页内容 response = requests.get(url) response.raise_for_status() # 检查请求是否成功，如果状态码不是200，则抛出异常 # 使用BeautifulSoup解析HTML soup = BeautifulSoup(response.content, "html.parser") # 遍历页面上所有的医生信息块 for g in soup.select(".gynecologist"): # 提取医生姓名 doctor_name = g.h2.get_text(strip=True) print("姓名:", doctor_name) # 筛选医院地点： # 选择所有class为"listing-locations"的元素， # 但排除那些内部文本包含"Online Video Consultation"的元素。 hospitals = g.select( ".listing-locations:not(:-soup-contains('Online Video Consultation'))" ) # 提取每个筛选出的医院名称，并去除首尾空白 hospital_names = [h.span.text.strip() for h in hospitals] print("医院:", hospital_names) print("-" * 40) # 打印分隔线except requests.exceptions.RequestException as e: print(f"请求失败: {e}")except Exception as e: print(f"发生错误: {e}")
输出示例：
姓名: Dr. Ayesha Azam Khan医院: ['National Hospital & Medical Centre (DHA)', 'Surgimed Hospital (Gulberg)']----------------------------------------姓名: Dr. Maliha Amjad医院: ['Omar Hospital & Cardiac Centre (Johar Town) (Johar Town)', 'Shalamar Hospital (Mughalpura)']----------------------------------------姓名: Dr. Sara Rasul医院: ['Hameed Latif Hospital (New Garden Town)', 'Hameed Latif Medical Center (DHA)']----------------------------------------# ... 更多医生信息
注意事项
网页结构变化: 网页的HTML结构可能会随时更新。如果目标网站的HTML类名、标签结构或文本内容发生变化，上述CSS选择器可能需要调整。伦理与法律: 在进行网页抓取时，请务必遵守网站的robots.txt协议和使用条款。避免对网站造成过大负载，可以设置请求间隔（time.sleep()）。错误处理: 在实际项目中，应加入更健壮的错误处理机制，例如处理网络连接问题、页面元素不存在的情况等。上述代码已加入基本的try-except块。进一步筛选: 如果您严格要求每个医生只获取一个地点（例如，只取第一个物理地点），可以在hospital_names列表不为空的情况下，进一步选择hospital_names[0]。代理与用户代理: 对于某些网站，可能需要设置请求头（User-Agent）或使用代理IP来避免被反爬机制阻止。
总结
通过本教程，我们学习了如何利用Python的requests和BeautifulSoup库，结合强大的CSS选择器（特别是:-soup-contains()和:not()），有效地处理网页抓取中同名类标签的挑战。这种方法不仅能够精确地筛选出所需数据，还能排除不必要或干扰性的信息，从而提高数据抓取的准确性和效率。掌握这些技巧，将使您在面对复杂网页结构时更加游刃有余。
以上就是Python Web Scraping技巧：处理同名类标签并精确筛选数据的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1372372.html
微信扫一扫 
支付宝扫一扫 
