在Web scraping过程中，我们经常会遇到这样的挑战：目标数据所在的HTML元素共享相同的类名，导致直接提取会获取到所有相关信息，而我们可能只希望获取其中的一部分，或者对数据进行特定的过滤。例如，在抓取医生信息时，一位医生可能在多个地点提供服务，这些服务地点的HTML标签可能都拥有相同的类名。本文将详细阐述如何使用Python的requests和BeautifulSoup库来解决这一问题，实现精准的数据提取与过滤。
1. Web scraping中同名标签的挑战
假设我们需要从一个医生列表中提取每位医生的姓名及其服务地点。网站的html结构可能如下：
Dr. Ayesha Azam Khan
National Hospital & Medical Centre (DHA)Surgimed Hospital (Gulberg)Online Video Consultation
在这个例子中，National Hospital、Surgimed Hospital和Online Video Consultation都使用了相同的listing-locations类。如果我们的目标是仅获取物理服务地点，并排除在线咨询，那么简单的通过select(“.listing-locations”)会把所有三项都抓取出来，这不符合我们的需求。
2. 核心工具：Requests与BeautifulSoup
为了解决上述问题，我们将使用以下Python库：
requests: 用于向网页发送HTTP请求，获取网页的HTML内容。BeautifulSoup: 一个强大的Python库，用于从HTML或XML文件中提取数据。它能够解析文档，并提供多种查找和导航节点的方式。
3. 解决方案：精准定位与条件过滤
解决同名标签问题的关键在于结合上下文信息，并利用BeautifulSoup强大的CSS选择器功能进行条件过滤。
3.1 遍历父节点
首先，我们需要识别每个独立的数据单元（例如，每个医生信息块）。通常，这些单元会有一个共同的父级类名。在本例中，每个医生的信息都包含在class=”gynecologist”的div标签中。我们可以先遍历这些父节点。
import requestsfrom bs4 import BeautifulSoupurl = "https://oladoc.com/pakistan/lahore/gynecologist"response = requests.get(url)soup = BeautifulSoup(response.content, "html.parser")# 遍历每个医生信息块for doctor_block in soup.select(".gynecologist"): # 在这里处理每个医生的数据 pass
3.2 提取医生姓名
在每个医生信息块内部，我们可以很容易地提取出医生的姓名，通常它会有一个独特的标签或类名。
# 提取医生姓名 doctor_name = doctor_block.h2.get_text(strip=True) print("Name:", doctor_name)
3.3 使用CSS选择器 :-soup-contains() 进行排除
BeautifulSoup支持多种CSS选择器，其中一个非常有用的伪类是:-soup-contains()。它允许我们选择包含特定文本内容的元素。结合:not()伪类，我们可以排除掉包含特定文本的元素。
在本例中，我们要排除包含“Online Video Consultation”的地点信息，因此可以使用选择器：.listing-locations:not(:-soup-contains(‘Online Video Consultation’))
这个选择器的含义是：选择所有类名为listing-locations的元素，但排除掉那些内部包含文本“Online Video Consultation”的元素。
3.4 完整示例代码
下面是结合上述步骤的完整代码示例：
import requestsfrom bs4 import BeautifulSoup# 目标URLurl = "https://oladoc.com/pakistan/lahore/gynecologist"# 发送HTTP请求并获取网页内容response = requests.get(url)soup = BeautifulSoup(response.content, "html.parser")# 遍历每个医生信息块for doctor_block in soup.select(".gynecologist"): # 提取医生姓名 doctor_name = doctor_block.h2.get_text(strip=True) print("Name:", doctor_name) # 提取所有物理服务地点，排除“Online Video Consultation” # 使用CSS选择器 :-soup-contains() 结合 :not() 进行过滤 physical_hospitals = doctor_block.select( ".listing-locations:not(:-soup-contains('Online Video Consultation'))" ) # 提取每个物理地点的文本 hospital_names = [h.span.text for h in physical_hospitals] print("Hospitals:", hospital_names) print("-" * 30) # 分隔线，便于阅读
示例输出（部分）：
Name: Dr. Ayesha Azam KhanHospitals: ['National Hospital & Medical Centre (DHA)', 'Surgimed Hospital (Gulberg)']------------------------------Name: Dr. Maliha AmjadHospitals: ['Omar Hospital & Cardiac Centre (Johar Town) (Johar Town)', 'Shalamar Hospital (Mughalpura)']------------------------------Name: Dr. Sara RasulHospitals: ['Hameed Latif Hospital (New Garden Town)', 'Hameed Latif Medical Center (DHA)']------------------------------...
4. 代码详解与工作原理
requests.get(url): 发起GET请求，获取网页的原始HTML内容。BeautifulSoup(response.content, “html.parser”): 将获取到的HTML内容解析成一个BeautifulSoup对象，方便后续的数据查找和提取。soup.select(“.gynecologist”): 使用CSS选择器.gynecologist来查找页面上所有类名为gynecologist的div元素。这通常代表了页面上的每个医生信息块。doctor_block.h2.get_text(strip=True): 在每个医生信息块内部，查找h2标签，并使用get_text(strip=True)方法提取其文本内容，strip=True用于去除文本两端的空白字符。doctor_block.select(“.listing-locations:not(:-soup-contains(‘Online Video Consultation’))”): 这是核心过滤步骤。doctor_block.select(…): 表示在当前的doctor_block（即当前医生信息块）内部进行查找，确保我们只处理当前医生的地点信息。.listing-locations: 选择所有类名为listing-locations的元素。:not(:-soup-contains(‘Online Video Consultation’)): 这是一个组合选择器。:-soup-contains(‘…’): 是BeautifulSoup特有的伪类，用于选择包含指定文本内容的元素。:not(…): 是CSS的否定伪类，用于排除符合其内部选择器条件的元素。因此，整个表达式的含义是：选择所有类名为listing-locations的元素中，不包含文本“Online Video Consultation”的元素。[h.span.text for h in physical_hospitals]: 这是一个列表推导式，用于遍历所有筛选出的物理地点元素，并提取每个地点span标签内的文本内容。
5. 进一步思考：如何仅获取一个地点
原始问题中提到“I just want one location for every doctor”。虽然上述解决方案提供了所有物理地点，如果确实只需要一个地点（例如，只取第一个可用的物理地点），可以在获取physical_hospitals列表后，再进行一步处理：
# ... (前面的代码保持不变) ... # 提取所有物理服务地点 physical_hospitals = doctor_block.select( ".listing-locations:not(:-soup-contains('Online Video Consultation'))" ) # 如果只需要一个地点，可以取列表的第一个元素 if physical_hospitals: single_location = physical_hospitals[0].span.text print("Single Location:", single_location) else: print("Single Location: N/A")
这样，即使医生有多个物理地点，也只会提取第一个。
6. 注意事项与最佳实践
网站结构变化：Web scraping高度依赖于目标网站的HTML结构。如果网站更新，选择器可能会失效，需要重新检查和调整。User-Agent：某些网站可能会阻止默认的requests请求。可以尝试在请求头中添加User-Agent，模拟浏览器访问：
headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"}response = requests.get(url, headers=headers)
错误处理：在实际项目中，应加入错误处理机制，例如try-except块来处理网络请求失败、元素未找到等情况。遵守Robots.txt：在进行Web scraping之前，务必检查网站的robots.txt文件，了解网站对爬虫的限制和规定。请求频率：避免对网站发起过高频率的请求，以免给服务器造成负担，甚至导致IP被封禁。可以加入time.sleep()来控制请求间隔。
7. 总结
通过本文的讲解，我们学习了如何在Web scraping中处理同名标签带来的挑战。关键在于利用BeautifulSoup的强大功能，特别是通过遍历父节点、结合CSS选择器（如:-soup-contains()和:not()）进行精准定位和条件过滤。这种方法不仅能够帮助我们从复杂网页中提取所需数据，还能提高数据清洗的效率和准确性，是Web scraping中一项非常实用的技巧。
以上就是Web scraping中同名标签的处理：多地点信息提取与过滤的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1372342.html
微信扫一扫 
支付宝扫一扫 
