本文旨在解决使用beautifulsoup进行网页抓取时常遇到的空列表问题。核心原因在于选择器未能准确匹配目标html元素。教程将详细分析常见错误，并提供一套基于css选择器的优化方案，通过精确的元素定位和迭代处理，确保数据能够被正确提取，从而有效避免空列表的出现，提升爬虫的稳定性和效率。
在进行网页数据抓取时，开发者常会遇到BeautifulSoup返回空列表的情况。这通常不是因为网站反爬机制过于严格，而是因为我们用于定位元素的HTML选择器不够精确，或者对BeautifulSoup的选择方法理解有误。本教程将深入探讨这一问题，并提供一套健壮的解决方案。
问题分析：为何返回空列表？
原始代码尝试通过以下方式获取标题和文章内容：
headlines = soup.find('div', class_=['news-card-title', 'news-right-box'])articles = soup.find('div', class_=['news-card-content', 'news-right-box'])
这里存在几个关键问题：
find() 方法的误用： soup.find() 方法用于查找HTML文档中第一个匹配的标签，并返回一个Tag对象。如果未找到，则返回None。它不会返回一个标签列表。因此，headlines和articles变量很可能是一个Tag对象或None，而非期望的ResultSet（标签列表）。class_ 参数的理解： 当class_参数被赋予一个列表时（如[‘news-card-title’, ‘news-right-box’]），BeautifulSoup会尝试查找同时拥有这些所有类的标签。如果目标标签不完全符合这个条件，或者这些类通常分散在不同的父子元素上，则可能无法找到。zip() 操作的失败： 即使find()方法返回了Tag对象，它们也不是可迭代的标签列表。因此，随后的列表推导式中zip(headlines, articles)操作会因为headlines或articles不是可迭代对象而失败，或者即便不报错，也无法按预期迭代，最终导致news_data列表为空。.string 属性的局限性： find_all(…).string 这样的链式调用也是不规范的。find_all返回的是一个列表，列表没有.string属性。即便找到了单个元素，.string属性也只适用于标签内仅包含文本内容且没有其他子标签的情况。更通用的文本提取方法是.get_text()。
解决方案：使用CSS选择器进行精确匹配
为了解决上述问题，我们需要采用更精确、更灵活的元素选择方法，并确保正确地迭代每个目标数据块。BeautifulSoup的select()和select_one()方法支持CSS选择器，这为复杂的HTML结构提供了强大的定位能力。
核心思路
定位文章容器： 识别网页中每个新闻文章的独立容器。通常，这些容器会有一个共同的属性或类。遍历容器： 遍历每个文章容器，将每个容器视为一个独立的子文档。提取子元素： 在每个文章容器内部，使用更具体的选择器提取标题和文章内容。
优化后的代码示例
以下是根据上述思路优化后的代码：
import requestsfrom bs4 import BeautifulSoupurl = 'https://inshorts.com/en/read/technology'news_data = []news_category = url.split('/')[-1]headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}data = requests.get(url, headers=headers)if data.status_code == 200: soup = BeautifulSoup(data.content, 'html.parser') # 使用CSS选择器定位所有新闻文章容器 # 根据目标网站结构，每个新闻文章通常由一个具有特定itemtype属性的div或其他元素包裹 # 检查HTML发现每个新闻卡片都有itemtype="http://schema.org/NewsArticle" for article_container in soup.select('[itemtype="http://schema.org/NewsArticle"]'): # 在每个文章容器内部，使用select_one定位标题和文章内容 # itemprop="headline" 用于标题 # itemprop="articleBody" 用于文章主体 headline_element = article_container.select_one('[itemprop="headline"]') article_body_element = article_container.select_one('[itemprop="articleBody"]') # 确保元素存在，并使用.get_text()提取文本内容 news_headline = headline_element.get_text(strip=True) if headline_element else "N/A" news_article = article_body_element.get_text(strip=True) if article_body_element else "N/A" news_data.append( { 'news_headline': news_headline, 'news_article': news_article, 'news_category': news_category } )print(news_data)
代码详解
soup.select(‘[itemtype=”http://schema.org/NewsArticle”]’)：select() 方法接收一个CSS选择器作为参数，并返回所有匹配的标签列表（ResultSet）。[itemtype=”http://schema.org/NewsArticle”] 是一个属性选择器，它会查找所有具有itemtype属性且其值为http://schema.org/NewsArticle的标签。通过检查目标网站的HTML结构，我们发现每个新闻卡片都使用这个属性来标识。这是一个非常精确且语义化的选择方式。for article_container in …：我们现在可以安全地遍历每个找到的article_container，因为select()返回的是一个列表。article_container.select_one(‘[itemprop=”headline”]’)：select_one() 方法与select()类似，但它只返回第一个匹配的标签，如果未找到则返回None。这在确定某个元素只会出现一次时非常有用。[itemprop=”headline”] 和 [itemprop=”articleBody”] 同样是属性选择器，它们用于在当前article_container内部查找新闻标题和文章主体。这种“先大后小”的定位方式，大大提高了选择器的准确性和效率。.get_text(strip=True)：get_text() 方法用于提取标签及其所有子标签中的文本内容。strip=True参数可以去除文本两端的空白字符，使结果更整洁。我们还加入了if headline_element else “N/A”这样的条件判断，以防止select_one()返回None时调用get_text()引发错误，提高了代码的健壮性。
注意事项与最佳实践
检查HTML结构： 在编写任何爬虫代码之前，务必使用浏览器开发者工具（F12）仔细检查目标网页的HTML结构。理解元素的层级关系、类名、ID和属性是编写有效选择器的关键。选择器的多样性： Beautiful Soup支持多种选择器：标签名： soup.find_all(‘div’)类名： soup.find_all(class_=’my-class’) 或 soup.select(‘.my-class’)ID： soup.find(id=’my-id’) 或 soup.select_one(‘#my-id’)属性： soup.find_all(attrs={‘data-id’: ‘123’}) 或 soup.select(‘[data-id=”123″]’)CSS选择器： soup.select(‘div.my-class > p:first-child’)根据具体情况选择最合适、最稳定的选择器。通常，CSS选择器能提供最大的灵活性和精确度。错误处理： 始终考虑选择器可能找不到元素的情况。使用条件判断（如if element: …）或try-except块来处理None值，避免程序崩溃。用户代理（User-Agent）： 在请求头中设置User-Agent是良好的爬虫习惯，模拟浏览器访问，减少被网站屏蔽的风险。遵守爬虫道德： 尊重网站的robots.txt文件，不要对网站造成过大负担，并遵守相关法律法规。
总结
解决BeautifulSoup返回空列表的问题，核心在于理解HTML结构和选择器的工作原理。通过从find()的局限性转向select()和select_one()的强大CSS选择器功能，结合对HTML属性的精确匹配，我们可以构建出更稳定、更高效的网页抓取程序。始终牢记在动手编码前进行充分的HTML结构分析，是提升爬虫成功率的关键。
以上就是解决BeautifulSoup网页抓取空列表问题：深入理解选择器与优化实践的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1377075.html
微信扫一扫 
支付宝扫一扫 
