解决百度百科网页爬取结果为空的问题
在使用XPath爬取百度百科数据时，经常会遇到空结果的情况。本文分析可能原因并提供解决方案。
问题：使用lxml库和XPath表达式//div[contains(@class,"lemma-summary") or contains(@class,"lemmawgt-lemmasummary")]//text()提取百度百科词条摘要信息时，结果为空。
原因：百度百科的网页结构和重定向机制。服务器返回302状态码，表示需要重定向到新的URL。原始代码未处理重定向，导致爬取的页面并非目标页面。
解决方案：在代码中添加重定向处理。以下为改进后的代码：
import urllib.requestimport urllib.parsefrom lxml import etreedef fetch_baike_summary(keyword): url = 'https://baike.baidu.com/item/' + urllib.parse.quote(keyword) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' } req = urllib.request.Request(url=url, headers=headers) try: with urllib.request.urlopen(req) as response: if response.getcode() == 302: url = response.geturl() req = urllib.request.Request(url=url, headers=headers) with urllib.request.urlopen(req) as response: html = response.read().decode('utf-8', errors='ignore') else: html = response.read().decode('utf-8', errors='ignore') tree = etree.HTML(html) summary = tree.xpath('//div[contains(@class,"lemma-summary") or contains(@class,"lemmaWgt-lemmaSummary")]//text()') return ''.join([item.strip() for item in summary]) except Exception as e: return f"Error: {e}"if __name__ == "__main__": keyword = input("请输入关键词：") result = fetch_baike_summary(keyword) print(f"查询结果：{result}")
改进之处：
增加了对302重定向的处理，获取重定向后的URL并重新请求。使用with语句管理资源，确保正确关闭连接。使用更健壮的错误处理机制，捕获并报告异常。代码更清晰易读，并进行了适当的命名。
此代码能够正确处理重定向，并提取百度百科词条摘要信息。 记住，频繁爬取可能会对服务器造成负担，请遵守网站的robots.txt规则。
以上就是百度百科网页爬取结果为空怎么办？的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1358572.html
微信扫一扫 
支付宝扫一扫 
