python爬虫如何获取带有超链接的文本字段
在网络抓取中，有时需要获取带有超链接的文本字段。但由于网页结构的特殊性，标准的xpath路径可能无法获取这些字段。本文将探讨如何修改代码以成功获取带有超链接的文本信息。
问题详情
如下例所示，一个网页中包含带有超链接的文本内容“绿色发展”。标准的xpath路径仅能获取到“也是”之前的文本内容，而无法获取“绿色发展”这四个字。
立即学习“Python免费学习笔记（深入）”；
解决方案
修改xpath路径
将xpath路径修改为获取所有
标签下的所有节点（包括文本和标签）：
content = html.xpath('//div[@class="f14 l24 news_content mt25 zoom"]/p//node()')
处理内容
在处理获取到的内容时，需要区分文本节点和超链接标签。可以使用isinstance()函数进行判别：
for node in content: if isinstance(node, etree._ElementUnicodeResult): content_deal += node.strip() + "n" elif isinstance(node, etree._Element) and node.tag == 'a': content_deal += node.text.strip() + "n"
通过上述修改，代码就可以成功获取带有超链接的文本信息，从而全面获取网页正文。
以上就是如何使用Python爬虫获取带有超链接的文本字段？的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1353218.html
微信扫一扫 
支付宝扫一扫 
