使用Scrapy和XPath提取HTML片段
本文介绍如何在Scrapy框架中，利用XPath表达式完整提取指定div标签及其所有子元素的HTML内容，包括标签本身。 问题在于，需要提取特定div标签下的所有内容，但string(.)方法只能获取纯文本，而直接选择父元素又会包含完整的起始和结束标签。
例如，以下HTML片段：
目标是提取包含所有HTML标签的内容，预期结果：
'这是文本aaaa
立即学习“前端免费学习笔记（深入）”；
这是文本2
这是文本3'
string(.)方法不适用，因为它只返回文本内容；直接使用XPath选择器//div[@class="contson"]也不理想，因为它返回整个div标签。
解决方案：使用node()函数。 node()函数可以获取指定元素下的所有子节点，包括文本节点和元素节点。 因此，可以使用以下XPath表达式：
//div[@class="contson"]/node()
此表达式选择class属性为”contson”的div元素下的所有子节点。 extract()方法将结果提取为一个列表。 由于extract()返回列表，需要使用"".join(xx)将列表元素连接成字符串，其中xx代表//div[@class="contson"]/node().extract()的结果。 这样即可得到包含所有HTML标签的目标字符串。
以上就是Scrapy中如何用XPath完整提取div标签下的所有HTML内容？的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1357913.html
微信扫一扫 
支付宝扫一扫 
