scrapy crawlspider 中的 deny 设置为何无效
问题中提到的 deny 设置无效是因为 deny 参数的值没有采用正则表达式。
在 scrapy 的 crawlspider 中，deny 参数用于指定不应被爬取的 url 模式。如果 deny 参数没有使用正则表达式，那么它只能够匹配完全相等的 url。
因此，如果希望 deny 参数能够匹配包含特定字符串的 url，就需要使用正则表达式。例如，如果要拒绝包含 “guba” 字符串的 url，可以将 deny 参数设置为以下正则表达式：
deny=(r'.*guba.*',)
以上就是Scrapy CrawlSpider 中 deny 设置为何无效？的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1351288.html
微信扫一扫 
支付宝扫一扫 
