scrapy爬虫问题
在本例中，scrapy爬虫似乎导致了如下错误：
indexerror: tuple index out of range
问题剖析
在 zhihu.py 文件中一行 20 的 start_requests 方法中，有一个 request 对象使用 follows_url url 创建：
yield request(self.follows_url.format(user=self.start_user, include=self.follows_query, offset=0, limit=20), callback=self.parse_follows)
根据错误信息，此 request 对象似乎尝试访问超出范围的 tuple 索引。
解决方法
检查 follows_url 中是否存在“用户”参数。用户参数应为花括号内第一个参数，但在此例中似乎缺少。
正确的 follows_url 应如下所示：
follows_url = 'https://www.zhihu.com/api/v4/members/{user}/followees?includ={include}&offset={offset}&limit={limit}'
确保在创建 request 对象之前，user 参数已正确设置。对 follows_url 的格式化也需要进行相应调整。
此外，pycharm 中出现的“overrides method in spider”消息可能是因为 zhihuspider 类中存在同名方法的重写。从父类 spider 继承的方法应正确设置，并且在重写的自定义方法中，你需要明确指定 @overrides 装饰器。
以上就是Scrapy爬虫报错“IndexError: tuple index out of range”：如何解决 follows_url 的格式化问题？的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1351202.html
微信扫一扫 
支付宝扫一扫 
