其实我也算是入门爬虫，目前也还有很多东西没有吃透，比如很多人入门选择使用的正则式我就没记清楚，对于很多反扒也并不算特别深入。但这并不影响我学习爬虫的信心和兴趣。。。没办法，必须要学啊。很多数据我不能跪着求别人给，因为别人不会给。。。被逼着学习爬虫，希望我的学习能有好结果吧
import json
import re
import requests
from requests import RequestException
url = “https://movie.douban.com/cinema/nowplaying/shanghai/”
###headers={‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36’}
response = requests.get(url,headers=headers)
html = response.text
pattern = re.compile(‘
.*?
‘, re.S)
items = re.findall(pattern, html)
for item in items:
a={‘title’: item[0],’score’: item[1],’image’: item[2],}
print(a)
这样写要报错：
所以：
虽然例子简单，但是对于新手来说还有很多不友好的地方，我在学习的时候发现程序报错。
仔细检查代码之后发现：
requests.get(url)得到的结果是【418】，是被网站反扒了。需要加一个请求的头
headers={‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36’} —随便百度的，你可以用自己的电脑和浏览器
最后：
url = “https://movie.douban.com/cinema/nowplaying/shanghai/”
headers={‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36’}
response = requests.get(url,headers=headers)
html = response.text
pattern = re.compile(‘
.*?‘, re.S)
items = re.findall(pattern, html)
for item in items:
a={‘title’: item[0],’score’: item[1],’image’: item[2],}
print(a)
以上就是入门爬虫，不讲道理，只摆问题的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/170174.html
微信扫一扫 
支付宝扫一扫 
