使用代理IP可避免爬虫IP被封，常见方法包括：requests库通过proxies参数设置；urllib模块配置ProxyHandler；Selenium在ChromeOptions中添加代理；建议轮换多个代理并检测有效性，配合请求频率控制与User-Agent切换提升效果。
在使用Python爬虫抓取网页数据时，频繁请求同一目标网站容易导致IP被封禁。为避免这一问题，可以通过设置代理IP来隐藏真实IP地址，降低被封风险。以下是几种常见的设置代理IP的方法。
使用requests库设置代理IP
requests 是Python中最常用的HTTP库，支持通过参数直接添加代理。
示例代码：
import requestsproxies = { 'http': 'http://123.45.67.89:8080', 'https': 'https://123.45.67.89:8080'}url = 'http://httpbin.org/ip'response = requests.get(url, proxies=proxies, timeout=10)print(response.json())
注意：确保代理IP格式正确，协议类型（http/https）与请求匹配。
使用urllib设置代理
Python内置的 urllib 模块也可以配置代理，适合不依赖第三方库的场景。
立即学习“Python免费学习笔记（深入）”；
示例代码：
import urllib.requestproxy_handler = urllib.request.ProxyHandler({ 'http': 'http://123.45.67.89:8080', 'https': 'https://123.45.67.89:8080'})opener = urllib.request.build_opener(proxy_handler)urllib.request.install_opener(opener)response = urllib.request.urlopen('http://httpbin.org/ip')print(response.read().decode())
使用Selenium配置代理IP
对于需要渲染JavaScript的页面，可使用 Selenium 结合浏览器驱动设置代理。
示例代码（Chrome）：
from selenium import webdriveroptions = webdriver.ChromeOptions()options.add_argument('--proxy-server=http://123.45.67.89:8080')driver = webdriver.Chrome(options=options)driver.get('http://httpbin.org/ip')print(driver.page_source)driver.quit()
注意：某些浏览器扩展或认证类代理可能需要更复杂的配置。
轮换代理IP防止被封
单一代理IP仍可能被识别和封禁，建议使用多个代理IP轮换请求。
实现思路：准备一个可用代理IP列表 每次请求随机选择一个代理 检测代理有效性，剔除失效IP简单轮换示例：
import requestsimport randomproxy_list = [ 'http://ip1:port', 'http://ip2:port', 'http://ip3:port']url = 'http://httpbin.org/ip'for _ in range(3): proxy = random.choice(proxy_list) try: res = requests.get(url, proxies={'http': proxy, 'https': proxy}, timeout=5) print(f"Success via {proxy}: {res.json()}") except: print(f"Failed via {proxy}")
基本上就这些。关键是选择稳定代理源，并合理控制请求频率，配合User-Agent切换效果更好。不复杂但容易忽略细节。
以上就是Python爬虫怎样设置代理IP_Python爬虫使用代理IP防止封禁的设置方法的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1380994.html
微信扫一扫 
支付宝扫一扫 
