本文介绍了如何使用Python的requests和re模块，编写一个网络爬虫来递归地提取网站上的所有链接。通过示例代码，详细讲解了爬虫的实现思路、关键步骤和注意事项，并提供了优化后的代码示例，避免无限循环，提高爬取效率。
网络爬虫是一种自动浏览网页并提取信息的程序。在Python中，requests库常用于发送HTTP请求获取网页内容，re模块则用于使用正则表达式从文本中提取所需信息。本文将介绍如何结合这两个库，编写一个递归爬虫，提取指定网站的所有链接。
爬虫实现思路
发送HTTP请求： 使用requests.get()方法向目标URL发送GET请求，获取网页的HTML内容。提取链接： 使用re.findall()方法，通过正则表达式匹配HTML内容中的href属性，提取所有链接。处理链接： 将提取到的相对链接转换为绝对链接，并去除锚点（#后面的部分）。递归爬取： 对提取到的每个链接，递归调用爬取函数，继续提取链接。避免无限循环： 使用集合记录已访问过的链接，避免重复爬取，防止无限循环。限制爬取深度： 设置最大爬取深度，防止爬虫爬取过多的页面。
关键代码解析
以下是优化后的代码示例，并附带详细注释：
import requestsimport refrom urllib.parse import urljoin, urlparsedef extract_links_from(url): """ 从指定URL的网页中提取所有链接。 Args: url: 要提取链接的URL。 Returns: 包含所有链接的列表。如果请求失败，返回空列表。 """ try: response = requests.get(url) response.raise_for_status() # 检查HTTP状态码，如果不是200，则抛出异常 except requests.exceptions.RequestException as e: print(f"Error fetching {url}: {e}") return [] content = str(response.content) links = re.findall(r'(?:href=")(.*?)"', content, re.MULTILINE) return linksdef crawl(url, domain, visited=set(), max_depth=5): """ 递归地爬取指定网站的所有链接。 Args: url: 要开始爬取的URL。 domain: 目标网站的域名。 visited: 已经访问过的URL集合，用于避免无限循环。 max_depth: 最大爬取深度。 Returns: 包含所有爬取到的链接的列表。 """ if max_depth == 0 or url in visited: return [] visited.add(url) href_links = extract_links_from(url) links_list = [] for link in href_links: link = urljoin(url, link.split("#")[0]) # 将相对链接转换为绝对链接，并去除锚点 parsed_link = urlparse(link) if parsed_link.netloc == domain and link not in visited: links_list.append(link) links_list.extend(crawl(link, domain, visited, max_depth - 1)) # 递归调用crawl函数 return links_list# 示例用法target_url = "https://www.free-power-point-templates.com/"parsed_url = urlparse(target_url)domain = parsed_url.netlocresult = crawl(target_url, domain)print(result)
代码解释：
察言观数AskTable
企业级AI数据表格智能体平台
33 查看详情
立即学习“Python免费学习笔记（深入）”；
extract_links_from(url)函数：使用requests.get(url)发送GET请求，获取网页内容。使用response.raise_for_status()检查HTTP状态码，确保请求成功。如果请求失败，会抛出异常，防止程序崩溃。使用re.findall(r'(?:href=”)(.*?)”‘, content, re.MULTILINE)通过正则表达式提取href属性中的链接。正则表达式r'(?:href=”)(.*?)”‘用于匹配href=”和”之间的内容，(?:…)表示非捕获分组，(.*?)表示匹配任意字符，直到遇到下一个”。crawl(url, domain, visited=set(), max_depth=5)函数：使用if max_depth == 0 or url in visited:作为递归终止条件，避免无限循环和超出最大深度。使用visited.add(url)将当前URL添加到已访问集合中。使用urljoin(url, link.split(“#”)[0])将提取到的相对链接转换为绝对链接，并去除锚点。使用urlparse(link).netloc == domain判断链接是否属于目标域名。使用links_list.extend(crawl(link, domain, visited, max_depth – 1))递归调用crawl函数，爬取新的链接。
注意事项
遵守Robots协议： 在爬取网站之前，应该先查看网站的robots.txt文件，了解网站的爬取规则，避免爬取禁止访问的页面。设置User-Agent： 在发送HTTP请求时，应该设置User-Agent，模拟浏览器行为，避免被网站识别为爬虫。控制爬取频率： 爬取速度过快可能会给网站服务器带来压力，甚至导致IP被封禁。应该控制爬取频率，设置合理的延迟时间。异常处理： 在爬取过程中，可能会遇到各种异常，例如网络连接错误、页面不存在等。应该使用try-except语句捕获这些异常，并进行相应的处理。数据存储： 将爬取到的数据存储到文件或数据库中，方便后续分析和使用。避免无限循环： 这是最重要的一点，一定要使用visited集合记录已访问的链接，并设置最大爬取深度，防止爬虫陷入无限循环。
总结
本文介绍了使用Python的requests和re模块编写递归爬虫的方法。通过示例代码，详细讲解了爬虫的实现思路、关键步骤和注意事项。在实际应用中，需要根据具体情况进行调整和优化，例如添加代理IP、使用多线程/多进程提高爬取效率等。记住，编写爬虫时一定要遵守网站的规则，尊重网站的权益。
以上就是Python爬虫：使用Requests和Re模块递归提取网站所有链接的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/844562.html
微信扫一扫 
支付宝扫一扫 
