投稿获客
广告
广告 广告 广告
广告 广告 广告 广告
广告 █ 推荐【菠萝云】香港16G内存99元 【CDNCloud】极速、安全可靠的加速体验 广告位联系QQ：253000106 【UStat】免费网站统计平台 SSL证书低至2折 单域名36元起 免费测试！海总一手APK免杀处理 广告位联系QQ：253000106 CDN 服务器 反炸 劫持 域名屏蔽 【UStat】专业网站统计平台 域名注册：海量域名快速注册 安卓免杀 谷歌报毒 封装 苹果签名 广告位联系QQ：253000106 【域名被劫持污染如何处理】 安卓免杀★超级签★封装★谷歌屏蔽 广告位联系QQ：253000106

*本站广告为第三方投放，如发生纠纷，请向本站索取第三方联系方式沟通

  1. 创想鸟首页
  2. 系统教程

Python爬虫抓取智联招聘（基础版）

程序猿 • • 系统教程 • 阅读 0

运行平台： Windows
Python版本： Python3.6
IDE： Sublime Text
其他工具： Chrome浏览器

1、网页分析

1.1 分析请求地址

以北京海淀区的Python工程师为例进行网页分析。打开智联招聘首页，选择北京地区，在搜索框输入”Python工程师”，点击”搜工作”：

Python爬虫抓取智联招聘（基础版）

接下来跳转到搜索结果页面，按”F12″打开开发者工具，然后在”热门地区”栏选择”海淀”，我们看一下地址栏：

立即学习“Python免费学习笔记（深入）”；

Python爬虫抓取智联招聘（基础版）

由地址栏后半部分

searchresult.ashx?jl=北京&kw=python工程师&sm=0&isfilter=1&p=1&re=2005

可以看出，我们需要自己构造地址。接下来要对开发者工具进行分析，按照如图所示步骤找到我们需要的数据：Request Headers和Query String Parameters：

Python爬虫抓取智联招聘（基础版）

构造请求地址：

paras = {    'jl': '北京',                # 搜索城市    'kw': 'python工程师',        # 搜索关键词    'isadv': 0,                    # 是否打开更详细搜索选项    'isfilter': 1,                # 是否对结果过滤    'p': 1,                        # 页数    're': 2005                     # region的缩写，地区，2005代表海淀}url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?' + urlencode(paras)

请求头：

headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',    'Host': 'sou.zhaopin.com',    'Referer': 'https://www.zhaopin.com/',    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',    'Accept-Encoding': 'gzip, deflate, br',    'Accept-Language': 'zh-CN,zh;q=0.9'}

1.2 分析有用数据

接下来我们要分析有用数据，从搜索结果中我们需要的数据有：职位名称、公司名称、公司详情页地址、职位月薪：

Python爬虫抓取智联招聘（基础版）

通过网页元素定位找到这几项在HTML文件中的位置，如下图所示：

Python爬虫抓取智联招聘（基础版）

用正则表达式对这四项内容进行提取：

# 正则表达式进行解析pattern = re.compile('(.*?)a>.*?'        # 匹配职位信息                     '(.*?)a>.*?'     # 匹配公司网址和公司名称                     '(.*?)td>', re.S)                                # 匹配月薪# 匹配所有符合条件的内容items = re.findall(pattern, html)

注意：解析出来的部分职位名称带有标签，如下图所示：

Python爬虫抓取智联招聘（基础版）

那么在解析之后要对该数据进行处理剔除标签，用如下代码实现：

for item in items:    job_name = item[0]    job_name = job_name.replace('', '')    yield {        'job': job_name,        'website': item[1],        'company': item[2],        'salary': item[3]    }

2、写入文件

我们获取到的数据每个职位的信息项都相同，可以写到数据库中，但是本文选择了csv文件，以下为百度百科解释：

由于Python内置了csv文件操作的库函数，所以很方便：

import csv
def write_csv_headers(path, headers):'''写入表头'''with open(path, 'a', encoding='gb18030', newline='') as f:f_csv = csv.DictWriter(f, headers)f_csv.writeheader()
def write_csv_rows(path, headers, rows):'''写入行'''with open(path, 'a', encoding='gb18030', newline='') as f:f_csv = csv.DictWriter(f, headers)f_csv.writerows(rows)

3、进度显示

要想找到理想工作，一定要对更多的职位进行筛选，那么我们抓取的数据量一定很大，几十页、几百页甚至几千页，那么我们要掌握抓取进度心里才能更加踏实啊，所以要加入进度条显示功能。

本文选择tqdm进行进度显示，来看一下酷炫结果（图片来源网络）：

Python爬虫抓取智联招聘（基础版）

执行以下命令进行安装：pip install tqdm。

简单示例：

from tqdm import tqdmfrom time import sleep
for i in tqdm(range(1000)):sleep(0.01)

4、完整代码

以上就是Python爬虫抓取智联招聘（基础版）的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/163912.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

414.1K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
上一篇 2025年10月31日 22:03:33
下一篇 2025年10月31日 22:08:50

相关推荐

  • 如何解决本地图片在使用 mask JS 库时出现的跨域错误？ 好文分享

    如何解决本地图片在使用 mask JS 库时出现的跨域错误？

    如何跨越localhost使用本地图片？ 问题: 在本地使用mask js库时，引入本地图片会报跨域错误。 解决方案: 要解决此问题，需要使用本地服务器启动文件，以http或https协议访问图片，而不是使用file://协议。例如： python -m http.server 8000 然后，可以…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • CSS元素设置em和transition后，为何载入页面无放大效果？ 好文分享

    CSS元素设置em和transition后，为何载入页面无放大效果？

    css元素设置em和transition后，为何载入无放大效果 很多开发者在设置了em和transition后，却发现元素载入页面时无放大效果。本文将解答这一问题。 原问题：在视频演示中，将元素设置如下，载入页面会有放大效果。然而，在个人尝试中，并未出现该效果。这是由于macos和windows系统…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • 如何模拟Windows 10 设置界面中的鼠标悬浮放大效果？ 好文分享

    如何模拟Windows 10 设置界面中的鼠标悬浮放大效果？

    win10设置界面的鼠标移动显示周边的样式（探照灯效果）的实现方式 在windows设置界面的鼠标悬浮效果中，光标周围会显示一个放大区域。在前端开发中，可以通过多种方式实现类似的效果。 使用css 使用css的transform和box-shadow属性。通过将transform: scale(1.…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • 如何用HTML/JS实现Windows 10设置界面鼠标移动探照灯效果？ 好文分享

    如何用HTML/JS实现Windows 10设置界面鼠标移动探照灯效果？

    Win10设置界面中的鼠标移动探照灯效果实现指南 想要在前端开发中实现类似于Windows 10设置界面的鼠标移动探照灯效果，有两种解决方案：CSS 和 HTML/JS 组合。 CSS 实现 不幸的是，仅使用CSS无法完全实现该效果。 立即学习“前端免费学习笔记（深入）”； HTML/JS 实现 要…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何用前端实现 Windows 10 设置界面的鼠标移动探照灯效果？ 好文分享

    如何用前端实现 Windows 10 设置界面的鼠标移动探照灯效果？

    如何在前端实现 Windows 10 设置界面中的鼠标移动探照灯效果 想要在前端开发中实现 Windows 10 设置界面中类似的鼠标移动探照灯效果，可以通过以下途径： CSS 解决方案 DEMO 1: Windows 10 网格悬停效果：https://codepen.io/tr4553r7/pe…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何用前端技术实现Windows 10 设置界面鼠标移动时的探照灯效果？ 好文分享

    如何用前端技术实现Windows 10 设置界面鼠标移动时的探照灯效果？

    探索在前端中实现 Windows 10 设置界面鼠标移动时的探照灯效果 在前端开发中，鼠标悬停在元素上时需要呈现类似于 Windows 10 设置界面所展示的探照灯效果，这其中涉及到了元素外围显示光圈效果的技术实现。 CSS 实现 虽然 CSS 无法直接实现探照灯效果，但可以通过以下技巧营造出类似效…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 使用 Mask 导入本地图片时，如何解决跨域问题？ 好文分享

    使用 Mask 导入本地图片时，如何解决跨域问题？

    跨域疑难：如何解决 mask 引入本地图片产生的跨域问题？ 在使用 mask 导入本地图片时，你可能会遇到令人沮丧的跨域错误。为什么会出现跨域问题呢？让我们深入了解一下： mask 框架假设你以 http(s) 协议加载你的 html 文件，而当使用 file:// 协议打开本地文件时，就会产生跨域…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • 苹果浏览器网页背景图色差问题：如何解决背景图不一致？ 好文分享

    苹果浏览器网页背景图色差问题：如何解决背景图不一致？

    网页背景图在苹果浏览器上出现色差 一位用户在使用苹果浏览器访问网页时遇到一个问题，网页上方的背景图比底部的背景图明显更亮。 这个问题的原因很可能是背景图没有正确配置 background-size 属性。在 windows 浏览器中，背景图可能可以自动填满整个容器，但在苹果浏览器中可能需要显式设置 …

    程序猿的头像 程序猿
    2025年12月24日
    400
  • 苹果浏览器网页背景图像为何色差？ 好文分享

    苹果浏览器网页背景图像为何色差？

    网页背景图像在苹果浏览器的色差问题 在不同浏览器中，网站的背景图像有时会出现色差。例如，在 Windows 浏览器中显示正常的上层背景图，在苹果浏览器中却比下层背景图更亮。 问题原因 出现此问题的原因可能是背景图像未正确设置 background-size 属性。 解决方案 为确保背景图像在不同浏览…

    程序猿的头像 程序猿
    2025年12月24日
    500
  • 苹果电脑浏览器背景图亮度差异：为什么网页上下部背景图色差明显？ 好文分享

    苹果电脑浏览器背景图亮度差异：为什么网页上下部背景图色差明显？

    背景图在苹果电脑浏览器上亮度差异 问题描述： 在网页设计中，希望上部元素的背景图与页面底部的背景图完全对齐。而在 Windows 中使用浏览器时，该效果可以正常实现。然而，在苹果电脑的浏览器中却出现了明显的色差。 原因分析： 如果您已经排除屏幕分辨率差异的可能性，那么很可能是背景图的 backgro…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 正则表达式在文本验证中的常见问题有哪些？ 好文分享

    正则表达式在文本验证中的常见问题有哪些？

    正则表达式助力文本输入验证 在文本输入框的验证中，经常遇到需要限定输入内容的情况。例如，输入框只能输入整数，第一位可以为负号。对于不会使用正则表达式的人来说，这可能是个难题。下面我们将提供三种正则表达式，分别满足不同的验证要求。 1. 可选负号，任意数量数字 如果输入框中允许第一位为负号，后面可输入…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 如何在 VS Code 中解决折叠代码复制问题？ 好文分享

    如何在 VS Code 中解决折叠代码复制问题？

    解决 VS Code 折叠代码复制问题 在 VS Code 中使用折叠功能可以帮助组织长代码，但使用复制功能时，可能会遇到只复制可见部分的问题。以下是如何解决此问题： 当代码被折叠时，可以使用以下简单操作复制整个折叠代码： 按下 Ctrl + C (Windows/Linux) 或 Cmd + C …

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 我在学习编程的第一周学到的工具 好文分享

    我在学习编程的第一周学到的工具

    作为一个刚刚完成中学教育的女孩和一个精通技术并热衷于解决问题的人，几周前我开始了我的编程之旅。我的名字是OKESANJO FATHIA OPEYEMI。我很高兴能分享我在编码世界中的经验和发现。拥有计算机科学背景的我一直对编程提供的无限可能性着迷。在这篇文章中，我将反思我在学习编程的第一周中获得的关…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 为什么多年的经验让我选择全栈而不是平均栈 好文分享

    为什么多年的经验让我选择全栈而不是平均栈

    在全栈和平均栈开发方面工作了 6 年多，我可以告诉您，虽然这两种方法都是流行且有效的方法，但它们满足不同的需求，并且有自己的优点和缺点。这两个堆栈都可以帮助您创建 Web 应用程序，但它们的实现方式却截然不同。如果您在两者之间难以选择，我希望我在两者之间的经验能给您一些有用的见解。 在这篇文章中，我…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 姜戈顺风 好文分享

    姜戈顺风

    本教程演示如何在新项目中从头开始配置 django 和 tailwindcss。 django 设置 创建一个名为 .venv 的新虚拟环境。 # windows$ python -m venv .venv$ .venvscriptsactivate.ps1(.venv) $# macos/linu…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 花 $o 学习这些编程语言或免费 好文分享

    花 $o 学习这些编程语言或免费

    → Python → JavaScript → Java → C# → 红宝石 → 斯威夫特 → 科特林 → C++ → PHP → 出发 → R → 打字稿 []https://x.com/e_opore/status/1811567830594388315?t=_j4nncuiy2wfbm7ic…

    程序猿的头像 程序猿
    2025年12月24日
    000
  • 网页设计css样式表怎么做 好文分享

    网页设计css样式表怎么做

    CSS 网页设计指南：创建 CSS 文件（.css）。链接 CSS 文件到 HTML 文档（ 标签）。编写 CSS 规则：选择器：指定元素。声明块：包含样式属性和值（如文本颜色、布局）。设置样式属性：控制元素外观（如字体、颜色、边框）。管理优先级：遵循特殊性和来源顺序。 如何使用 CSS 样式表进行…

    程序猿的头像 程序猿
    2025年12月24日
    300
  • css网页设计用什么软件 好文分享

    css网页设计用什么软件

    最佳 CSS 网页设计软件：Visual Studio Code：语法高亮、代码完成、调试工具和 Git 集成。Sublime Text：高度可定制，支持 CSS 和多种编程语言。Atom：开源、现代化界面，提供扩展库和类似 Visual Studio Code 的功能。Brackets：实时预览，…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • 学会从头开始学习CSS，掌握制作基本网页框架的技巧 好文分享

    学会从头开始学习CSS，掌握制作基本网页框架的技巧

    从零开始学习CSS，掌握网页基本框架制作技巧 前言： 在现今互联网时代，网页设计和开发是一个非常重要的技能。而学习CSS（层叠样式表）是掌握网页设计的关键之一。CSS不仅可以为网页添加样式和布局，还可以为用户呈现独特且具有吸引力的页面效果。在本文中，我将为您介绍一些基本的CSS知识，以及一些常用的代…

    程序猿的头像 程序猿
    2025年12月24日
    200
  • 揭秘Web标准涵盖的语言：了解网页开发必备的语言范围 好文分享

    揭秘Web标准涵盖的语言：了解网页开发必备的语言范围

    在当今数字时代，互联网成为了人们生活中不可或缺的一部分。作为互联网的基本构成单位，网页承载着我们获取和分享信息的重要任务。而网页开发作为一门独特的技术，离不开一些必备的语言。本文将揭秘Web标准涵盖的语言，让我们一起了解网页开发所需的语言范围。 首先，HTML（HyperText Markup La…

    程序猿的头像 程序猿
    2025年12月24日
    000

发表回复

登录后才能评论
关注微信