原创投稿
  1. 创想鸟首页
  2. 用户投稿

Python爬虫抓取智联招聘（基础版）

程序猿 • • 用户投稿

运行平台： Windows
Python版本： Python3.6
IDE： Sublime Text
其他工具： Chrome浏览器

1、网页分析

1.1 分析请求地址

以北京海淀区的Python工程师为例进行网页分析。打开智联招聘首页，选择北京地区，在搜索框输入”Python工程师”，点击”搜工作”：

Python爬虫抓取智联招聘（基础版）

接下来跳转到搜索结果页面，按”F12″打开开发者工具，然后在”热门地区”栏选择”海淀”，我们看一下地址栏：

立即学习“Python免费学习笔记（深入）”；

Python爬虫抓取智联招聘（基础版）

由地址栏后半部分

searchresult.ashx?jl=北京&kw=python工程师&sm=0&isfilter=1&p=1&re=2005

可以看出，我们需要自己构造地址。接下来要对开发者工具进行分析，按照如图所示步骤找到我们需要的数据：Request Headers和Query String Parameters：

Python爬虫抓取智联招聘（基础版）

构造请求地址：

paras = {    'jl': '北京',                # 搜索城市    'kw': 'python工程师',        # 搜索关键词    'isadv': 0,                    # 是否打开更详细搜索选项    'isfilter': 1,                # 是否对结果过滤    'p': 1,                        # 页数    're': 2005                     # region的缩写，地区，2005代表海淀}url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?' + urlencode(paras)

请求头：

headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',    'Host': 'sou.zhaopin.com',    'Referer': 'https://www.zhaopin.com/',    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',    'Accept-Encoding': 'gzip, deflate, br',    'Accept-Language': 'zh-CN,zh;q=0.9'}

1.2 分析有用数据

接下来我们要分析有用数据，从搜索结果中我们需要的数据有：职位名称、公司名称、公司详情页地址、职位月薪：

Python爬虫抓取智联招聘（基础版）

通过网页元素定位找到这几项在HTML文件中的位置，如下图所示：

Python爬虫抓取智联招聘（基础版）

用正则表达式对这四项内容进行提取：

# 正则表达式进行解析pattern = re.compile('(.*?)a>.*?'        # 匹配职位信息                     '(.*?)a>.*?'     # 匹配公司网址和公司名称                     '(.*?)td>', re.S)                                # 匹配月薪# 匹配所有符合条件的内容items = re.findall(pattern, html)

注意：解析出来的部分职位名称带有标签，如下图所示：

Python爬虫抓取智联招聘（基础版）

那么在解析之后要对该数据进行处理剔除标签，用如下代码实现：

for item in items:    job_name = item[0]    job_name = job_name.replace('', '')    yield {        'job': job_name,        'website': item[1],        'company': item[2],        'salary': item[3]    }

2、写入文件

我们获取到的数据每个职位的信息项都相同，可以写到数据库中，但是本文选择了csv文件，以下为百度百科解释：

由于Python内置了csv文件操作的库函数，所以很方便：

import csv
def write_csv_headers(path, headers):'''写入表头'''with open(path, 'a', encoding='gb18030', newline='') as f:f_csv = csv.DictWriter(f, headers)f_csv.writeheader()
def write_csv_rows(path, headers, rows):'''写入行'''with open(path, 'a', encoding='gb18030', newline='') as f:f_csv = csv.DictWriter(f, headers)f_csv.writerows(rows)

3、进度显示

要想找到理想工作，一定要对更多的职位进行筛选，那么我们抓取的数据量一定很大，几十页、几百页甚至几千页，那么我们要掌握抓取进度心里才能更加踏实啊，所以要加入进度条显示功能。

本文选择tqdm进行进度显示，来看一下酷炫结果（图片来源网络）：

Python爬虫抓取智联招聘（基础版）

执行以下命令进行安装：pip install tqdm。

简单示例：

from tqdm import tqdmfrom time import sleep
for i in tqdm(range(1000)):sleep(0.01)

4、完整代码

以上就是Python爬虫抓取智联招聘（基础版）的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/163912.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

413.8K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
上一篇 2026年8月26日 04:49:35
DeepSeek联合清华大学发表论文 旨在提高AI模型效率
下一篇 2026年8月26日 04:53:18

相关推荐

  • 如何在MiniToolMovieMaker中编辑AI视频？免费AI视频剪辑的教程

    如何在MiniToolMovieMaker中编辑AI视频？免费AI视频剪辑的教程如何在MiniToolMovieMaker中编辑AI视频？免费AI视频剪辑的教程如何在MiniToolMovieMaker中编辑AI视频？免费AI视频剪辑的教程如何在MiniToolMovieMaker中编辑AI视频？免费AI视频剪辑的教程

    MiniTool MovieMaker虽无AI生成功能，但可高效编辑AI生成的MP4、MOV等格式视频或图片序列。通过导入素材后，利用其剪辑、过渡、滤镜、文字、音频处理等功能，实现AI片段的精剪、色彩统一、无缝衔接与风格化输出。支持主流视频、图片及音频格式，兼容性好，适合个人创作者进行AI内容后期整…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    500
  • VSCode如何调试JavaScript代码 VSCode调试功能的实战技巧 用户投稿

    VSCode如何调试JavaScript代码 VSCode调试功能的实战技巧

    要在vscode中调试javascript，首先需设置断点、配置launch.json文件、选择合适的调试环境并启动调试会话；2. launch.json至关重要，常见陷阱包括program路径错误、type类型不匹配、cwd设置不当、混淆launch与attach模式以及source map配置缺…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • Linux内核13-进程切换 用户投稿

    Linux内核13-进程切换

    进程切换，也称为任务切换、上下文切换或任务调度，本文将探讨linux内核中进程切换的实现。我们首先理解几个关键概念。 1.1 硬件上下文 每个进程都有自己的地址空间，但所有进程共享CPU寄存器。因此，在恢复进程执行前，内核必须确保挂起时的寄存器值被重新加载到CPU寄存器中。 这些需要加载到CPU寄存…

    程序猿的头像 程序猿
    2026年9月22日
    200

  • 如何修改MySQL的默认端口号？

    如何修改MySQL的默认端口号？如何修改MySQL的默认端口号？如何修改MySQL的默认端口号？如何修改MySQL的默认端口号？

    修改mysql默认端口号需编辑配置文件，核心步骤为：1.定位my.cnf或my.ini文件；2.在[mysqld]段落中修改或添加port参数；3.保存后重启mysql服务。更改端口主要出于避免冲突、提升安全性和适应网络策略考虑。连接时需在客户端工具或代码中指定新端口，如命令行加-p参数、编程语言连…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    1200
  • safari浏览器如何阻止网站访问我的运动和方向数据_safari浏览器阻止网站访问运动方向数据 用户投稿

    safari浏览器如何阻止网站访问我的运动和方向数据_safari浏览器阻止网站访问运动方向数据

    首先关闭Safari对网站的运动与方向传感器权限，进入设置- Safari -网站-运动与方向，将默认行为设为拒绝；其次可针对特定网站单独管理权限，阻止可疑站点访问传感器；最后启用无痕浏览模式以增强隐私保护，限制网页对硬件的持续访问。 如果您在使用 Safari 浏览器时发现某些网站试图获取您的设备…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • windows怎么查看系统稳定性历史记录_windows可靠性监视器使用方法 用户投稿

    windows怎么查看系统稳定性历史记录_windows可靠性监视器使用方法

    可通过控制面板、运行命令、搜索功能或事件查看器打开可靠性监视器，查看系统稳定性评分及崩溃记录。 如果您想了解Windows系统的运行状况和历史稳定性，可以通过内置的可靠性监视器来查看详细的系统事件和稳定性评分。该工具会记录应用程序崩溃、Windows故障、硬件驱动问题等信息，并以图表形式展示。 本文…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • 贝壳找房如何查看调价记录 用户投稿

    贝壳找房如何查看调价记录

    在房地产市场中，房价的起伏始终是人们关注的核心话题。对于准备购房或进行房产投资的人来说，掌握房屋价格的变化趋势显得尤为重要。作为国内知名的房产信息服务平台，贝壳找房提供了查看房源调价记录的功能，帮助用户更清晰地了解价格动态。 想要查看某套房源的调价记录，首先需要进入对应的房源详情页面。当你通过贝壳找…

    程序猿的头像 程序猿
    2026年9月22日
    000

  • 抖音短视频如何选择合适的BGM？音乐对流量影响有多大？

    抖音短视频如何选择合适的BGM？音乐对流量影响有多大？抖音短视频如何选择合适的BGM？音乐对流量影响有多大？抖音短视频如何选择合适的BGM？音乐对流量影响有多大？抖音短视频如何选择合适的BGM？音乐对流量影响有多大？

    选对bgm能显著提升抖音视频流量。bgm不仅烘托氛围，还影响算法推荐和用户停留；平台通过音乐判断视频类型与受众，节奏感强的音乐提高完播率，增强情绪共鸣促进互动；选音乐需结合内容调性、热门趋势与受众喜好，如搞笑类配明快音乐、美食类用温馨轻音乐，关注热榜与同类账号参考；常见误区包括音量过大、风格不符、盲…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    100
  • 京东外卖店铺能变更营业执照吗？京东外卖店铺能变更营业执照吗怎么办 用户投稿

    京东外卖店铺能变更营业执照吗？京东外卖店铺能变更营业执照吗怎么办

    京东外卖店铺变更经营主体需先确认资格并准备材料，如营业执照、法人身份证、品牌授权书等，确保店铺运营满一年且无重大违规；随后登录商家后台提交申请，填写新主体信息并上传文件；等待平台1-3个工作日审核，通过后进入7天公示期；公示无异议后，完成线下工商变更并更新银行账户信息，最后在后台上传新证照，待平台确…

    程序猿的头像 程序猿
    2026年9月22日
    400
  • laravel如何安全地在Blade中输出用户内容_Laravel Blade安全输出用户内容方法 用户投稿

    laravel如何安全地在Blade中输出用户内容_Laravel Blade安全输出用户内容方法

    使用{{}}自动转义防止XSS，输出HTML时需用Purifier过滤并配合{!! !!}，关键在于服务端预处理和始终不信任用户输入。 在 Laravel 的 Blade 模板中输出用户内容时，防止 XSS（跨站脚本攻击）是关键。Laravel 默认对 Blade 中的双大括号 {{ }} 语法进行…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • 喵趣漫画官网登录页面 喵趣漫画免费阅读全本漫画 用户投稿

    喵趣漫画官网登录页面 喵趣漫画免费阅读全本漫画

    喵趣漫画官网登录页面位于其官方网站https://www.miaoqumanhua.com/，用户可直接通过浏览器访问并登录账号。 喵趣漫画官网登录页面在哪里？这是不少网友都关注的，接下来由PHP小编为大家带来喵趣漫画免费阅读全本漫画的相关信息，感兴趣的网友一起随小编来瞧瞧吧！ https://ww…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • 一加Pro系列微信收款语音怎么开启？快速设置支付播报的方法 用户投稿

    一加Pro系列微信收款语音怎么开启？快速设置支付播报的方法

    首先检查微信内“收款小账本”开启语音播报功能，其次确保手机系统给予微信通知权限、关闭勿扰模式、媒体音量正常，并在电池设置中避免微信后台被限制，同时更新微信至最新版本；若需个性化，可通过系统通知渠道单独设置收款通知的声音与优先级，但无法更换播报音色；使用时注意公共场合隐私保护，务必核对屏幕金额以防误报…

    程序猿的头像 程序猿
    2026年9月22日
    100
  • QQ阅读最新版本_QQ阅读官网下载链接 用户投稿

    QQ阅读最新版本_QQ阅读官网下载链接

    QQ阅读最新版本官网下载链接是http://book.qq.com/，该平台提供海量正版小说资源，支持多格式电子书阅读，设有免费专区，并具备个性化设置、跨设备同步及互动社区等功能。 QQ阅读最新版本官网下载链接在哪里？这是不少网友都关注的，接下来由PHP小编为大家带来QQ阅读最新版本的相关信息，感兴…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • PHP匿名函数怎么用_PHP匿名函数使用场景分析 用户投稿

    PHP匿名函数怎么用_PHP匿名函数使用场景分析

    PHP匿名函数是无名函数，可作为回调或赋值给变量，常用在数组处理、事件回调、逻辑封装等场景，支持use引入外部变量及fn短语法，结合bindTo可访问对象私有成员。 PHP匿名函数，也叫闭包函数（Closure），是一种没有名称的函数，通常作为回调使用或赋值给变量。它在实际开发中非常灵活，尤其适合用…

    程序猿的头像 程序猿
    2026年9月22日
    100
  • 抖音专营店怎么添加直播号？怎么把新开的抖音号添加到专营店里 用户投稿

    抖音专营店怎么添加直播号？怎么把新开的抖音号添加到专营店里

    随着抖音平台社交属性不断增强，内容生态日益丰富，越来越多电商从业者开始在该平台上开展业务。其中，抖音专营店作为电商布局的重要一环，也吸引了大量商家入驻。那么，如何将直播号加入抖音专营店中，让直播成为店铺引流和销售的新工具呢？接下来的内容将为您详细介绍。 一、为什么要在抖音专营店中添加直播号 提升店铺…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • 中国联通正式获得开展 eSIM 手机运营服务商用试验的批复 用户投稿

    中国联通正式获得开展 eSIM 手机运营服务商用试验的批复

    感谢网友 会弹琴的九号、学士 的线索投递！ 10月13日，三大运营商官方微信号相继发布消息，宣告eSIM服务进入新阶段。其中，中国联通于当日上午10:00率先发布推文《抢约！联通eSIM来了！》，动作迅速，展现出强烈的市场积极性；中国移动在傍晚19:29发布《中国移动全面上线eSIM手机办理》；而中…

    程序猿的头像 程序猿
    2026年9月22日
    200

  • Meeseeks— 美团开源的模型指令遵循能力评测集

    Meeseeks— 美团开源的模型指令遵循能力评测集Meeseeks— 美团开源的模型指令遵循能力评测集Meeseeks— 美团开源的模型指令遵循能力评测集Meeseeks— 美团开源的模型指令遵循能力评测集

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ AGI-Eval评测社区 AI大模型评测社区 63 查看详情 Meeseeks是什么 meeseeks 是由美团 m17 团队推出的开源大模型评测基准，专注于评估模型在指令遵循方面的能力。该评测…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    200
  • win10无法ping通局域网电脑怎么办_win10局域网ping不通故障排查教程 用户投稿

    win10无法ping通局域网电脑怎么办_win10局域网ping不通故障排查教程

    首先检查本机网络协议栈与IP配置，再依次排查网关连通性；若正常，则需启用网络发现、配置防火墙ICMP规则或放行文件共享服务，必要时可临时关闭防火墙测试。 如果您尝试在局域网内使用ping命令测试与另一台电脑的连接，但收到“请求超时”或“无法访问目标主机”的提示，则可能是由于网络配置或系统安全设置导致…

    程序猿的头像 程序猿
    2026年9月22日
    000

  • mysql怎么使用全文索引 mysql创建全文索引的配置方法

    mysql怎么使用全文索引 mysql创建全文索引的配置方法mysql怎么使用全文索引 mysql创建全文索引的配置方法mysql怎么使用全文索引 mysql创建全文索引的配置方法mysql怎么使用全文索引 mysql创建全文索引的配置方法

    mysql使用全文索引的核心是让数据库像搜索引擎一样理解并高效检索文本内容。1. 创建全文索引：可在建表时或之后通过alter table语句为char、varchar或text字段添加fulltext索引；2. 使用match against查询：支持自然语言模式（自动过滤停用词并按相关性排序）和…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    100

  • VSCode如何通过调试变量监视列表批量追踪数据变化 VSCode变量监视列表批量追踪的新颖技巧​

    VSCode如何通过调试变量监视列表批量追踪数据变化 VSCode变量监视列表批量追踪的新颖技巧​VSCode如何通过调试变量监视列表批量追踪数据变化 VSCode变量监视列表批量追踪的新颖技巧​VSCode如何通过调试变量监视列表批量追踪数据变化 VSCode变量监视列表批量追踪的新颖技巧​VSCode如何通过调试变量监视列表批量追踪数据变化 VSCode变量监视列表批量追踪的新颖技巧​

    vscode中高效批量追踪数据变化的关键是将监视列表用作表达式求值器，而非仅添加单一变量；2. 可在监视列表中添加复杂对象路径（如user.profile.address.city）、计算表达式（如(a + b) * c）、函数调用（如calculatetotal(items)）或条件判断（如myv…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    000

发表回复

登录后才能评论
关注微信