原创投稿
  1. 创想鸟首页
  2. 用户投稿

Python进阶：高效爬取NBA选秀体测数据

程序猿 • • 用户投稿

python进阶：高效爬取nba选秀体测数据

本教程旨在解决从NBA官网动态页面爬取选秀体测数据时遇到的挑战。针对传统HTML解析工具难以获取JavaScript动态加载内容的问题，文章将深入探讨如何通过分析网络请求，直接调用NBA官方API接口来获取结构化的JSON数据，并利用`pandas`库将其高效转换为易于处理的数据帧，从而实现稳定且高效的数据采集。

1. 动态网页爬取的挑战与传统方法的局限

在尝试从如NBA官网这类现代网站上爬取数据时，开发者经常会遇到一个常见问题：即使页面在浏览器中正常显示表格数据，使用requests和BeautifulSoup等工具直接请求页面HTML内容时，却无法找到目标数据。这通常是因为这些数据并非直接嵌入在初始HTML中，而是通过JavaScript在页面加载完成后异步从后端API获取并渲染到页面上的。

例如，对于NBA选秀体测数据页面（https://www.nba.com/stats/draft/combine-anthro），如果直接使用BeautifulSoup去查找

标签，很可能一无所获。这是因为页面上的数据表格是在浏览器端执行JavaScript代码后，通过AJAX请求从一个独立的API接口获取JSON数据，然后动态构建出来的。

2. 解决方案：识别并调用后端API

要解决这类问题，最有效的方法是绕过前端渲染过程，直接与后端数据源进行交互。这通常涉及到以下步骤：

立即学习“Python免费学习笔记（深入）”；

检查网络请求： 使用浏览器开发者工具（通常按F12打开），切换到“Network”（网络）选项卡。刷新页面，观察在数据加载过程中发出的XHR/Fetch请求。定位数据接口： 筛选这些请求，查找返回JSON数据且包含目标数据的请求。这些请求的URL通常会包含“stats”、“api”等关键词。分析请求参数与响应结构： 仔细查看该请求的URL、请求方法（GET/POST）、请求头（Headers）和请求体（Payload/Params）。同时，分析其JSON响应的结构，以了解数据是如何组织的。

对于NBA选秀体测数据，通过开发者工具分析发现，页面数据实际上来源于一个名为draftcombineplayeranthro的API接口。

3. 实现数据爬取

一旦确定了API接口及其调用方式，我们就可以使用Python的requests库来模拟浏览器请求，直接获取JSON数据。

3.1 导入所需库

首先，我们需要导入requests库来发送HTTP请求，以及pandas库来处理和组织获取到的数据。

易企秀 易企秀

易企秀，一体化创意设计营销平台。超100万模板1键套用3分钟制作，随时随地完成创意设计营销。

易企秀 44 查看详情 易企秀 

import requestsimport pandas as pd

3.2 定义API接口与请求参数

NBA的统计API通常需要特定的参数来过滤数据，例如LeagueID和SeasonYear。同时，为了模拟真实浏览器行为，避免被服务器识别为爬虫并拒绝访问，我们还需要设置一些HTTP请求头，如Referer和User-Agent。

# API接口URLurl = "https://stats.nba.com/stats/draftcombineplayeranthro"# 请求参数，用于指定联赛ID和赛季年份# LeagueID: "00" 通常代表NBA# SeasonYear: 例如 "2022-23" 表示2022-2023赛季payload = {    "LeagueID": "00",    "SeasonYear": "2022-23" # 根据需要修改赛季年份}# 请求头，模拟浏览器行为headers = {    "Referer": "https://www.nba.com/", # 模拟请求来源    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" # 模拟用户代理}

注意： User-Agent字符串应尽可能使用最新的浏览器版本，可以从你的浏览器开发者工具中复制。

3.3 发送请求并解析JSON数据

使用requests.get()方法发送GET请求，并通过params参数传递payload，通过headers参数传递headers。API返回的数据是JSON格式，可以直接通过.json()方法解析为Python字典。

# 发送GET请求并获取JSON响应response = requests.get(url, params=payload, headers=headers)response.raise_for_status() # 检查请求是否成功（状态码200）data = response.json()

3.4 将JSON数据转换为DataFrame

NBA统计API的JSON响应通常包含一个resultSets列表，其中每个元素代表一个数据集。每个数据集又包含headers（列名）和rowSet（数据行）。我们可以利用这些信息，方便地将数据转换为pandas.DataFrame。

# 从JSON数据中提取列名和数据行# resultSets[0]通常是第一个（或唯一）数据集columns = data["resultSets"][0]["headers"]rows = data["resultSets"][0]["rowSet"]# 创建DataFramedf = pd.DataFrame(rows, columns=columns)

3.5 完整代码示例

import requestsimport pandas as pddef get_nba_combine_anthro_data(season_year="2022-23"):    """    从NBA官方API获取指定赛季的选秀体测数据。    Args:        season_year (str): 赛季年份，例如 "2022-23"。    Returns:        pd.DataFrame: 包含选秀体测数据的DataFrame。                      如果获取失败，则返回None。    """    url = "https://stats.nba.com/stats/draftcombineplayeranthro"    payload = {        "LeagueID": "00",        "SeasonYear": season_year    }    # 推荐使用最新的User-Agent字符串    headers = {        "Referer": "https://www.nba.com/",        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"    }    try:        response = requests.get(url, params=payload, headers=headers, timeout=10)        response.raise_for_status() # 如果状态码不是200，则抛出HTTPError异常        data = response.json()        columns = data["resultSets"][0]["headers"]        rows = data["resultSets"][0]["rowSet"]        df = pd.DataFrame(rows, columns=columns)        return df    except requests.exceptions.RequestException as e:        print(f"请求失败: {e}")        return None    except KeyError as e:        print(f"JSON解析错误，可能API响应结构发生变化: {e}")        return None# 调用函数获取数据nba_combine_df = get_nba_combine_anthro_data(season_year="2022-23")if nba_combine_df is not None:    print("成功获取NBA选秀体测数据：")    print(nba_combine_df.head())    print(f"n数据总行数: {len(nba_combine_df)}")    print(f"数据总列数: {len(nba_combine_df.columns)}")

3.6 示例输出

运行上述代码，你将得到一个包含NBA选秀体测数据的pandas.DataFrame，其部分内容如下所示：

成功获取NBA选秀体测数据：   TEMP_PLAYER_ID  PLAYER_ID FIRST_NAME  ... BODY_FAT_PCT HAND_LENGTH HAND_WIDTH0         1630534    1630534      Ochai  ...         5.40        8.75       9.501         1631116    1631116    Patrick  ...         8.90        8.75       9.502         1631094    1631094      Paolo  ...          NaN         NaN        NaN3         1631109    1631109       Mark  ...         5.40        9.00       9.754         1630592    1630592      Jalen  ...          NaN         NaN        NaN[5 rows x 18 columns]数据总行数: 83数据总列数: 18

4. 注意事项与总结

API稳定性： 官方API接口的URL、参数和JSON响应结构可能会随时间变化。如果代码突然失效，请重新检查NBA官网的网络请求，以获取最新的API信息。请求频率与限制： 频繁或高速的请求可能会触发网站的反爬机制，导致IP被封禁。在实际应用中，应设置合理的请求间隔（例如使用time.sleep()），并考虑使用代理IP池。User-Agent： 保持User-Agent字符串更新，以模拟最新的浏览器行为，有助于降低被识别为爬虫的风险。错误处理： 在实际项目中，应加入更完善的错误处理机制，例如对网络请求失败、JSON解析异常等情况进行捕获和处理。道德与法律： 在进行网络爬取时，务必遵守网站的服务条款（Terms of Service）和当地的法律法规。仅获取公开数据，不进行恶意攻击或滥用资源。

通过直接调用后端API，我们能够高效且稳定地获取NBA选秀体测数据，避免了前端JavaScript渲染带来的复杂性。这种方法不仅适用于NBA官网，也适用于许多其他采用动态加载内容的网站，是现代网络数据采集的重要技术之一。

以上就是Python进阶：高效爬取NBA选秀体测数据的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/575728.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

413.8K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
解决高并发难题：使用voku/simple-cache提升PHP应用性能
上一篇 2025年11月10日 08:23:33
即梦如何恢复被删除的记录_即梦被删记录恢复方法
下一篇 2025年11月10日 08:23:42

相关推荐

  • LINUX如何安全地关闭系统_LINUX正确的关机与重启命令 用户投稿

    LINUX如何安全地关闭系统_LINUX正确的关机与重启命令

    使用shutdown命令可安全关机，如sudo shutdown -h now立即关机，或+5表示5分钟后关机，-c取消计划；2. poweroff立即断电；3. halt停止系统运行，加–poweroff关闭电源；4. reboot重启系统，也可用shutdown -r +3延迟重启；…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • Java集合框架在实际项目中的最佳实践 用户投稿

    Java集合框架在实际项目中的最佳实践

    合理选择集合类型并预设容量，使用不可变集合保护数据，避免遍历中修改结构，可提升Java程序性能与安全性。 Java集合框架是开发中使用最频繁的工具之一，合理使用能显著提升代码的可读性、性能和稳定性。在实际项目中，遵循一些最佳实践可以避免常见陷阱，提高程序健壮性。 选择合适的集合类型 不同场景应选用最…

    程序猿的头像 程序猿
    2026年9月22日
    000

  • mysql如何输入批量插入 mysql写多条insert代码教程

    mysql如何输入批量插入 mysql写多条insert代码教程mysql如何输入批量插入 mysql写多条insert代码教程mysql如何输入批量插入 mysql写多条insert代码教程mysql如何输入批量插入 mysql写多条insert代码教程

    mysql批量插入数据有四种主要方式。1.单条insert多值插入，语法简单但可能超包限制且全失败风险高；2.多条insert加事务，减少交互次数但占用资源多；3.load data infile性能最好，需处理文件权限及转义；4.编程语言批量功能灵活处理数据但需额外编码。选择依据为：小数据用多值i…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    000
  • PHPRestfulAPI怎么开发_PHP构建高效安全的RestfulAPI教程 用户投稿

    PHPRestfulAPI怎么开发_PHP构建高效安全的RestfulAPI教程

    答案：本文介绍如何用PHP构建高效安全的Restful API，涵盖设计规范、项目结构、数据库操作、安全机制、统一响应格式及性能优化。遵循Restful风格使用标准HTTP方法与状态码，通过index.php统一入口路由请求至控制器；采用PDO预处理防止SQL注入，结合JWT实现认证授权，确保输入验…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • win10系统图标（如此电脑）太大怎么办_win10系统图标大小调整方法 用户投稿

    win10系统图标（如此电脑）太大怎么办_win10系统图标大小调整方法

    首先通过快捷键Ctrl加鼠标滚轮可快速调整桌面图标大小，其次在显示设置中修改缩放比例能全局调整界面元素，最后若因间距异常导致图标过大，可通过注册表将IconSpacing和IconVerticalSpacing值改为-1125后重启生效。 如果您发现Windows 10系统中的图标（如“此电脑”）显…

    程序猿的头像 程序猿
    2026年9月22日
    000

  • CentOS7搭建个人站点

    CentOS7搭建个人站点CentOS7搭建个人站点CentOS7搭建个人站点CentOS7搭建个人站点

    在本文中，我们将指导您在centos7系统上使用httpd搭建个人网站。httpd是apache http服务器的主程序，设计为一个独立运行的后台进程，负责建立处理请求的子进程或线程池。 首先，我们需要通过rpm命令检查系统中是否已安装httpd： rpm -qa | grep httpd 如果执行…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    200

  • VSCode 怎样配置项目的依赖包自动安装 VSCode 项目依赖包自动安装的配置指南​

    VSCode 怎样配置项目的依赖包自动安装 VSCode 项目依赖包自动安装的配置指南​VSCode 怎样配置项目的依赖包自动安装 VSCode 项目依赖包自动安装的配置指南​VSCode 怎样配置项目的依赖包自动安装 VSCode 项目依赖包自动安装的配置指南​VSCode 怎样配置项目的依赖包自动安装 VSCode 项目依赖包自动安装的配置指南​

    vscode没有内置“一键安装所有依赖”功能，因为它作为通用编辑器需保持轻量与灵活性，无法预设所有项目的依赖管理逻辑；要实现类似效果，最有效的方法是通过配置tasks.json和launch.json实现半自动安装：1. 在项目根目录的.vscode文件夹中创建tasks.json文件，定义“che…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    100

  • MySQL服务无法启动怎么办？常见解决方法

    MySQL服务无法启动怎么办？常见解决方法MySQL服务无法启动怎么办？常见解决方法MySQL服务无法启动怎么办？常见解决方法MySQL服务无法启动怎么办？常见解决方法

    mysql服务无法启动常见原因包括配置错误、端口占用、数据文件损坏或权限问题。解决方法如下：1. 查看错误日志，定位问题根源；2. 检查配置文件是否存在语法错误或路径问题；3. 确认端口（如3306）未被占用；4. 核查数据目录的权限与完整性；5. 必要时修复或重置数据目录，甚至重新安装mysql。…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    000
  • Java TreeMap如何自定义排序规则 用户投稿

    Java TreeMap如何自定义排序规则

    TreeMap默认按键的自然顺序排序，可通过构造函数传入Comparator自定义排序规则。例如字符串可按长度排序：TreeMap map = new TreeMap((s1, s2) -> s1.length() – s2.length()); 对自定义对象如Person可按年龄…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • windows怎么开启或关闭休眠模式_休眠模式启用与禁用设置 用户投稿

    windows怎么开启或关闭休眠模式_休眠模式启用与禁用设置

    首先通过控制面板或命令提示符启用或禁用休眠功能，其次可设置自动休眠时间以节能；操作路径包括图形界面调整与管理员命令执行，适用于Windows 11系统环境。 如果您发现Windows系统的休眠功能未启用或希望禁用该功能以释放磁盘空间，可以通过系统电源设置或命令行工具进行配置。休眠模式会将当前系统状态…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • Java Collections.synchronizedList方法如何保证线程安全 用户投稿

    Java Collections.synchronizedList方法如何保证线程安全

    synchronizedList通过同步方法保证线程安全，使用synchronized关键字对每个操作加锁，确保单个操作的原子性；但迭代或复合操作需手动同步，否则可能引发并发异常；其性能较低，适用于读多写少、并发不高的场景，高并发下推荐使用CopyOnWriteArrayList。 Java 中 C…

    程序猿的头像 程序猿
    2026年9月22日
    100
  • Linux内核13-进程切换 用户投稿

    Linux内核13-进程切换

    进程切换，也称为任务切换、上下文切换或任务调度，本文将探讨linux内核中进程切换的实现。我们首先理解几个关键概念。 1.1 硬件上下文 每个进程都有自己的地址空间，但所有进程共享CPU寄存器。因此，在恢复进程执行前，内核必须确保挂起时的寄存器值被重新加载到CPU寄存器中。 这些需要加载到CPU寄存…

    程序猿的头像 程序猿
    2026年9月22日
    200

  • 如何修改MySQL的默认端口号？

    如何修改MySQL的默认端口号？如何修改MySQL的默认端口号？如何修改MySQL的默认端口号？如何修改MySQL的默认端口号？

    修改mysql默认端口号需编辑配置文件，核心步骤为：1.定位my.cnf或my.ini文件；2.在[mysqld]段落中修改或添加port参数；3.保存后重启mysql服务。更改端口主要出于避免冲突、提升安全性和适应网络策略考虑。连接时需在客户端工具或代码中指定新端口，如命令行加-p参数、编程语言连…

    程序猿的头像 程序猿
    2026年9月22日 • 用户投稿
    1200
  • windows怎么查看系统稳定性历史记录_windows可靠性监视器使用方法 用户投稿

    windows怎么查看系统稳定性历史记录_windows可靠性监视器使用方法

    可通过控制面板、运行命令、搜索功能或事件查看器打开可靠性监视器，查看系统稳定性评分及崩溃记录。 如果您想了解Windows系统的运行状况和历史稳定性，可以通过内置的可靠性监视器来查看详细的系统事件和稳定性评分。该工具会记录应用程序崩溃、Windows故障、硬件驱动问题等信息，并以图表形式展示。 本文…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • 在 Linux 中如何强制停止进程？kill 和 killall 命令有什么区别？ 用户投稿

    在 Linux 中如何强制停止进程？kill 和 killall 命令有什么区别？

    在日常工作中，您可能会遇到两个用于在 linux 中强制结束程序的命令：kill和killall。虽然许多 linux 用户熟悉kill命令，但使用killall命令的人相对较少。尽管这两个命令名称相似且目的相同（终止进程），但它们在使用方式和效果上有显著区别。 那么，kill和killall之间有…

    程序猿的头像 程序猿
    2026年9月22日
    100
  • laravel如何安全地在Blade中输出用户内容_Laravel Blade安全输出用户内容方法 用户投稿

    laravel如何安全地在Blade中输出用户内容_Laravel Blade安全输出用户内容方法

    使用{{}}自动转义防止XSS，输出HTML时需用Purifier过滤并配合{!! !!}，关键在于服务端预处理和始终不信任用户输入。 在 Laravel 的 Blade 模板中输出用户内容时，防止 XSS（跨站脚本攻击）是关键。Laravel 默认对 Blade 中的双大括号 {{ }} 语法进行…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • QQ阅读最新版本_QQ阅读官网下载链接 用户投稿

    QQ阅读最新版本_QQ阅读官网下载链接

    QQ阅读最新版本官网下载链接是http://book.qq.com/，该平台提供海量正版小说资源，支持多格式电子书阅读，设有免费专区，并具备个性化设置、跨设备同步及互动社区等功能。 QQ阅读最新版本官网下载链接在哪里？这是不少网友都关注的，接下来由PHP小编为大家带来QQ阅读最新版本的相关信息，感兴…

    程序猿的头像 程序猿
    2026年9月22日
    100
  • 为什么建议手动定义Java序列化ID 用户投稿

    为什么建议手动定义Java序列化ID

    手动定义serialVersionUID可确保序列化兼容性，避免因类结构变化导致反序列化失败。Java默认生成的ID依赖类名、字段等信息，编译环境或代码微小改动均使其改变，易引发InvalidClassException。显式声明后，可在兼容性变更时主动控制ID更新，保留原ID则允许旧版本读取新对象…

    程序猿的头像 程序猿
    2026年9月22日
    200
  • win10无法ping通局域网电脑怎么办_win10局域网ping不通故障排查教程 用户投稿

    win10无法ping通局域网电脑怎么办_win10局域网ping不通故障排查教程

    首先检查本机网络协议栈与IP配置，再依次排查网关连通性；若正常，则需启用网络发现、配置防火墙ICMP规则或放行文件共享服务，必要时可临时关闭防火墙测试。 如果您尝试在局域网内使用ping命令测试与另一台电脑的连接，但收到“请求超时”或“无法访问目标主机”的提示，则可能是由于网络配置或系统安全设置导致…

    程序猿的头像 程序猿
    2026年9月22日
    000
  • 在Java中如何统计List中元素出现次数 用户投稿

    在Java中如何统计List中元素出现次数

    答案是使用Map或Stream API统计List元素频次最高效。通过HashMap手动遍历统计，或用Java 8的Stream结合groupingBy和counting()实现简洁计数，Collections.frequency适用于小数据量但性能较差，推荐Stream方式兼顾性能与可读性。 在J…

    程序猿的头像 程序猿
    2026年9月22日
    900

发表回复

登录后才能评论
关注微信