本教程详细介绍了如何通过直接调用nba官方隐藏的api接口，高效且稳定地抓取nba选秀体测数据。针对传统网页抓取工具在动态加载页面上遇到的挑战，文章提供了基于`requests`库和`pandas`库的解决方案，并展示了如何构建请求、解析json
在进行网页数据抓取（Web Scraping）时，开发者经常会遇到动态加载内容的网站。这类网站的数据并非直接嵌入在HTML源代码中，而是通过JavaScript在页面加载完成后，向后端API发送请求并动态渲染到页面上。对于这类场景，传统的基于BeautifulSoup解析HTML的抓取方法往往会失效，因为在requests.get()获取到的原始HTML中，目标数据表格可能尚未生成。
以NBA官网的选秀体测数据页面为例，如https://www.nba.com/stats/draft/combine-anthro?SeasonYear=2022-23。如果我们尝试使用requests获取页面内容，再用BeautifulSoup查找
标签，很可能会发现找不到任何表格，或者找到的表格是空的。这是因为页面上的数据表格是在浏览器 import requestsfrom bs4 import BeautifulSoupurl = "https://www.nba.com/stats/draft/combine-anthro?SeasonYear=2022-23"response = requests.get(url)soup = BeautifulSoup(response.content, "html.parser")# 尝试查找表格，通常会失败或返回空列表tables = soup.find_all("table")print(f"找到的表格数量: {len(tables)}")# 预期输出可能是: 找到的表格数量: 0
这种情况下，我们需要改变策略，不再尝试解析前端
API抓取原理与实现步骤
大多数动态加载数据的网站，其数据源都是通过特定的API接口提供的JSON或XML格式数据。通过浏览器的开发者工具（通常是F12），在“Network”（网络）选项卡中监控页面加载过程中的XHR（XMLHttpRequest）请求，可以找到这些隐藏的API接口。
对于NBA官网的选秀体测数据，经过分析可以发现，其数据是通过https://stats.nba.com/stats/draftcombineplayeranthro这个API接口获取的。
以下是使用Python的requests库和pandas库实现API数据抓取的详细步骤：
1. 导入必要的库
我们需要requests库来发送HTTP请求，以及pandas库来处理和存储数据。
import requestsimport pandas as pd
2. 定义API接口URL和请求参数
API接口通常需要一些参数来指定要获取的数据类型、赛季等。这些参数通常以字典形式传递给requests库的params参数。
一款集成AI换脸、照片跳舞等多种AI特效玩法的App
url = "https://stats.nba.com/stats/draftcombineplayeranthro"# 定义请求参数，例如获取2022-23赛季的数据payload = { "LeagueID": "00", # 联盟ID，通常为"00"代表NBA "SeasonYear": "2022-23" # 目标赛季年份}
3. 设置请求头（Headers）
为了模拟浏览器行为，避免被服务器识别为爬虫并拒绝访问，通常需要设置一些HTTP请求头。其中，Referer（来源页面）和User-Agent（用户代理）是最关键的两个。User-Agent告知服务器请求来自何种浏览器和操作系统
headers = { "Referer": "https://www.nba.com/", # 模拟从NBA官网发起的请求 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" # 模拟常用浏览器}
注意 ：User-Agent可以根据自己的浏览器信息进行替换，以提高成功率。
4. 发送GET请求并解析JSON数据
使用requests.get()方法发送GET请求，并将params和headers传递进去。API返回的数据通常是JSON格式，可以直接通过.js
response = requests.get(url, params=payload, headers=headers)response.raise_for_status() # 检查请求是否成功，如果状态码不是200，则抛出异常data = response.json()
5. 提取数据并转换为Pandas DataFrame
NBA API返回的JSON数据通常结构比较复杂，实际的数据行和列名通常嵌套在resultSets列表的第一个元素中。rowSet键对应数据行，headers键对应列名。
# 提取数据行row_set = data["resultSets"][0]["rowSet"]# 提取列名columns = data["resultSets"][0]["headers"]# 使用pandas创建DataFramedf = pd.DataFrame(row_set, columns=columns)
6. 查看结果
打印DataFrame的前几行，验证数据是否成功获取。
print(df.head())
完整代码示例
将以上步骤整合，得到完整的Python脚本：
import requestsimport pandas as pddef get_nba_combine_data(season_year="2022-23"): """ 从NBA API获取指定赛季的选秀体测数据。 Args: season_year (str): 赛季年份，例如 "2022-23"。 Returns: pandas.DataFrame: 包含选秀体测数据的DataFrame。 """ url = "https://stats.nba.com/stats/draftcombineplayeranthro" payload = { "LeagueID": "00", "SeasonYear": season_year } headers = { "Referer": "https://www.nba.com/", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } try: response = requests.get(url, params=payload, headers=headers, timeout=10) response.raise_for_status() # 检查HTTP响应状态码 data = response.json() # 检查API返回的数据结构 if "resultSets" in data and len(data["resultSets"]) > 0: row_set = data["resultSets"][0]["rowSet"] columns = data["resultSets"][0]["headers"] df = pd.DataFrame(row_set, columns=columns) return df else: print(f"API返回数据结构异常或无数据：{data}") return pd.DataFrame() except requests.exceptions.RequestException as e: print(f"请求NBA API失败: {e}") return pd.DataFrame() except KeyError as e: print(f"解析JSON数据时键错误: {e}. 请检查API返回的JSON结构。") return pd.DataFrame()# 调用函数获取2022-23赛季数据nba_combine_df = get_nba_combine_data(season_year="2022-23")if not nba_combine_df.empty: print("n成功获取NBA选秀体测数据：") print(nba_combine_df.head()) print(f"nDataFrame形状: {nba_combine_df.shape}")else: print("n未能获取NBA选秀体测数据。")# 示例输出：# TEMP_PLAYER_ID PLAYER_ID FIRST_NAME ... BODY_FAT_PCT HAND_LENGTH HAND_WIDTH# 0 1630534 1630534 Ochai ... 5.40 8.75 9.50# 1 1631116 1631116 Patrick ... 8.90 8.75 9.50# 2 1631094 1631094 Paolo ... NaN NaN NaN# 3 1631109 1631109 Mark ... 5.40 9.00 9.75# 4 1630592 1630592 Jalen ... NaN NaN NaN## [5 rows x 18 columns]# DataFrame形状: (83, 18)
注意事项与总结
API稳定性： 尽管直接调用API效率高，但非官方API接口可能随时变更，导致抓取代码失效。请求频率： 避免在短时间内发送大量请求，这可能导致IP被封禁。适当添加延时（time.sleep()）是一个好习惯。错误处理： 在实际应用中，应加入更完善的错误处理机制，例如try-except块来捕获网络请求失败、JSON解析错误等异常。参数探索： 通过修改payload中的SeasonYear参数，可以方便地获取不同赛季的数据。对于其他NBA统计数据，也可以尝试用类似方法探索其API接口。User-Agent和Referer： 保持这些请求头与真实浏览器行为一致，是提高抓取成功率的关键。
通过直接识别和调用后端API，我们可以有效地绕过前端动态加载的限制，从而高效、稳定地获取所需数据。这种方法不仅适用于NBA官网，也适用于许多其他采用类似技术栈的动态网站。理解网站的数据加载机制，是进行高级网页抓取的关键。
以上就是高效获取NBA选秀体测数据：绕过动态加载的API抓取方法的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。https://www.chuangxiangniao.com/p/576031.html
(0)
打赏
Django模型多字段唯一性约束的实现与验证
2025年11月10日 08:31:41
Python线程同步原语：理解与应用
下一篇
2025年11月10日 08:35:22
相关推荐
如何跨越localhost使用本地图片？ 问题: 在本地使用mask js库时，引入本地图片会报跨域错误。 解决方案: 要解决此问题，需要使用本地服务器启动文件，以http或https协议访问图片，而不是使用file://协议。例如： python -m http.server 8000 然后，可以…
css元素设置em和transition后，为何载入无放大效果 很多开发者在设置了em和transition后，却发现元素载入页面时无放大效果。本文将解答这一问题。 原问题：在视频演示中，将元素设置如下，载入页面会有放大效果。然而，在个人尝试中，并未出现该效果。这是由于macos和windows系统…
win10设置界面的鼠标移动显示周边的样式（探照灯效果）的实现方式 在windows设置界面的鼠标悬浮效果中，光标周围会显示一个放大区域。在前端开发中，可以通过多种方式实现类似的效果。 使用css 使用css的transform和box-shadow属性。通过将transform: scale(1.…
Win10设置界面中的鼠标移动探照灯效果实现指南 想要在前端开发中实现类似于Windows 10设置界面的鼠标移动探照灯效果，有两种解决方案：CSS 和 HTML/JS 组合。 CSS 实现 不幸的是，仅使用CSS无法完全实现该效果。 立即学习“前端免费学习笔记（深入）”； HTML/JS 实现 要…
如何在前端实现 Windows 10 设置界面中的鼠标移动探照灯效果 想要在前端开发中实现 Windows 10 设置界面中类似的鼠标移动探照灯效果，可以通过以下途径： CSS 解决方案 DEMO 1: Windows 10 网格悬停效果：https://codepen.io/tr4553r7/pe…
探索在前端中实现 Windows 10 设置界面鼠标移动时的探照灯效果 在前端开发中，鼠标悬停在元素上时需要呈现类似于 Windows 10 设置界面所展示的探照灯效果，这其中涉及到了元素外围显示光圈效果的技术实现。 CSS 实现 虽然 CSS 无法直接实现探照灯效果，但可以通过以下技巧营造出类似效…
跨域疑难：如何解决 mask 引入本地图片产生的跨域问题？ 在使用 mask 导入本地图片时，你可能会遇到令人沮丧的跨域错误。为什么会出现跨域问题呢？让我们深入了解一下： mask 框架假设你以 http(s) 协议加载你的 html 文件，而当使用 file:// 协议打开本地文件时，就会产生跨域…
网页背景图在苹果浏览器上出现色差 一位用户在使用苹果浏览器访问网页时遇到一个问题，网页上方的背景图比底部的背景图明显更亮。 这个问题的原因很可能是背景图没有正确配置 background-size 属性。在 windows 浏览器中，背景图可能可以自动填满整个容器，但在苹果浏览器中可能需要显式设置 …
网页背景图像在苹果浏览器的色差问题 在不同浏览器中，网站的背景图像有时会出现色差。例如，在 Windows 浏览器中显示正常的上层背景图，在苹果浏览器中却比下层背景图更亮。 问题原因 出现此问题的原因可能是背景图像未正确设置 background-size 属性。 解决方案 为确保背景图像在不同浏览…
背景图在苹果电脑浏览器上亮度差异 问题描述： 在网页设计中，希望上部元素的背景图与页面底部的背景图完全对齐。而在 Windows 中使用浏览器时，该效果可以正常实现。然而，在苹果电脑的浏览器中却出现了明显的色差。 原因分析： 如果您已经排除屏幕分辨率差异的可能性，那么很可能是背景图的 backgro…
我最近使用偏好颜色方案媒体功能与 light-dark() 颜色函数相结合，在我的 bear 博客上实现了亮/暗模式切换。 我是这样做的。 第 1 步：设置 css css 在过去几年中获得了一些很酷的新功能，包括 light-dark() 颜色函数。此功能可让您为任何元素指定两种颜色 –…
检测浏览器中的操作系统暗模式 在 web 开发中，用户界面适应操作系统（os）的暗模式设置变得越来越重要。本文将重点介绍检测浏览器中 os 暗模式的方法，从而使网站能够针对不同模式调整其设计。 w3c media queries level 5 最新的 web 标准引入了 prefers-color…
如何在浏览器中检测操作系统是否处于暗模式？ 新发布的 os x 暗模式提供了在 mac 电脑上使用更具沉浸感的用户界面，但我们很多人都想知道如何在浏览器中检测这种设置。 新标准 检测操作系统暗模式的解决方案出现在 w3c media queries level 5 中的最新标准中： 立即学习“前端免…
浏览器环境中的操作系统暗模式检测 在如今科技的海洋中，越来越多的设备和软件支持暗模式，以减少对眼睛的刺激并营造更舒适的视觉体验。然而，在浏览器环境中检测操作系统是否处于暗模式却是一个令人好奇的问题。 检测暗模式的标准 要检测操作系统在浏览器中是否处于暗模式，web 开发人员可以使用 w3c 的媒体查…
浏览器中的操作系统暗模式检测 近年来，随着用户对夜间浏览体验的偏好不断提高，操作系统已开始引入暗模式功能。作为一名 web 开发人员，您可能想知道如何检测浏览器中操作系统的暗模式状态，以相应地调整您网站的设计。 新 media queries 水平 w3c 的 media queries level…
正则表达式助力文本输入验证 在文本输入框的验证中，经常遇到需要限定输入内容的情况。例如，输入框只能输入整数，第一位可以为负号。对于不会使用正则表达式的人来说，这可能是个难题。下面我们将提供三种正则表达式，分别满足不同的验证要求。 1. 可选负号，任意数量数字 如果输入框中允许第一位为负号，后面可输入…
解决 VS Code 折叠代码复制问题 在 VS Code 中使用折叠功能可以帮助组织长代码，但使用复制功能时，可能会遇到只复制可见部分的问题。以下是如何解决此问题： 当代码被折叠时，可以使用以下简单操作复制整个折叠代码： 按下 Ctrl + C (Windows/Linux) 或 Cmd + C …
作为一个刚刚完成中学教育的女孩和一个精通技术并热衷于解决问题的人，几周前我开始了我的编程之旅。我的名字是OKESANJO FATHIA OPEYEMI。我很高兴能分享我在编码世界中的经验和发现。拥有计算机科学背景的我一直对编程提供的无限可能性着迷。在这篇文章中，我将反思我在学习编程的第一周中获得的关…
在全栈和平均栈开发方面工作了 6 年多，我可以告诉您，虽然这两种方法都是流行且有效的方法，但它们满足不同的需求，并且有自己的优点和缺点。这两个堆栈都可以帮助您创建 Web 应用程序，但它们的实现方式却截然不同。如果您在两者之间难以选择，我希望我在两者之间的经验能给您一些有用的见解。 在这篇文章中，我…
本教程演示如何在新项目中从头开始配置 django 和 tailwindcss。 django 设置 创建一个名为 .venv 的新虚拟环境。 # windows$ python -m venv .venv$ .venvscriptsactivate.ps1(.venv) $# macos/linu…
微信扫一扫 
支付宝扫一扫 
