本文旨在解决传统网页抓取方法在处理动态加载数据时的局限性，特别是针对nba官网等通过javascript 后端
在现代网页应用中，许多数据并非直接嵌入在HTML源代码中，而是通过JavaScript在页面加载后异步获取并渲染。这使得传统的基于BeautifulSoup解析HTML的方法往往无法直接抓取到所需数据。对于NBA官网这类动态网站，例如NBA选秀体测数据页面，尝试直接使用requests获取页面内容再用BeautifulSoup查找表格，通常会发现目标表格并不存在于初始的HTML响应中。
传统网页抓取方法的局限性
考虑以下尝试抓取NBA选秀体测数据的常见代码片段：
import requestsimport pandas as pdfrom bs4 import BeautifulSoupurl = "https://www.nba.com/stats/draft/combine-anthro?SeasonYear=2021-22"response = requests.get(url)soup = BeautifulSoup(response.content, "html.parser")# 尝试查找表格，但通常会返回空列表print(soup.find_all("table"))
这段代码的问题在于，当requests.get(url)获取页面内容时，它只拿到了服务器返回的原始HTML。页面上最终呈现的数据表格是由浏览器
标签。
识别并利用后端API接口
解决这类问题的关键在于“逆向工程”网页的请求流程，找出其向后端请求数据的API接口。这通常通过浏览器的开发者工具
打开开发者工具： 在目标网页（例如https://www.nba.com/stats/draft/combine-anthro?SeasonYear=2022-23）上按F12打开开发者工具。切换到“网络”选项卡： 刷新页面，观察网络请求。筛选XHR/Fetch请求： 通常，动态加载的数据会通过XHR（XMLHttpRequest）或Fetch API请求。筛选这些类型的请求可以帮助我们快速定位数据源。查找数据请求： 寻找那些响应内容为JSON格式，且包含页面上显示的数据的请求。对于NBA数据，通常会发现类似https://stats.nba.com/stats/draftcombineplayeranthro的请求。分析请求详情： 点击找到的请求，查看其“请求头”（Request Headers）、“查询参数”（Query Parameters）和“响应”（Response）内容。
通过分析，我们可以发现NBA选秀体测数据是通过一个特定的API端点获取的，并且需要一些参数和特定的HTTP头信息。
通过API获取NBA选秀体测数据
一旦确定了API端点和必要的请求参数，我们就可以使用requests库直接向该API发起请求，绕过前端
易企秀，一体化创意设计营销平台。超100万模板1键套用3分钟制作，随时随地完成创意设计营销。
1. 构建API请求
API请求通常需要以下几个关键部分：
API URL： 数据接口的地址。请求参数 (payload)： 对应网页上的筛选条件（如赛季年份、联盟ID）。请求头 (headers)： 模拟浏览器行为，避免被服务器识别为爬虫。特别是Referer（来源页面）和User-Agent（用户代理）通常是必需的。
import requestsimport pandas as pd# NBA选秀体测数据的API端点url = "https://stats.nba.com/stats/draftcombineplayeranthro"# 构建请求参数，模拟网页上的筛选条件# LeagueID: "00" 通常代表NBA# SeasonYear: 目标赛季年份payload = { "LeagueID": "00", "SeasonYear": "2022-23" # 可以修改为其他赛季，例如 "2021-22"}# 模拟浏览器请求头，防止被服务器拒绝headers = { "Referer": "https://www.nba.com/", # 模拟请求来源 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" # 模拟用户代理}# 发送GET请求，并传入参数和请求头# params参数会自动将payload字典转换为URL查询字符串response = requests.get(url, params=payload, headers=headers)# 检查请求是否成功response.raise_for_status() # 如果请求失败（非200状态码），则抛出HTTPError
2. 解析JSON响应
API通常返回JSON格式的数据。requests库提供了方便的.json
# 将响应内容解析为JSON对象data = response.json()# 检查JSON结构，通常数据位于 'resultSets' 列表的第一个元素中# 'rowSet' 包含实际的数据行# 'headers' 包含列名df = pd.DataFrame(data["resultSets"][0]["rowSet"], columns=data["resultSets"][0]["headers"])
3. 结果展示
将解析后的数据转换为pandas DataFrame，可以方便地进行数据分析和处理。
# 打印DataFrame的前几行print(df.head())# 打印DataFrame的形状（行数，列数）print(f"nDataFrame 形状: {df.shape}")
输出示例：
TEMP_PLAYER_ID PLAYER_ID FIRST_NAME LAST_NAME ... BODY_FAT_PCT HAND_LENGTH HAND_WIDTH0 1630534 1630534 Ochai Agbaji ... 5.40 8.75 9.501 1631116 1631116 Patrick Baldwin ... 8.90 8.75 9.502 1631094 1631094 Paolo Banchero ... NaN NaN NaN3 1631105 1631105 MarJ Beaucha ... 5.40 8.50 10.004 1630560 1630560 Malaki Branham ... 6.60 8.50 9.00[5 rows x 18 columns]DataFrame 形状: (83, 18)
完整代码示例
import requestsimport pandas as pddef get_nba_combine_anthro_data(season_year="2022-23"): """ 通过NBA官方API获取指定赛季的选秀体测数据。 Args: season_year (str): 目标赛季年份，例如 "2022-23"。 Returns: pandas.DataFrame: 包含选秀体测数据的DataFrame，如果获取失败则返回None。 """ url = "https://stats.nba.com/stats/draftcombineplayeranthro" payload = { "LeagueID": "00", "SeasonYear": season_year } headers = { "Referer": "https://www.nba.com/", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } try: response = requests.get(url, params=payload, headers=headers, timeout=10) response.raise_for_status() # 如果请求失败，抛出HTTPError data = response.json() # 检查返回数据结构，确保包含 'resultSets' if "resultSets" in data and len(data["resultSets"]) > 0: row_set = data["resultSets"][0]["rowSet"] headers = data["resultSets"][0]["headers"] df = pd.DataFrame(row_set, columns=headers) return df else: print(f"API响应中未找到数据或数据结构不符合预期。响应: {data}") return None except requests.exceptions.HTTPError as e: print(f"HTTP错误发生: {e}") print(f"响应状态码: {e.response.status_code}") print(f"响应内容: {e.response.text}") return None except requests.exceptions.ConnectionError as e: print(f"连接错误发生: {e}") return None except requests.exceptions.Timeout as e: print(f"请求超时: {e}") return None except requests.exceptions.RequestException as e: print(f"发生未知请求错误: {e}") return None except KeyError as e: print(f"解析JSON数据时键错误: {e}。可能API响应结构发生变化。") return Noneif __name__ == "__main__": print("获取2022-23赛季NBA选秀体测数据...") df_2022_23 = get_nba_combine_anthro_data("2022-23") if df_2022_23 is not None: print(df_2022_23.head()) print(f"n2022-23赛季数据共 {df_2022_23.shape[0]} 条记录。") print("n获取2021-22赛季NBA选秀体测数据...") df_2021_22 = get_nba_combine_anthro_data("2021-22") if df_2021_22 is not None: print(df_2021_22.head()) print(f"n2021-22赛季数据共 {df_2021_22.shape[0]} 条记录。")
注意事项与最佳实践
尊重网站政策： 在进行任何形式的数据抓取时，务必查阅网站的robots.txt文件和使用条款。NBA官方提供了API供开发者使用，通常直接调用API比解析HTML更受推荐和稳定。User-Agent和Referer： 模拟常见的浏览器User-Agent和正确的Referer头是避免被服务器拒绝的关键。如果这些信息不正确，服务器可能会返回403 Forbidden错误。错误处理： 网络请求可能因多种原因失败（如网络问题、超时、服务器拒绝）。在代码中加入try-except块来捕获requests.exceptions，可以提高程序的健壮性。请求频率限制 (Rate Limiting)： 频繁地向同一API发送请求可能会触发服务器的限流机制，导致IP被封禁。在实际应用中，应加入适当的延迟（例如使用time.sleep()）来控制请求频率。API稳定性： 网站的API结构可能会随时间变化。如果代码突然失效，首先检查API端点、参数或响应JSON结构是否发生了改变。数据清洗： 获取到的数据可能包含NaN值或其他不规范的数据，需要进一步使用pandas进行清洗和预处理。
总结
当传统网页抓取方法无法获取动态加载的数据时，通过分析浏览器的网络请求，直接调用网站的后端API是一种更高效、更稳定的解决方案。这种方法不仅能够准确获取所需数据，还能避免处理复杂的JavaScript渲染逻辑。掌握API请求的技巧，是现代数据抓取不可或缺的能力。
以上就是高效抓取NBA选秀体测数据：API请求实战指南的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。https://www.chuangxiangniao.com/p/575891.html
(0)
打赏
Python二维列表初始化陷阱与正确姿势
2025年11月10日 08:29:02
Django模型复合字段唯一性约束实现指南
下一篇
2025年11月10日 08:30:13
相关推荐
css元素设置em和transition后，为何载入无放大效果 很多开发者在设置了em和transition后，却发现元素载入页面时无放大效果。本文将解答这一问题。 原问题：在视频演示中，将元素设置如下，载入页面会有放大效果。然而，在个人尝试中，并未出现该效果。这是由于macos和windows系统…
win10设置界面的鼠标移动显示周边的样式（探照灯效果）的实现方式 在windows设置界面的鼠标悬浮效果中，光标周围会显示一个放大区域。在前端开发中，可以通过多种方式实现类似的效果。 使用css 使用css的transform和box-shadow属性。通过将transform: scale(1.…
Win10设置界面中的鼠标移动探照灯效果实现指南 想要在前端开发中实现类似于Windows 10设置界面的鼠标移动探照灯效果，有两种解决方案：CSS 和 HTML/JS 组合。 CSS 实现 不幸的是，仅使用CSS无法完全实现该效果。 立即学习“前端免费学习笔记（深入）”； HTML/JS 实现 要…
如何在前端实现 Windows 10 设置界面中的鼠标移动探照灯效果 想要在前端开发中实现 Windows 10 设置界面中类似的鼠标移动探照灯效果，可以通过以下途径： CSS 解决方案 DEMO 1: Windows 10 网格悬停效果：https://codepen.io/tr4553r7/pe…
探索在前端中实现 Windows 10 设置界面鼠标移动时的探照灯效果 在前端开发中，鼠标悬停在元素上时需要呈现类似于 Windows 10 设置界面所展示的探照灯效果，这其中涉及到了元素外围显示光圈效果的技术实现。 CSS 实现 虽然 CSS 无法直接实现探照灯效果，但可以通过以下技巧营造出类似效…
网页背景图在苹果浏览器上出现色差 一位用户在使用苹果浏览器访问网页时遇到一个问题，网页上方的背景图比底部的背景图明显更亮。 这个问题的原因很可能是背景图没有正确配置 background-size 属性。在 windows 浏览器中，背景图可能可以自动填满整个容器，但在苹果浏览器中可能需要显式设置 …
网页背景图像在苹果浏览器的色差问题 在不同浏览器中，网站的背景图像有时会出现色差。例如，在 Windows 浏览器中显示正常的上层背景图，在苹果浏览器中却比下层背景图更亮。 问题原因 出现此问题的原因可能是背景图像未正确设置 background-size 属性。 解决方案 为确保背景图像在不同浏览…
背景图在苹果电脑浏览器上亮度差异 问题描述： 在网页设计中，希望上部元素的背景图与页面底部的背景图完全对齐。而在 Windows 中使用浏览器时，该效果可以正常实现。然而，在苹果电脑的浏览器中却出现了明显的色差。 原因分析： 如果您已经排除屏幕分辨率差异的可能性，那么很可能是背景图的 backgro…
解决 VS Code 折叠代码复制问题 在 VS Code 中使用折叠功能可以帮助组织长代码，但使用复制功能时，可能会遇到只复制可见部分的问题。以下是如何解决此问题： 当代码被折叠时，可以使用以下简单操作复制整个折叠代码： 按下 Ctrl + C (Windows/Linux) 或 Cmd + C …
前端固定定位为什么会出现移动现象？ 在进行前端开发时，我们经常会使用CSS中的position属性来控制元素的定位。其中，固定定位（position: fixed）是一种常用的定位方式，它可以让元素相对于浏览器窗口进行定位，保持在页面的固定位置不动。 然而，有时候我们会遇到一个问题：在使用固定定位时…
从零开始学习CSS，掌握网页基本框架制作技巧 前言： 在现今互联网时代，网页设计和开发是一个非常重要的技能。而学习CSS（层叠样式表）是掌握网页设计的关键之一。CSS不仅可以为网页添加样式和布局，还可以为用户呈现独特且具有吸引力的页面效果。在本文中，我将为您介绍一些基本的CSS知识，以及一些常用的代…
CSS是网站设计中重要的一部分，它控制着网站的外观和布局。前端开发人员为了让页面更加美观和易于使用，通常使用CSS框架。这篇文章将带领您了解这五种前端CSS框架，从入门到精通。 Bootstrap Bootstrap是最受欢迎的CSS框架之一。它由Twitter公司开发，具有可定制的响应式网格系统、…
在当今数字时代，互联网成为了人们生活中不可或缺的一部分。作为互联网的基本构成单位，网页承载着我们获取和分享信息的重要任务。而网页开发作为一门独特的技术，离不开一些必备的语言。本文将揭秘Web标准涵盖的语言，让我们一起了解网页开发所需的语言范围。 首先，HTML（HyperText Markup La…
选择恐惧症？这五个前端CSS框架能帮你解决问题 近年来，前端开发者已经进入了一个黄金时代。随着互联网的快速发展，人们对于网页设计和用户体验的要求也越来越高。然而，要想快速高效地构建出漂亮的网页并不容易，特别是对于那些可能对CSS编码感到畏惧的人来说。所幸的是，前端开发者们早已为我们准备好了一些CSS…
Web标准中的语言大揭秘：掌握网页开发所需的语言有哪些？ 随着互联网的快速发展，网页开发已经成为人们重要的职业之一。而要成为一名优秀的网页开发者，掌握网页开发所需的语言是必不可少的。本文将为大家揭示Web标准中的语言大揭秘，介绍网页开发所需的主要语言。 HTML（超文本标记语言）HTML是网页开发的…
了解Web标准的语言要点：常见的哪些语言应用在网页开发中？ 随着互联网的不断发展，网页已经成为人们获取信息和交流的重要途径。而要实现一个高质量、易用的网页，离不开一种被广泛接受的Web标准。Web标准的制定和应用，涉及到多种语言和技术，本文将介绍常见的几种语言在网页开发中的应用。 首先，HTML（H…
探索Web标准语言的世界：网页开发中常用的语言有哪些？ 在现代社会中，互联网的普及程度越来越高，网页已成为人们获取资讯、娱乐、交流的重要途径。而网页的开发离不开各种编程语言的应用和支持。在这个虚拟世界的网络，有许多被广泛应用的标准化语言，用于为用户提供优质的网页体验。本文将探索网页开发中常用的语言，…
Web标准是指互联网上的各个网页所需遵循的一系列规范，确保网页在不同的浏览器和设备上能够正确地显示和运行。这些标准包括HTML、CSS和JavaScript等语言。本文将深入解析Web标准涵盖的语言范围。 首先，HTML（HyperText Markup Language）是构建网页的基础语言。它使…
深入理解CSS框架与JS之间的关系 在现代web开发中，CSS框架和JavaScript (JS) 是两个常用的工具。CSS框架通过提供一系列样式和布局选项，可以帮助我们快速构建美观的网页。而JS则提供了一套功能强大的脚本语言，可以为网页添加交互和动态效果。本文将深入探讨CSS框架和JS之间的关系，…
项目实践：如何结合CSS和JavaScript打造优秀网页的经验总结 随着互联网的快速发展，网页设计已经成为了各行各业都离不开的一项技能。优秀的网页设计可以给用户留下深刻的印象，提升用户体验，增加用户的黏性和转化率。而要做出优秀的网页设计，除了对美学的理解和创意的运用外，还需要掌握一些基本的技能，如…
微信扫一扫 
支付宝扫一扫 
