原创投稿
  1. 创想鸟首页
  2. 用户投稿

高效抓取NBA选秀体测数据：API请求实战指南

程序猿 • • 用户投稿

高效抓取NBA选秀体测数据：API请求实战指南

本文旨在解决传统网页抓取方法在处理动态加载数据时的局限性，特别是针对nba官网等通过javascript异步加载数据的场景。我们将深入探讨如何通过分析网络请求，直接调用其后端api接口，配合`requests`库和`pandas`库，高效、稳定地获取并结构化nba选秀体测数据，提供完整的代码示例和实践建议。

在现代网页应用中，许多数据并非直接嵌入在HTML源代码中，而是通过JavaScript在页面加载后异步获取并渲染。这使得传统的基于BeautifulSoup解析HTML的方法往往无法直接抓取到所需数据。对于NBA官网这类动态网站，例如NBA选秀体测数据页面，尝试直接使用requests获取页面内容再用BeautifulSoup查找表格，通常会发现目标表格并不存在于初始的HTML响应中。

传统网页抓取方法的局限性

考虑以下尝试抓取NBA选秀体测数据的常见代码片段：

import requestsimport pandas as pdfrom bs4 import BeautifulSoupurl = "https://www.nba.com/stats/draft/combine-anthro?SeasonYear=2021-22"response = requests.get(url)soup = BeautifulSoup(response.content, "html.parser")# 尝试查找表格，但通常会返回空列表print(soup.find_all("table"))

这段代码的问题在于，当requests.get(url)获取页面内容时，它只拿到了服务器返回的原始HTML。页面上最终呈现的数据表格是由浏览器执行JavaScript代码后，向后端API发起请求并获取数据，再动态渲染到页面上的。因此，在response.content中，我们找不到包含实际数据的

标签。

识别并利用后端API接口

解决这类问题的关键在于“逆向工程”网页的请求流程，找出其向后端请求数据的API接口。这通常通过浏览器的开发者工具（F12）的“网络”（Network）选项卡来完成。

打开开发者工具： 在目标网页（例如https://www.nba.com/stats/draft/combine-anthro?SeasonYear=2022-23）上按F12打开开发者工具。切换到“网络”选项卡： 刷新页面，观察网络请求。筛选XHR/Fetch请求： 通常，动态加载的数据会通过XHR（XMLHttpRequest）或Fetch API请求。筛选这些类型的请求可以帮助我们快速定位数据源。查找数据请求： 寻找那些响应内容为JSON格式，且包含页面上显示的数据的请求。对于NBA数据，通常会发现类似https://stats.nba.com/stats/draftcombineplayeranthro的请求。分析请求详情： 点击找到的请求，查看其“请求头”（Request Headers）、“查询参数”（Query Parameters）和“响应”（Response）内容。

通过分析，我们可以发现NBA选秀体测数据是通过一个特定的API端点获取的，并且需要一些参数和特定的HTTP头信息。

通过API获取NBA选秀体测数据

一旦确定了API端点和必要的请求参数，我们就可以使用requests库直接向该API发起请求，绕过前端渲染过程。

易企秀 易企秀

易企秀，一体化创意设计营销平台。超100万模板1键套用3分钟制作，随时随地完成创意设计营销。

易企秀 44 查看详情 易企秀

1. 构建API请求

API请求通常需要以下几个关键部分：

API URL： 数据接口的地址。请求参数 (payload)： 对应网页上的筛选条件（如赛季年份、联盟ID）。请求头 (headers)： 模拟浏览器行为，避免被服务器识别为爬虫。特别是Referer（来源页面）和User-Agent（用户代理）通常是必需的。

import requestsimport pandas as pd# NBA选秀体测数据的API端点url = "https://stats.nba.com/stats/draftcombineplayeranthro"# 构建请求参数，模拟网页上的筛选条件# LeagueID: "00" 通常代表NBA# SeasonYear: 目标赛季年份payload = {    "LeagueID": "00",    "SeasonYear": "2022-23" # 可以修改为其他赛季，例如 "2021-22"}# 模拟浏览器请求头，防止被服务器拒绝headers = {    "Referer": "https://www.nba.com/", # 模拟请求来源    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" # 模拟用户代理}# 发送GET请求，并传入参数和请求头# params参数会自动将payload字典转换为URL查询字符串response = requests.get(url, params=payload, headers=headers)# 检查请求是否成功response.raise_for_status() # 如果请求失败（非200状态码），则抛出HTTPError

2. 解析JSON响应

API通常返回JSON格式的数据。requests库提供了方便的.json()方法来解析响应内容。

# 将响应内容解析为JSON对象data = response.json()# 检查JSON结构，通常数据位于 'resultSets' 列表的第一个元素中# 'rowSet' 包含实际的数据行# 'headers' 包含列名df = pd.DataFrame(data["resultSets"][0]["rowSet"],                  columns=data["resultSets"][0]["headers"])

3. 结果展示

将解析后的数据转换为pandas DataFrame，可以方便地进行数据分析和处理。

# 打印DataFrame的前几行print(df.head())# 打印DataFrame的形状（行数，列数）print(f"nDataFrame 形状: {df.shape}")

输出示例：

   TEMP_PLAYER_ID  PLAYER_ID FIRST_NAME  LAST_NAME  ... BODY_FAT_PCT HAND_LENGTH HAND_WIDTH0         1630534    1630534      Ochai    Agbaji  ...         5.40        8.75       9.501         1631116    1631116    Patrick    Baldwin  ...         8.90        8.75       9.502         1631094    1631094      Paolo    Banchero  ...          NaN         NaN        NaN3         1631105    1631105       MarJ    Beaucha  ...         5.40        8.50      10.004         1630560    1630560      Malaki    Branham  ...         6.60        8.50       9.00[5 rows x 18 columns]DataFrame 形状: (83, 18)

完整代码示例

import requestsimport pandas as pddef get_nba_combine_anthro_data(season_year="2022-23"):    """    通过NBA官方API获取指定赛季的选秀体测数据。    Args:        season_year (str): 目标赛季年份，例如 "2022-23"。    Returns:        pandas.DataFrame: 包含选秀体测数据的DataFrame，如果获取失败则返回None。    """    url = "https://stats.nba.com/stats/draftcombineplayeranthro"    payload = {        "LeagueID": "00",        "SeasonYear": season_year    }    headers = {        "Referer": "https://www.nba.com/",        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"    }    try:        response = requests.get(url, params=payload, headers=headers, timeout=10)        response.raise_for_status()  # 如果请求失败，抛出HTTPError        data = response.json()        # 检查返回数据结构，确保包含 'resultSets'        if "resultSets" in data and len(data["resultSets"]) > 0:            row_set = data["resultSets"][0]["rowSet"]            headers = data["resultSets"][0]["headers"]            df = pd.DataFrame(row_set, columns=headers)            return df        else:            print(f"API响应中未找到数据或数据结构不符合预期。响应: {data}")            return None    except requests.exceptions.HTTPError as e:        print(f"HTTP错误发生: {e}")        print(f"响应状态码: {e.response.status_code}")        print(f"响应内容: {e.response.text}")        return None    except requests.exceptions.ConnectionError as e:        print(f"连接错误发生: {e}")        return None    except requests.exceptions.Timeout as e:        print(f"请求超时: {e}")        return None    except requests.exceptions.RequestException as e:        print(f"发生未知请求错误: {e}")        return None    except KeyError as e:        print(f"解析JSON数据时键错误: {e}。可能API响应结构发生变化。")        return Noneif __name__ == "__main__":    print("获取2022-23赛季NBA选秀体测数据...")    df_2022_23 = get_nba_combine_anthro_data("2022-23")    if df_2022_23 is not None:        print(df_2022_23.head())        print(f"n2022-23赛季数据共 {df_2022_23.shape[0]} 条记录。")    print("n获取2021-22赛季NBA选秀体测数据...")    df_2021_22 = get_nba_combine_anthro_data("2021-22")    if df_2021_22 is not None:        print(df_2021_22.head())        print(f"n2021-22赛季数据共 {df_2021_22.shape[0]} 条记录。")

注意事项与最佳实践

尊重网站政策： 在进行任何形式的数据抓取时，务必查阅网站的robots.txt文件和使用条款。NBA官方提供了API供开发者使用，通常直接调用API比解析HTML更受推荐和稳定。User-Agent和Referer： 模拟常见的浏览器User-Agent和正确的Referer头是避免被服务器拒绝的关键。如果这些信息不正确，服务器可能会返回403 Forbidden错误。错误处理： 网络请求可能因多种原因失败（如网络问题、超时、服务器拒绝）。在代码中加入try-except块来捕获requests.exceptions，可以提高程序的健壮性。请求频率限制 (Rate Limiting)： 频繁地向同一API发送请求可能会触发服务器的限流机制，导致IP被封禁。在实际应用中，应加入适当的延迟（例如使用time.sleep()）来控制请求频率。API稳定性： 网站的API结构可能会随时间变化。如果代码突然失效，首先检查API端点、参数或响应JSON结构是否发生了改变。数据清洗： 获取到的数据可能包含NaN值或其他不规范的数据，需要进一步使用pandas进行清洗和预处理。

总结

当传统网页抓取方法无法获取动态加载的数据时，通过分析浏览器的网络请求，直接调用网站的后端API是一种更高效、更稳定的解决方案。这种方法不仅能够准确获取所需数据，还能避免处理复杂的JavaScript渲染逻辑。掌握API请求的技巧，是现代数据抓取不可或缺的能力。

以上就是高效抓取NBA选秀体测数据：API请求实战指南的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/575891.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

413.8K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
linux如何安装qq
上一篇 2025年11月10日 08:29:33
即梦AI官网登录入口地址 即梦AI免费版无需下载网页版
下一篇 2025年11月10日 08:29:43

相关推荐

发表回复

登录后才能评论
关注微信