BigQuery 和 XGBoost 集成：用于二元分类的 Jupyter Notebook 教程

介绍

在为表格数据选择二元分类模型时，我决定快速尝试一种快速的非深度学习模型：梯度提升决策树（gbdt）。本文介绍了使用 bigquery 作为数据源并使用 xgboost 算法进行建模来创建 jupyter notebook 脚本的过程。

完整脚本

对于那些喜欢直接跳入脚本而不进行解释的人，这里是。请调整project_name、dataset_name和table_name以适合您的项目。

import xgboost as xgbfrom sklearn.model_selection import train_test_split, gridsearchcvfrom sklearn.metrics import precision_score, recall_score, f1_score, log_lossfrom google.cloud import bigquery# function to load data from bigquerydef load_data_from_bigquery(query): client = bigquery.client() query_job = client.query(query) df = query_job.to_dataframe() return dfdef compute_metrics(labels, predictions, prediction_probs): precision = precision_score(labels, predictions, average='macro') recall = recall_score(labels, predictions, average='macro') f1 = f1_score(labels, predictions, average='macro') loss = log_loss(labels, prediction_probs) return { 'precision': precision, 'recall': recall, 'f1': f1, 'loss': loss }# query in bigqueryquery = """select *from `..`"""# loading datadf = load_data_from_bigquery(query)# target datay = df["reaction"]# input datax = df.drop(columns=["reaction"], axis=1)# splitting data into training and validation setsx_train, x_val, y_train, y_val = train_test_split(x, y, test_size=0.2, random_state=1)# training the xgboost modelmodel = xgb.xgbclassifier(eval_metric='logloss')# setting the parameter gridparam_grid = { 'max_depth': [3, 4, 5], 'learning_rate': [0.01, 0.1, 0.2], 'n_estimators': [100, 200, 300], 'subsample': [0.8, 0.9, 1.0]}# initializing gridsearchcvgrid_search = gridsearchcv(estimator=model, param_grid=param_grid, cv=3, scoring='accuracy', verbose=1, n_jobs=-1)# executing the grid searchgrid_search.fit(x_train, y_train)# displaying the best parametersprint("best parameters:", grid_search.best_params_)# model with the best parametersbest_model = grid_search.best_estimator_# predictions on validation dataval_predictions = best_model.predict(x_val)val_prediction_probs = best_model.predict_proba(x_val)# predictions on training datatrain_predictions = best_model.predict(x_train)train_prediction_probs = best_model.predict_proba(x_train)# evaluating the model (validation data)val_metrics = compute_metrics(y_val, val_predictions, val_prediction_probs)print("optimized validation metrics:", val_metrics)# evaluating the model (training data)train_metrics = compute_metrics(y_train, train_predictions, train_prediction_probs)print("optimized training metrics:", train_metrics)

解释

从 bigquery 加载数据

以前，数据以 csv 文件的形式存储在 cloud storage 中，但缓慢的数据加载降低了我们学习过程的效率，促使我们转向 bigquery 以加快数据处理速度。

设置 bigquery 客户端

from google.cloud import bigqueryclient = bigquery.client()

此代码使用 google cloud 凭据初始化 bigquery 客户端，该凭据可以通过环境变量或 google cloud sdk 设置。

查询和加载数据

def load_data_from_bigquery(query):    query_job = client.query(query)    df = query_job.to_dataframe()    return df

该函数执行 sql 查询并将结果作为 pandas 中的 dataframe 返回，从而实现高效的数据处理。

使用 xgboost 训练模型

xgboost 是一种利用梯度提升的高性能机器学习算法，广泛用于分类和回归问题。

https://arxiv.org/pdf/1603.02754

模型初始化

import xgboost as xgbmodel = xgb.xgbclassifier(eval_metric='logloss')

这里实例化了xgbclassifier类，使用对数损失作为评估指标。

数据分割

from sklearn.model_selection import train_test_splitx_train, x_val, y_train, y_val = train_test_split(x, y, test_size=0.2, random_state=1)

该函数将数据拆分为训练集和验证集，这对于测试模型的性能和避免过度拟合至关重要。

参数优化

from sklearn.model_selection import gridsearchcvparam_grid = {    'max_depth': [3, 4, 5],    'learning_rate': [0.01, 0.1, 0.2],    'n_estimators': [100, 200, 300],    'subsample': [0.8, 0.9, 1.0]}grid_search = gridsearchcv(estimator=model, param_grid=param_grid, cv=3, scoring='accuracy', verbose=1, n_jobs=-1)grid_search.fit(x_train, y_train)

gridsearchcv 执行交叉验证以找到模型的最佳参数组合。

模型评估

使用验证数据集上的精度、召回率、f1 分数和对数损失来评估模型的性能。

def compute_metrics(labels, predictions, prediction_probs):    from sklearn.metrics import precision_score, recall_score, f1_score, log_loss    return {        'precision': precision_score(labels, predictions, average='macro'),        'recall': recall_score(labels, predictions, average='macro'),        'f1': f1_score(labels, predictions, average='macro'),        'loss': log_loss(labels, prediction_probs)    }val_metrics = compute_metrics(y_val, val_predictions, val_prediction_probs)print("optimized validation metrics:", val_metrics)

输出结果

运行笔记本时，您将得到以下输出，显示最佳参数和模型评估指标。

best parameters: {'learning_rate': 0.2, 'max_depth': 5, 'n_estimators': 300, 'subsample': 0.9}optimized validation metrics: {'precision': 0.8919952583956949, 'recall': 0.753797304483842, 'f1': 0.8078981867164722, 'loss': 0.014006406471894417}optimized training metrics: {'precision': 0.8969556573175115, 'recall': 0.7681976753444204, 'f1': 0.8199353049298048, 'loss': 0.012475375680566196}

附加信息

使用google云存储作为数据源

在某些情况下，从 google cloud storage 而不是 bigquery 加载数据可能更合适。以下函数从 cloud storage 读取 csv 文件并将其作为 pandas 中的 dataframe 返回，并且可以与 load_data_from_bigquery 函数互换使用。

from google.cloud import storagedef load_data_from_gcs(bucket_name, file_path):    client = storage.client()    bucket = client.get_bucket(bucket_name)    blob = bucket.blob(file_path)    data = blob.download_as_text()    df = pd.read_csv(io.stringio(data), encoding='utf-8')    return df

使用示例：

bucket_name = ''file_path = ''df = load_data_from_gcs(bucket_name, file_path)

使用 lightgbm 训练模型

如果您想使用 lightgbm 而不是 xgboost，只需在同一设置中将 xgbclassifier 替换为 lgbmclassifier 即可。

import lightgbm as lgbmodel = lgb.LGBMClassifier()

结论

未来的文章将介绍如何使用 bigquery ml (bqml) 进行训练。

以上就是BigQuery 和 XGBoost 集成：用于二元分类的 Jupyter Notebook 教程的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容，请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1348940.html

打赏

微信扫一扫

支付宝扫一扫

0 0

关于作者

程序猿签约作者

414.1K 文章

0 评论

2 粉丝

这个人很懒，什么都没有留下～

了解 Python 中常规类和数据类之间的差异

上一篇 2025年12月13日 12:27:19

使用 Asyncio 创建和管理任务

下一篇 2025年12月13日 12:27:38

好文分享

如何使用正则表达式完整匹配HTML中Script标签的中间内容？

完整匹配Script标签中间内容的正则表达式正则表达式是用于从文本中查找特定模式的高级工具。对于HTML中Script标签中间内容的匹配，需要一个特定的正则表达式来实现完整的匹配。匹配表达式 /(<scriptb([^”]+|”[^”]*”)*>)([sS]*?)()/g 立即学习“…

程序猿
2025年12月24日
23000
好文分享

CSS mask属性无法获取图片：为什么我的图片不见了？

CSS mask属性无法获取图片在使用CSS mask属性时，可能会遇到无法获取指定照片的情况。这个问题通常表现为：网络面板中没有请求图片：尽管CSS代码中指定了图片地址，但网络面板中却找不到图片的请求记录。问题原因：此问题的可能原因是浏览器的兼容性问题。某些较旧版本的浏览器可能不支持CSS…

程序猿
2025年12月24日
9000
好文分享

如何用dom2img解决网页打印样式不显示的问题？

用dom2img解决网页打印样式不显示的问题想将网页以所见即打印的的效果呈现，需要采取一些措施，特别是在使用了bootstrap等大量采用外部css样式的框架时。问题根源在常规打印操作中，浏览器通常会忽略css样式等非必要的页面元素，导致打印出的结果与网页显示效果不一致。这是因为打印机制只识别…

程序猿
2025年12月24日
8000
好文分享

如何用 CSS 模拟不影响其他元素的链接移入效果？

如何模拟 css 中链接的移入效果在 css 中，模拟移入到指定链接的效果尤为复杂，因为链接的移入效果不影响其他元素。要实现这种效果，最简单的方法是利用放大，例如使用 scale 或 transform 元素的 scale 属性。下面提供两种方法： scale 属性： .goods-item:ho…

程序猿
2025年12月24日
7000
好文分享

如何调整Flexbox布局中项目对齐方式？

正文：调整弹性盒子（Flexbox）布局中项目的对齐方式有几个方法：文本对齐问题对于第一个问题，即文字不在中的问题，这是因为设置了 height 属性。Flexbox 子元素的高度被拉伸到了 height 规定的大小，因此文字无法正常显示在内容内。解决方案是移除 height 属性，让子元素…

程序猿
2025年12月24日
4000
好文分享

如何利用BFC和inline-block解决兄弟元素间margin塌陷问题？

BFC清除兄弟元素间margin塌陷原理 margin塌陷问题当相邻的块级元素垂直排列，它们的margin可能会塌陷并重叠，称为margin塌陷。 BFC清除margin塌陷清除margin塌陷的一种常见方法是将下方元素包裹在一个新的块级格式化上下文（BFC）中，因为BFC之间不会相互影响。 d…

程序猿
2025年12月24日
5000
好文分享

Uniapp 中如何不拉伸不裁剪地展示图片？

灵活展示图片：如何不拉伸不裁剪在界面设计中，常常需要以原尺寸展示用户上传的图片。本文将介绍一种在 uniapp 框架中实现该功能的简单方法。对于不同尺寸的图片，可以采用以下处理方式：极端宽高比：撑满屏幕宽度或高度，再等比缩放居中。非极端宽高比：居中显示，若能撑满则撑满。然而，如果需要不拉伸不…

程序猿
2025年12月24日
4000
好文分享

PC端H5项目如何实现适配：流式布局、响应式设计和两套样式？

PC端的适配方案及PC与H5兼顾的实现方案探讨在开发H5项目时，常用的屏幕适配方案是postcss-pxtorem或postcss-px-to-viewport，通常基于iPhone 6标准作为设计稿。但对于PC端网项目，处理不同屏幕大小需要其他方案。 PC端屏幕适配方案 PC端屏幕适配一般采用流…

程序猿
2025年12月24日
3000
好文分享

CSS 元素设置 10em 和 transition 后为何没有放大效果？

CSS 元素设置 10em 和 transition 后为何无放大效果？你尝试设置了一个 .box 类，其中包含字体大小为 10em 和过渡持续时间为 2 秒的文本。当你载入到页面时，它没有像 YouTube 视频中那样产生放大效果。原因可能在于你将 CSS 直接写在页面中在你的代码示例中，C…

程序猿
2025年12月24日
4000
好文分享

如何实现类似横向U型步骤条的组件？

横向U型步骤条寻求替代品希望找到类似横向U型步骤条的组件或 CSS 实现。潜在解决方案根据给出的参考图片，类似的组件有：图片所示组件：图片提供了组件的外观，但没有提供具体的实现方式。参考链接：提供的链接指向了 SegmentFault 上的另一个问题，其中可能包含相关的讨论或解决方案建议。 …

程序猿
2025年12月24日
8000
好文分享

如何让小说网站控制台显示乱码，同时网页内容正常显示？

如何在不影响用户界面的情况下实现控制台乱码？当在小说网站上下载小说时，大家可能会遇到一个问题：网站上的文本在网页内正常显示，但是在控制台中却是乱码。如何实现此类操作，从而在不影响用户界面（UI）的情况下保持控制台乱码呢？答案在于使用自定义字体。网站可以通过在服务器端配置自定义字体，并通过在客户端…

程序猿
2025年12月24日
8001
好文分享

如何优化CSS Grid布局中子元素排列和宽度问题？

css grid布局中的优化问题在使用css grid布局时可能会遇到以下问题：问题1：无法控制box1中li的布局 box1设置了grid-template-columns: repeat(auto-fill, 20%)，这意味着容器将自动填充尽可能多的20%宽度的列。当li数量大于5时，它们…

程序猿
2025年12月24日
8000
好文分享

SASS 中的 Mixins

mixin 是 css 预处理器提供的工具，虽然它们不是可以被理解的函数，但它们的主要用途是重用代码。不止一次，我们需要创建多个类来执行相同的操作，但更改单个值，例如字体大小的多个类。 .fs-10 { font-size: 10px;}.fs-20 { font-size: 20px;}.fs-…

程序猿
2025年12月24日
0000
好文分享

绝对定位元素在不同分辨率下偏移，如何解决？

盒子里的绝对定位元素偏移问题及解决方法在自定义的输入框checkbox中，对于不同的分辨率设置的居中样式会发生意外的像素偏移，影响选中状态下小红点的居中效果。偏移的原因在于使用像素单位px。不同分辨率下，像素点的显示方式不同，导致视觉上的错位。解决方法是将像素单位替换为相对单位，如rem或em…

程序猿
2025年12月24日
4000
好文分享

如何在地图上轻松创建气泡信息框？

地图上气泡信息框的巧妙生成地图上气泡信息框是一种常用的交互功能，它简便易用，能够为用户提供额外信息。本文将探讨如何借助地图库的功能轻松创建这一功能。利用地图库的原生功能大多数地图库，如高德地图，都提供了现成的信息窗体和右键菜单功能。这些功能可以通过以下途径实现：高德地图 JS API 参考文…

程序猿
2025年12月24日
4000
好文分享

如何使用地图库制作悬浮信息框和右键菜单？

使用地图库制作悬浮信息框和右键菜单的地图显示想要创建交互式的带有悬浮信息框和右键菜单的地图显示，使用地图库是一个便捷的方法。一般的地图库都提供对应的功能，让你轻松实现这些特性。功能使用以高德地图为例，在使用它的 JS API 1.4 时，可以通过以下方式添加信息窗体和右键菜单：信息窗体：使用…

程序猿
2025年12月24日
0000
好文分享

如何使用 scroll-behavior 属性实现元素scrollLeft变化时的平滑动画？

如何实现元素scrollleft变化时的平滑动画效果？在许多网页应用中，滚动容器的水平滚动条（scrollleft）需要频繁使用。为了让滚动动作更加自然，你希望给scrollleft的变化添加动画效果。解决方案：scroll-behavior 属性要实现scrollleft变化时的平滑动画效果…

程序猿
2025年12月24日
0000
好文分享

CSS mask 属性无法加载图片：浏览器问题还是代码错误？

CSS mask 属性请求图片失败在使用 CSS mask 属性时，您遇到了一个问题，即图片没有被请求获取。这可能是由于以下原因：浏览器问题：某些浏览器可能在处理 mask 属性时存在 bug。尝试更新到浏览器的最新版本。代码示例中的其他信息：您提供的代码示例中还包含其他 HTML 和 CSS …

程序猿
2025年12月24日
0000
好文分享

如何为滚动元素添加平滑过渡，使滚动条滑动时更自然流畅？

给滚动元素平滑过渡如何在滚动条属性（scrollleft）发生改变时为元素添加平滑的过渡效果？解决方案：scroll-behavior 属性为滚动容器设置 scroll-behavior 属性可以实现平滑滚动。 html 代码： click the button to slide right!…

程序猿
2025年12月24日
5000
好文分享

如何解决用户代理样式表导致页面元素无法显示的问题？

去除用户代理样式表的样式在项目中遇到用户代理样式表的样式遮盖了页面元素，导致无法显示的情况，这可能是因为安装了去广告插件导致的。通常，用户代理样式表是在浏览器中预定义的，用于提供默认的样式。然而，在特殊情况下，某些插件或扩展程序可能会注入自己的用户代理样式表，从而覆盖页面上的现有样式。在这种情…

程序猿
2025年12月24日
0000