`"""# loading datadf = load_data_from_bigquery(query)# target datay = df["reaction"]# input datax = df.drop(columns=["reaction"], axis=1)# splitting data into training and validation setsx_train, x_val, y_train, y_val = train_test_split(x, y, test_size=0.2, random_state=1)# training the xgboost modelmodel = xgb.xgbclassifier(eval_metric='logloss')# setting the parameter gridparam_grid = { 'max_depth': [3, 4, 5], 'learning_rate': [0.01, 0.1, 0.2], 'n_estimators': [100, 200, 300], 'subsample': [0.8, 0.9, 1.0]}# initializing gridsearchcvgrid_search = gridsearchcv(estimator=model, param_grid=param_grid, cv=3, scoring='accuracy', verbose=1, n_jobs=-1)# executing the grid searchgrid_search.fit(x_train, y_train)# displaying the best parametersprint("best parameters:", grid_search.best_params_)# model with the best parametersbest_model = grid_search.best_estimator_# predictions on validation dataval_predictions = best_model.predict(x_val)val_prediction_probs = best_model.predict_proba(x_val)# predictions on training datatrain_predictions = best_model.predict(x_train)train_prediction_probs = best_model.predict_proba(x_train)# evaluating the model (validation data)val_metrics = compute_metrics(y_val, val_predictions, val_prediction_probs)print("optimized validation metrics:", val_metrics)# evaluating the model (training data)train_metrics = compute_metrics(y_train, train_predictions, train_prediction_probs)print("optimized training metrics:", train_metrics)
解释
从 bigquery 加载数据
以前，数据以 csv 文件的形式存储在 cloud storage 中，但缓慢的数据加载降低了我们学习过程的效率，促使我们转向 bigquery 以加快数据处理速度。
设置 bigquery 客户端
from google.cloud import bigqueryclient = bigquery.client()
此代码使用 google cloud 凭据初始化 bigquery 客户端，该凭据可以通过环境变量或 google cloud sdk 设置。
查询和加载数据
def load_data_from_bigquery(query): query_job = client.query(query) df = query_job.to_dataframe() return df
该函数执行 sql 查询并将结果作为 pandas 中的 dataframe 返回，从而实现高效的数据处理。
使用 xgboost 训练模型
xgboost 是一种利用梯度提升的高性能机器学习算法，广泛用于分类和回归问题。
https://arxiv.org/pdf/1603.02754
模型初始化
import xgboost as xgbmodel = xgb.xgbclassifier(eval_metric='logloss')
这里实例化了xgbclassifier类，使用对数损失作为评估指标。
数据分割
from sklearn.model_selection import train_test_splitx_train, x_val, y_train, y_val = train_test_split(x, y, test_size=0.2, random_state=1)
该函数将数据拆分为训练集和验证集，这对于测试模型的性能和避免过度拟合至关重要。
参数优化
from sklearn.model_selection import gridsearchcvparam_grid = { 'max_depth': [3, 4, 5], 'learning_rate': [0.01, 0.1, 0.2], 'n_estimators': [100, 200, 300], 'subsample': [0.8, 0.9, 1.0]}grid_search = gridsearchcv(estimator=model, param_grid=param_grid, cv=3, scoring='accuracy', verbose=1, n_jobs=-1)grid_search.fit(x_train, y_train)
gridsearchcv 执行交叉验证以找到模型的最佳参数组合。
模型评估
使用验证数据集上的精度、召回率、f1 分数和对数损失来评估模型的性能。
def compute_metrics(labels, predictions, prediction_probs): from sklearn.metrics import precision_score, recall_score, f1_score, log_loss return { 'precision': precision_score(labels, predictions, average='macro'), 'recall': recall_score(labels, predictions, average='macro'), 'f1': f1_score(labels, predictions, average='macro'), 'loss': log_loss(labels, prediction_probs) }val_metrics = compute_metrics(y_val, val_predictions, val_prediction_probs)print("optimized validation metrics:", val_metrics)
输出结果
运行笔记本时，您将得到以下输出，显示最佳参数和模型评估指标。
best parameters: {'learning_rate': 0.2, 'max_depth': 5, 'n_estimators': 300, 'subsample': 0.9}optimized validation metrics: {'precision': 0.8919952583956949, 'recall': 0.753797304483842, 'f1': 0.8078981867164722, 'loss': 0.014006406471894417}optimized training metrics: {'precision': 0.8969556573175115, 'recall': 0.7681976753444204, 'f1': 0.8199353049298048, 'loss': 0.012475375680566196}
附加信息
使用google云存储作为数据源
在某些情况下，从 google cloud storage 而不是 bigquery 加载数据可能更合适。以下函数从 cloud storage 读取 csv 文件并将其作为 pandas 中的 dataframe 返回，并且可以与 load_data_from_bigquery 函数互换使用。
from google.cloud import storagedef load_data_from_gcs(bucket_name, file_path): client = storage.client() bucket = client.get_bucket(bucket_name) blob = bucket.blob(file_path) data = blob.download_as_text() df = pd.read_csv(io.stringio(data), encoding='utf-8') return df
使用示例：
bucket_name = ''file_path = ''df = load_data_from_gcs(bucket_name, file_path)
使用 lightgbm 训练模型
如果您想使用 lightgbm 而不是 xgboost，只需在同一设置中将 xgbclassifier 替换为 lgbmclassifier 即可。
import lightgbm as lgbmodel = lgb.LGBMClassifier()
结论
未来的文章将介绍如何使用 bigquery ml (bqml) 进行训练。
以上就是BigQuery 和 XGBoost 集成：用于二元分类的 Jupyter Notebook 教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。https://www.chuangxiangniao.com/p/1348940.html
(0)
打赏
了解 Python 中常规类和数据类之间的差异
2025年12月13日 12:27:19
使用 Asyncio 创建和管理任务
下一篇
2025年12月13日 12:27:38
相关推荐
require用于声明项目运行必需的依赖，如框架、数据库组件和第三方SDK，这些包会随项目部署到生产环境；2. require-dev用于声明仅在开发和测试阶段需要的工具，如PHPUnit、PHPStan、Faker等，不会默认部署到生产环境；3. 安装时composer install根据环境决定…
在Django电商项目中，当使用AJAX动态加载过滤后的产品列表时，常遇到图片无法正常显示的问题。这通常是由于前端模板中图片加载方式（如data-setbg属性结合JavaScript库）与AJAX动态内容更新机制不兼容所致。解决方案是直接在AJAX返回的HTML中使用标准的标签来渲染图片，确保浏览…
推荐开源免费PHP开发工具以提升效率：VS Code、Sublime Text轻量高效，PhpStorm专业强大；调试用Xdebug、Kint、Ray；依赖管理选Composer；代码质量工具包括PHPStan、Psalm、PHP_CodeSniffer；数据库管理可用%ignore_a_1%MyA…
CSS动画指南：手把手教你制作快速闪烁特效 CSS动画是网页设计中常用的技术之一，通过CSS属性的过渡和变化，能够为网页增添生动和吸引力。其中，快速闪烁特效是一种常见而又引人注目的效果，本文将为您详细介绍如何利用CSS实现这一特效，并提供具体的代码示例。 在开始之前，我们先明确一下快速闪烁特效的效果…
本教程探讨golang中如何高效控制结构体字段在json序列化时的可见性。当需要将包含敏感信息的结构体数组转换为json响应时，通过利用`encoding/json`包提供的结构体标签，特别是`json:”-“`，可以轻松实现对特定字段的忽略，从而避免敏感数据泄露，确保api…
本文旨在探讨Python中海象运算符（:=）在条件赋值场景下的应用。通过对比传统if/else语句与海象运算符，以及条件表达式，分析海象运算符在简化代码、提高可读性方面的优势与局限性。并通过具体示例，展示如何在列表推导式等场景下合理使用海象运算符，同时强调其潜在的复杂性及替代方案，帮助开发者更好地掌…
提升Debian系统syslog (通常基于rsyslog)性能，关键在于精简配置和高效处理日志。以下策略能有效优化日志管理，提升系统整体性能： 精简配置，高效加载: 在rsyslog配置文件中，仅加载必要的输入、输出和解析模块。 使用全局指令设置日志级别和格式，避免不必要的处理。 自定义模板: 创…
首先创建含enctype的HTML表单，再用PHP接收文件，检查目录、移动临时文件，验证类型与大小，生成唯一文件名，并调整php.ini限制以确保上传成功。 如果您尝试在PHP项目中添加图片上传功能，但服务器无法正确接收或保存文件，则可能是由于表单配置、文件处理逻辑或安全限制的问题。以下是实现该功能…
对于任何追求在线成功的企业来说，拥有一个迷人且实用的网站至关重要。在 Arham Web Works，我们了解创建网页设计的复杂性，不仅能吸引访问者，还能将他们转化为忠实的客户。我们的网页设计方法是全面的，将美学吸引力与无缝功能相结合。本指南将深入探讨网页设计服务的关键方面，展示为什么我们的专业知识…
本教程旨在帮助开发者在 CodeIgniter 框架中，从日期字符串中准确提取周数。我们将使用 PHP 内置的 DateTime 类，并提供详细的代码示例和注意事项，确保您能够轻松地在项目中实现此功能。 使用 DateTime 类获取周数 PHP 的 DateTime 类提供了一种便捷的方式来处理日…
比特币是一种去中心化的数字货币，基于区块链技术实现点对点交易，具有匿名性、有限发行和不可篡改等特点；新手可通过交易所购买，P2P交易获得比特币，常用平台包括Binance、OKX和Huobi；交易流程包括注册账户、实名认证、绑定支付方式、充值法币并下单购买，可选择市价单或限价单；比特币存储方式有交易…
SFINAE 是“替换失败不是错误”的原则，指模板实例化时若参数替换导致错误，只要存在其他合法候选，编译器不报错而是继续重载决议。它用于条件启用模板、类型检测等场景，如通过 decltype 或 enable_if 控制函数重载，实现类型特征判断。尽管 C++20 引入 Concepts 简化了部分…
如何在追加元素后使其绑定类事件生效 在页面中引入三方 JavaScript 类并通过添加相应 class 来调用事件方法是一种常见的做法。然而，如果通过 JavaScript 追加标签元素，即使添加了对应的 class，事件也可能无法生效。 为了解决这个问题，可以尝试以下步骤： 检查追加的标签是否为…
滚动条可以存在也可以不存在，本文主要介绍了html 隐藏滚动条和去除滚动条的方法的相关资料,大家一起来学习一下html隐藏滚动条或去除滚动条的方法吧。 1. html 标签加属性 XML/HTML Code复制内容到剪贴板 2.body中加入以下代码 立即学习“前端免费学习笔记（深入）”； html…
在Golang的gRPC流式通信中，必须通过context.Context处理异常。应监听上下文取消或超时，及时释放资源，设置合理超时，避免连接长时间挂起，并在goroutine中通过context控制生命周期。 在使用 Golang 和 gRPC 实现流式通信时，异常处理是确保服务健壮性的关键部分…
本文旨在解决go语言mgo库中构建复杂查询时，特别是涉及嵌套`bson.m`和日期范围筛选的常见错误。我们将深入剖析`bson.m`的类型特性，解释为何直接索引`interface{}`会导致“invalid operation”错误，并提供一种推荐的、结构清晰的代码重构方案，以确保查询条件能够正确…
首先保存文件为.html格式，再通过浏览器或Live Server插件打开预览；推荐安装Live Server实现本地服务器运行与实时刷新，提升开发体验。 在 VS Code 上运行 HTML 文件并不需要复杂的配置，只需几个简单步骤即可预览页面效果。VS Code 本身是一个代码编辑器，不直接运行…
max-height 属性设置元素的最大高度。 说明 该属性值会对元素的高度设置一个最高限制。因此，元素可以比指定值矮，但不能比其高。不允许指定负值。 注意：max-height 属性不包括外边距、边框和内边距。 立即学习“前端免费学习笔记（深入）”； 值描述none 默认。定义对元素被允许的最大高…
很多人想把txt文档转为html，但是却不知道怎么把txt转为html，下面为你推荐一款比较好用的转换器，并且可以把所有的文档都可以转为html格式的，下面我们看一下如何把TXT转化为html格式的文档。 1.首先我们在百度上搜索PDF转换器，我们一定要到正规的网站上下载，一般正规的网站的上的软件都…
微信扫一扫 
支付宝扫一扫 
