本文旨在解决kerastuner在超参数调优过程中，使用f1 score、auc等自定义或非默认指标作为目标时常见的`keyerror`问题。核心在于明确kerastuner识别目标指标的机制，即指标必须在模型编译时被正确定义和包含，并且在kerastuner的`objective`中，目标名称需严格遵循`val_metric_name_string`的格式，以确保调优器能从训练日志中正确提取指标值。
引言：KerasTuner自定义指标的挑战
KerasTuner是Keras官方推荐的超参数调优库，它提供了强大的功能来自动化寻找最优模型架构和训练参数的过程。然而，当开发者尝试使用诸如F1 Score、AUC（Area Under the Curve）等在分类任务中更为专业和常用的指标作为调优目标时，常常会遇到KeyError。这通常是由于KerasTuner在训练日志中找不到指定指标而引发的运行时错误，例如KeyError: ‘val_f1’。理解KerasTuner如何识别和追踪这些指标，是解决此类问题的关键。
KerasTuner目标指标机制解析
KerasTuner通过读取Keras模型训练过程中生成的日志（logs字典）来获取各个指标的值，从而评估不同超参数组合的表现。当您在kt.RandomSearch或任何其他KerasTuner调优器中指定objective时，KerasTuner会尝试在这些日志中查找对应名称的指标。
其核心机制包括以下两点：
指标名称约定：KerasTuner期望的目标指标名称通常遵循val_metric_name_string的格式。这里的metric_name_string是Keras模型在编译时所使用的指标的名称（通常是其类名的snake_case形式）。例如，如果您想以验证集上的F1 Score作为目标，那么目标名称应为val_f1_score。模型编译时包含：要使KerasTuner能够追踪某个指标，该指标必须在Keras模型的compile方法中被明确地包含在metrics列表中。如果模型在编译时没有指定该指标，那么它就不会出现在训练日志中，KerasTuner自然也无法找到它，从而导致KeyError。
指标类型及其在KerasTuner中的应用
Keras支持两种主要类型的指标：内置指标和自定义指标。
1. 内置Keras指标
Keras提供了丰富的内置指标，如accuracy、loss、mse、mae、AUC、Precision、Recall等。
使用方法：在model.compile中，您可以直接使用这些指标的字符串名称（通常是类名的snake_case形式）或其类实例。
# 使用字符串名称model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy', 'auc'])# 使用类实例import tensorflow as tfmodel.compile(optimizer='adam', loss='binary_crossentropy', metrics=[tf.keras.metrics.Accuracy(), tf.keras.metrics.AUC()])
KerasTuner中的目标名称：对于内置指标，KerasTuner的目标名称是其在验证集上的日志名称。例如：accuracy -> val_accuracyauc (from tf.keras.metrics.AUC()) -> val_aucf1_score (from tf.keras.metrics.F1Score()) -> val_f1_score
2. 自定义Keras指标
当内置指标无法满足特定需求时，您可以创建自定义指标。这通常通过继承tf.keras.metrics.Metric类来实现。
实现方式：自定义指标需要实现__init__、update_state、result和reset_state方法。关键在于确保自定义指标在model.compile中被正确传递，并且其内部定义的名称（或Keras默认推断的名称）与KerasTuner期望的val_前缀名称匹配。KerasTuner中的目标名称：如果您自定义了一个名为MyCustomMetric的指标，其在日志中的名称通常是my_custom_metric。那么，在KerasTuner中，对应的目标名称将是val_my_custom_metric。
实战：在KerasTuner中使用F1 Score作为调优目标
我们将以F1 Score为例，演示如何在KerasTuner中正确配置自定义指标。这里我们优先使用TensorFlow 2.15+或Keras 2.15+中内置的tf.keras.metrics.F1Score。
步骤一：导入F1 Score指标
首先，从tensorflow.keras.metrics中导入F1Score。
import tensorflow as tffrom tensorflow.keras import metrics# ... 其他导入 ...
步骤二：在模型编译时包含F1 Score
在您的HyperModel的build方法中，当编译模型时，将F1Score实例添加到metrics列表中。请注意，F1Score的默认名称是f1_score。
class MyHyperModel(kt.HyperModel): def build(self, hp): model = Sequential() # ... 模型层定义 ... model.add(layers.Dense(1, activation="sigmoid")) # 编译模型时包含F1Score model.compile( optimizer=Adam(learning_rate=hp.Float('learning_rate', 5e-5, 5e-1, step=0.001)), loss='binary_crossentropy', metrics=['accuracy', metrics.F1Score(thresholds=0.5)] # 添加F1Score实例 ) return model
说明：metrics.F1Score(thresholds=0.5)会计算二分类问题的F1 Score，并以f1_score作为其在日志中的名称。
步骤三：配置KerasTuner的调优目标
在初始化KerasTuner调优器时，将objective设置为”val_f1_score”，并指定优化方向。
tuner = kt.RandomSearch( MyHyperModel(), objective=kt.Objective("val_f1_score", direction="max"), # 使用val_f1_score作为目标 max_trials=100, overwrite=True, directory="my_dir", project_name="tune_hypermodel",)
完整示例代码
以下是一个整合了上述步骤的完整示例，演示如何在KerasTuner中使用F1 Score作为调优目标。
import keras_tuner as ktimport pandas as pdfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import classification_reportimport tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layersfrom tensorflow.keras.models import Sequentialfrom tensorflow.keras.optimizers import Adamfrom tensorflow.keras.regularizers import l2from tensorflow.keras import metrics # 导入metrics模块# 模拟数据# 为了使示例可运行，我们创建一些虚拟数据num_samples = 1000num_features = 10X = pd.DataFrame(tf.random.normal((num_samples, num_features)).numpy())y = pd.DataFrame(tf.random.uniform((num_samples, 1), minval=0, maxval=2, dtype=tf.int32)).iloc[:, 0]X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)class MyHyperModel(kt.HyperModel): def build(self, hp): model = Sequential() model.add(layers.Flatten(input_shape=(X_train.shape[1],))) # 确保输入形状正确 model.add( layers.Dense( units=hp.Int("units", min_value=24, max_value=128, step=10), activation="relu", kernel_regularizer=l2(hp.Float('l2_reg', 1e-5, 1e-2, sampling='log')) # 添加L2正则化作为超参数 ) ) model.add(layers.Dense(1, activation="sigmoid")) # 二分类输出层 # 编译模型，包含F1Score作为评估指标 model.compile( optimizer=Adam(learning_rate=hp.Float('learning_rate', 5e-5, 5e-1, sampling='log')), loss='binary_crossentropy', metrics=['accuracy', metrics.F1Score(thresholds=0.5)] # 添加F1Score ) return model def fit(self, hp, model, *args, **kwargs): return model.fit( *args, batch_size=hp.Choice("batch_size", [16, 32, 64]), # 调整batch_size选项 epochs=hp.Int('epochs', min_value=5, max_value=25, step=5), **kwargs, )# 初始化KerasTuner的RandomSearchtuner = kt.RandomSearch( MyHyperModel(), objective=kt.Objective("val_f1_score", direction="max"), # 目标设置为val_f1_score，方向为最大化 max_trials=10, # 减少试验次数以便快速运行示例 overwrite=True, directory="my_dir", project_name="tune_hypermodel_f1",)# 开始搜索print("开始搜索超参数...")tuner.search(X_train, y_train, validation_data=(X_test, y_test), callbacks=[keras.callbacks.EarlyStopping('val_loss', patience=3)])print("搜索完成。")# 获取最佳超参数和模型best_hps = tuner.get_best_hyperparameters(num_trials=1)[0]best_model = tuner.get_best_models(num_models=1)[0]print(f"n最佳超参数: {best_hps.values}")loss, accuracy, f1_score = best_model.evaluate(X_test, y_test, verbose=0)print(f"最佳模型在测试集上的F1 Score: {f1_score:.4f}")
注意事项与常见问题
KeyError诊断：当出现KeyError时，首先检查：模型编译时是否包含了您希望作为调优目标的指标。kt.Objective中指定的名称是否与Keras日志中该指标的名称完全匹配，并且带有val_前缀。例如，tf.keras.metrics.AUC()在日志中通常是auc，那么目标应是val_auc。验证集：KerasTuner的val_前缀明确表示目标是基于验证集计算的指标。确保您的tuner.search调用中提供了validation_data。TensorFlow/Keras版本兼容性：部分高级指标（如tf.keras.metrics.F1Score）可能需要较新版本的TensorFlow（通常是2.15或更高版本）或Keras。如果您的版本较低，可能需要自定义实现这些指标。自定义指标命名：如果您创建了自定义指标，确保其name属性在tf.keras.metrics.Metric子类中被正确设置，或者Keras能自动推断出一个合理的snake_case名称。例如，如果您的类名为MyCustomF1，KerasTuner可能期望val_my_custom_f1。指标方向：kt.Objective中的direction参数（”max”或”min”）非常重要，它告诉KerasTuner是最大化还是最小化该指标。F1 Score、AUC通常是越大越好（”max”），而损失（loss）通常是越小越好（”min”）。
总结
在KerasTuner中使用F1 Score、AUC等自定义或非默认指标作为调优目标是完全可行的。关键在于理解KerasTuner如何与Keras模型的训练日志交互，并遵循其命名约定。通过在模型编译时明确包含所需指标，并在KerasTuner的Objective中以val_metric_name_string的格式正确指定目标名称，您就可以充分利用这些高级指标来指导超参数搜索，从而找到性能更优的模型。
以上就是KerasTuner中自定义指标（如F1、AUC）作为调优目标的实践指南的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1382719.html
微信扫一扫 
支付宝扫一扫 
