本文旨在解决kerastuner在使用f1分数、auc等自定义或非默认内置指标作为超参数调优目标时常见的`keyerror`问题。我们将详细阐述如何正确定义和配置这些指标，包括内置指标的命名规范以及如何将自定义指标集成到keras模型的编译和kerastuner的`objective`设置中，确保kerastuner能够成功识别并跟踪这些指标，从而实现高效的超参数搜索。
理解KerasTuner的优化目标与指标
在使用KerasTuner进行超参数调优时，我们通常会指定一个优化目标（objective），例如”val_accuracy”或”val_loss”。然而，当尝试使用F1分数、AUC（Area Under the Curve）等更复杂的评估指标作为目标时，用户可能会遇到KeyError，提示KerasTuner无法在训练日志中找到指定的指标。这通常是因为对KerasTuner如何识别和跟踪指标存在误解。
KerasTuner的objective参数实际上是期望一个字符串，该字符串对应于Keras模型在训练过程中（通过model.fit）产生的日志（logs）字典中的键。这个键通常遵循特定的命名约定，特别是对于验证集上的指标。
KerasTuner支持的指标类型
KerasTuner支持两种类型的指标作为优化目标：
内置指标 (Built-in Metrics)：Keras框架提供了一系列预定义的指标，如Accuracy、MeanAbsoluteError、AUC、F1Score等。这些指标可以直接在模型编译时使用。自定义指标 (Custom Metrics)：如果Keras内置指标无法满足需求，用户可以根据业务逻辑自行创建指标，通过继承tf.keras.metrics.Metric类来实现。
无论使用哪种类型的指标，关键在于确保KerasTuner能够通过正确的名称在训练日志中找到它们。
正确配置内置指标作为优化目标
要将Keras的内置指标（例如AUC或F1Score）作为KerasTuner的优化目标，需要遵循以下两个核心步骤：
1. 在模型编译时包含目标指标
您必须在Keras模型的compile方法中明确指定要使用的指标。这可以通过指标的字符串名称或其实例来完成。指标的字符串名称通常是其类名的“蛇形命名法”（snake_case）形式。
示例：如果您想使用tf.keras.metrics.AUC或tf.keras.metrics.F1Score，您需要像这样编译模型：
import tensorflow as tffrom tensorflow import keras# ... (模型定义)model.compile( optimizer='adam', loss='binary_crossentropy', metrics=[ 'accuracy', # 内置准确率 tf.keras.metrics.AUC(name='auc_score'), # 使用实例并指定名称 tf.keras.metrics.F1Score(average='macro', name='f1_score') # 使用实例并指定名称 ])
注意： 对于TensorFlow 2.15+或Keras 3，tf.keras.metrics.F1Score和tf.keras.metrics.AUC是内置的。在旧版本中，可能需要自定义实现或使用第三方库。
2. 在KerasTuner的objective中指定正确的名称
KerasTuner在查找验证集上的指标时，会期望一个特定格式的名称：”val_{metric_name_string}”。这里的metric_name_string是指标在模型编译时实际使用的名称。
如果编译时使用字符串名称，例如metrics=[‘mean_absolute_error’]，则目标名称为”val_mean_absolute_error”。如果编译时使用指标实例并指定了name参数，例如tf.keras.metrics.AUC(name=’auc_score’)，则目标名称为”val_auc_score”。
示例：继续上面的例子，如果想以验证集上的F1分数为优化目标：
import keras_tuner as kttuner = kt.RandomSearch( MyHyperModel(), objective=kt.Objective("val_f1_score", direction="max"), # 对应上面编译时f1_score的验证集名称 max_trials=100, overwrite=True, directory="my_dir", project_name="tune_hypermodel",)
集成自定义指标作为优化目标
如果您需要一个Keras内置指标库中没有的自定义指标，您需要：
1. 定义自定义指标类
通过继承tf.keras.metrics.Metric类来创建您的自定义指标。
import tensorflow as tffrom tensorflow.keras import backend as Kclass CustomF1Score(tf.keras.metrics.Metric): def __init__(self, name='custom_f1_score', **kwargs): super(CustomF1Score, self).__init__(name=name, **kwargs) self.true_positives = self.add_weight(name='tp', initializer='zeros') self.false_positives = self.add_weight(name='fp', initializer='zeros') self.false_negatives = self.add_weight(name='fn', initializer='zeros') def update_state(self, y_true, y_pred, sample_weight=None): y_true = tf.cast(y_true, tf.float32) y_pred = tf.cast(tf.round(y_pred), tf.float32) # 假设二分类且输出是概率 tp = K.sum(y_true * y_pred) fp = K.sum((1 - y_true) * y_pred) fn = K.sum(y_true * (1 - y_pred)) self.true_positives.assign_add(tp) self.false_positives.assign_add(fp) self.false_negatives.assign_add(fn) def result(self): precision = self.true_positives / (self.true_positives + self.false_positives + K.epsilon()) recall = self.true_positives / (self.true_positives + self.false_negatives + K.epsilon()) f1 = 2 * (precision * recall) / (precision + recall + K.epsilon()) return f1 def reset_state(self): self.true_positives.assign(0.) self.false_positives.assign(0.) self.false_negatives.assign(0.)
2. 在模型编译时使用自定义指标
将您的自定义指标实例添加到模型的metrics列表中。
# ... (模型定义)model.compile( optimizer='adam', loss='binary_crossentropy', metrics=[ 'accuracy', CustomF1Score(name='my_f1') # 使用自定义F1分数，并指定名称 ])
3. 在KerasTuner的objective中指定正确的名称
同样，遵循”val_{metric_name_string}”的命名约定。
tuner = kt.RandomSearch( MyHyperModel(), objective=kt.Objective("val_my_f1", direction="max"), # 对应上面自定义指标的名称 max_trials=100, overwrite=True, directory="my_dir", project_name="tune_hypermodel",)
完整示例：使用F1分数作为KerasTuner优化目标
下面是基于原始问题的修改版MyHyperModel，演示如何将F1Score（假设为TF 2.15+内置）作为KerasTuner的优化目标。
import keras_tuner as ktimport tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layersfrom tensorflow.keras.models import Sequentialfrom tensorflow.keras.optimizers import Adam# 假设X_train, y_train, X_test, y_test 已定义class MyHyperModel(kt.HyperModel): def build(self, hp): model = Sequential() model.add(layers.Flatten(input_shape=(X_train.shape[1],))) # 假设输入是二维数据 model.add( layers.Dense( units=hp.Int("units", min_value=24, max_value=128, step=10), activation="relu", ) ) model.add(layers.Dense(1, activation="sigmoid")) # 二分类问题 model.compile( optimizer=Adam(learning_rate=hp.Float('learning_rate', 5e-5, 5e-1, step=0.001)), loss='binary_crossentropy', metrics=[ 'accuracy', tf.keras.metrics.F1Score(average='macro', name='f1_score') # 添加F1Score，并指定名称 ] ) return model def fit(self, hp, model, *args, **kwargs): return model.fit( *args, batch_size=hp.Choice("batch_size", [16, 32, 52]), epochs=hp.Int('epochs', min_value=5, max_value=25, step=5), **kwargs, )# 假设 X_train, y_train, X_test, y_test 已经准备好# 例如:# from sklearn.datasets import make_classification# from sklearn.model_selection import train_test_split# X, y = make_classification(n_samples=1000, n_features=20, n_classes=2, random_state=42)# X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)tuner = kt.RandomSearch( MyHyperModel(), objective=kt.Objective("val_f1_score", direction="max"), # 目标是验证集上的F1分数 max_trials=10, # 减少试次以便快速运行 overwrite=True, directory="my_dir", project_name="tune_hypermodel_f1",)# 运行搜索# tuner.search(X_train, y_train, validation_data=(X_test, y_test), callbacks=[keras.callbacks.EarlyStopping('val_loss', patience=3)])# 获取最佳模型和超参数# best_hps = tuner.get_best_hyperparameters(num_trials=1)[0]# best_model = tuner.get_best_models(num_models=1)[0]
注意事项与总结
名称匹配：最常见的错误是objective中指定的名称与模型编译时实际记录的指标名称不匹配。请务必检查val_{metric_name_string}中的metric_name_string是否准确无误。指标可用性：确保您使用的指标在当前TensorFlow/Keras版本中可用。对于较新的指标（如tf.keras.metrics.F1Score），可能需要更新库版本。自定义指标的name参数：在定义自定义指标时，通过super().__init__(name=name, **kwargs)传递name参数至关重要，它决定了该指标在训练日志中的键。方向性：kt.Objective还接受direction参数，可以是”min”（例如损失）或”max”（例如准确率、F1分数、AUC），确保其与您的优化目标一致。日志输出：在遇到问题时，可以尝试不使用KerasTuner，直接运行Keras模型的model.fit()，并查看其返回的history对象中的history.keys()，以确认哪些指标名称实际被记录。这有助于调试KeyError。
通过遵循上述指导原则，您可以有效地将Keras的内置或自定义指标（如F1分数和AUC）作为KerasTuner的优化目标，从而更精确地进行超参数调优，找到性能更优的模型。
以上就是KerasTuner中自定义指标作为优化目标：解决KeyError问题的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1382263.html
微信扫一扫 
支付宝扫一扫 
