所以，故事是这样的——我最近完成了庄教授的一项学校作业，其中涉及一种非常酷的算法，称为增量关联马尔可夫毯子（iamb）。现在，我没有数据科学或统计学的背景，所以这对我来说是新领域，但我喜欢学习新东西。目标？使用iamb选择数据集中的特征并查看它如何影响机器学习模型的性能。
我们将回顾 iamb 算法的基础知识，并将其应用于 jason brownlee 数据集中的 pima indians diabetes dataset。该数据集跟踪女性的健康数据，包括她们是否患有糖尿病。我们将使用iamb来找出哪些特征（例如bmi或血糖水平）对于预测糖尿病最重要。
什么是iamb算法，为什么使用它？
iamb 算法就像一个朋友，可以帮助您清理谜团中的嫌疑人列表 – 它是一种特征选择方法，旨在仅挑选出对预测目标真正重要的变量。在本例中，目标是某人是否患有糖尿病。
正向阶段：添加与目标强相关的变量。向后阶段：删除那些没有真正帮助的变量，确保只留下最关键的变量。
简单来说，iamb 通过仅选择最相关的特征来帮助我们避免数据集中的混乱。当您想让事情变得简单、提高模型性能并加快训练时间时，这尤其方便。
来源： 大规模马尔可夫毯子发现算法
这是什么阿尔法事物，为什么它很重要？
这就是 alpha 的用武之地。在统计学中，alpha (α) 是我们设置的阈值，用于决定什么算作“具有统计显着性”。作为教授指示的一部分，我使用了 0.05 的 alpha，这意味着我只想保留与目标变量随机关联的概率小于 5% 的特征。因此，如果某个特征的 p 值 小于 0.05，则意味着与我们的目标存在很强的、具有统计显着性的关联。
通过使用这个 alpha 阈值，我们只关注最有意义的变量，忽略任何未通过我们“显着性”测试的变量。它就像一个过滤器，保留最相关的特征并剔除噪音。
动手实践：在皮马印第安人糖尿病数据集上使用iamb
设置如下：皮马印第安人糖尿病数据集具有健康特征（血压、年龄、胰岛素水平等）和我们的目标，结果（是否有人患有糖尿病）。
首先，我们加载数据并检查：
import pandas as pd# load and preview the dataseturl = 'https://raw.githubusercontent.com/jbrownlee/datasets/master/pima-indians-diabetes.data.csv'column_names = ['pregnancies', 'glucose', 'bloodpressure', 'skinthickness', 'insulin', 'bmi', 'diabetespedigreefunction', 'age', 'outcome']data = pd.read_csv(url, names=column_names)print(data.head())
实施 alpha = 0.05 的 iamb
这是我们的 iamb 算法的更新版本。我们使用 p 值 来决定保留哪些特征，因此仅选择那些 p 值小于我们的 alpha (0.05) 的特征。
import pingouin as pgdef iamb(target, data, alpha=0.05): markov_blanket = set() # forward phase: add features with a p-value < alpha for feature in data.columns: if feature != target: result = pg.partial_corr(data=data, x=feature, y=target, covar=markov_blanket) p_value = result.at[0, 'p-val'] if p_value alpha for feature in list(markov_blanket): reduced_mb = markov_blanket - {feature} result = pg.partial_corr(data=data, x=feature, y=target, covar=reduced_mb) p_value = result.at[0, 'p-val'] if p_value > alpha: markov_blanket.remove(feature) return list(markov_blanket)# apply the updated iamb function on the pima datasetselected_features = iamb('outcome', data, alpha=0.05)print("selected features:", selected_features)
当我运行此程序时，它为我提供了一份详细的功能列表，iamb 认为这些功能与糖尿病结果最密切相关。此列表有助于缩小我们构建模型所需的变量范围。
selected features: ['bmi', 'diabetespedigreefunction', 'pregnancies', 'glucose']
测试iamb选择的特征对模型性能的影响
一旦我们选择了特征，真正的测试就会将模型性能与所有特征与iamb选择的特征进行比较。为此，我使用了一个简单的高斯朴素贝叶斯模型，因为它很简单并且在概率方面表现良好（这与整个贝叶斯氛围相关）。
这是训练和测试模型的代码：
from sklearn.model_selection import train_test_splitfrom sklearn.naive_bayes import GaussianNBfrom sklearn.metrics import accuracy_score, f1_score, roc_auc_score# Split dataX = data.drop('Outcome', axis=1)y = data['Outcome']X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# Model with All Featuresmodel_all = GaussianNB()model_all.fit(X_train, y_train)y_pred_all = model_all.predict(X_test)# Model with IAMB-Selected FeaturesX_train_selected = X_train[selected_features]X_test_selected = X_test[selected_features]model_iamb = GaussianNB()model_iamb.fit(X_train_selected, y_train)y_pred_iamb = model_iamb.predict(X_test_selected)# Evaluate modelsresults = { 'Model': ['All Features', 'IAMB-Selected Features'], 'Accuracy': [accuracy_score(y_test, y_pred_all), accuracy_score(y_test, y_pred_iamb)], 'F1 Score': [f1_score(y_test, y_pred_all, average='weighted'), f1_score(y_test, y_pred_iamb, average='weighted')], 'AUC-ROC': [roc_auc_score(y_test, y_pred_all), roc_auc_score(y_test, y_pred_iamb)]}results_df = pd.DataFrame(results)display(results_df)
结果
比较如下：
仅使用iamb选择的功能可以略微提高准确性和其他指标。这并不是一个巨大的飞跃，但我们用更少的功能获得更好的性能这一事实是有希望的。另外，这意味着我们的模型不依赖“噪音”或不相关的数据。
要点
iamb 非常适合特征选择：它通过仅关注对预测目标真正重要的内容来帮助清理我们的数据集。少即是多：有时，更少的特征会给我们带来更好的结果，正如我们在这里看到的，模型准确性略有提高。学习和实验是有趣的部分：即使没有深厚的数据科学背景，深入研究这样的项目也可以开辟理解数据和机器学习的新方法。
我希望这能给 iamb 一个友好的介绍！如果您好奇，请尝试一下 – 它是机器学习工具箱中的一个方便的工具，您可能会在自己的项目中看到一些很酷的改进。
来源： 大规模马尔可夫毯子发现算法
以上就是使用 IAMB 算法进行特征选择：浅谈机器学习的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1353400.html
微信扫一扫 
支付宝扫一扫 
