利用大型语言模型揭示隐藏因果关系的挑战与突破
因果关系的发现与分析是科学研究的核心，但现有的因果发现算法依赖于预先定义的高级变量，而这些变量在现实世界中往往匮乏。尤其对于图片、文本等高维非结构化数据，更是如此。香港浸会大学等机构的研究人员在NeurIPS 2024发表论文《Discovery of the Hidden World with Large Language Models》，提出了一种名为COAT的新型框架，旨在利用大型语言模型 (LLM) 来克服这一难题，从而更有效地识别现实世界中的因果关系。
论文链接：https://www.php.cn/link/2fdddc426480d46ce18affae5e455c82
代码链接：https://www.php.cn/link/5807f0ed140fffaa1f35f16baf72e31b
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
研究背景
科学进步依赖于对关键变量及其因果关系的识别。传统的因果发现方法 (CDs) 依赖于人类专家提供的高质量变量，但在实际应用中，这些变量往往难以获得。例如，分析用户评分的电商卖家，只能获取用户评论等非结构化数据。因此，高级变量的匮乏限制了 CDs 方法的应用范围。
LLM 在理解非结构化数据方面展现出强大的能力，并能解决各种复杂任务。一些研究表明，LLM 可以回答因果问题，但现有方法主要将其作为因果变量的直接推理器，可靠性存疑，且缺乏对因果发现理论保证的充分讨论。因此，如何可靠地利用 LLM 揭示现实世界的因果机制成为一个关键问题。
COAT框架：LLM作为表征辅助工具
本研究的目标是利用 LLM 为非结构化数据构建结构化表征，该表征由一系列高级变量组成，能够捕捉目标信息并具有可解释性。为此，研究人员提出了 Causal representatiOn AssistanT (COAT) 框架。用户只需提供目标变量，COAT 就能迭代地寻找构成目标变量马尔可夫毯 (Markov Blanket) 的高级变量集。然后，任何合适的因果发现算法都可以用于进一步分析因果结构。
数据与目标
目标变量 (Y): 例如，消费者对产品的评分或患者的疾病类型。非结构化数据 (X): 例如，用户评论或医学图像。数据集: 由 (X, Y) 样本组成。
目标是找到一个映射函数，将非结构化数据 X 映射到高级变量集 h(X)，从而构成 Y 的马尔可夫毯。
LLM 的作用：变量提出与取值解析
COAT 将映射函数分解为一系列高级变量，每个变量将原始观测映射到预定义的值空间。这些变量由 LLM 通过自然语言定义，并具有明确的物理含义。例如，“甜度”可以定义为：1 (满意)，-1 (失望)，0 (未提及/无法判断)。
COAT 框架包含以下步骤：
变量提出: 使用 LLM 根据样本数据提出潜在的高级变量。取值解析: 使用 LLM 为提出的高级变量解析所有样本的取值。因果发现: 使用因果发现算法 (例如 FCI) 分析结构化数据，构建因果图。反馈: 基于因果发现结果，构建反馈，引导 LLM 进一步寻找高级变量。
图1. COAT框架示例
图2. COAT变量提出环节Prompt示意
图3. COAT框架总结
因赛AIGC
因赛AIGC解决营销全链路应用场景
73 查看详情 
理论分析与实验结果
研究人员定义了感知分数和能力分数来衡量 LLM 提出高级变量的能力。通过理论分析和在 AppleGastronome (美食家对苹果评分) 和 Neuropathic (神经性疼痛诊断) 两个数据集上的实验，结果表明：
COAT 能够有效识别高级变量并构建因果图。COAT 的反馈机制能够有效提升变量识别能力。相比于直接使用 LLM 推理因果关系，COAT 能够获得更准确的结果。
图5. AppleGastronome数据样例
图6. AppleGastronome相关因果图
图7. AppleGastronome实验结果
图8. LLM相关能力实验评估
图9. LLM标注噪声独立性检验
图10. AppleGastronome数据集上COAT因果结构识别评估
图11. Neuropathic数据样例
图12. Neuropathic相关因果图
图13. Neuropathic实验结果
图14. COAT探究ENSO因果机制
结论与未来展望
COAT 框架有效地结合了 LLM 和因果发现方法的优势，能够处理非结构化数据，并为因果发现提供支持。这项研究为构建用于因果发现的强大基础模型开辟了新的方向。
引用信息
@inproceedings{causalcoat2024,
title={Discovery of the Hidden World with Large Language Models}, author={Chenxi Liu and Yongqiang Chen and Tongliang Liu and Mingming Gong and James Cheng and Bo Han and Kun Zhang},year={2024},booktitle={Proceedings of the Thirty-eighth Annual Conference on Neural Information Processing Systems}}
以上就是NeurIPS 2024 | 用LLM探寻隐秘的因果世界的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/285890.html
微信扫一扫 
支付宝扫一扫 
