复旦团队提出Transformer生成的原子嵌入策略,可通过ML提高晶体特性的预测准确性

基于transformer的晶体材料特性预测模型:crystaltransformer

近年来,基于Transformer架构的化学分子性质与结构预测模型取得了显著进展,例如OrbNet和3D-Transformer。这些模型有效利用Transformer处理原子间相互作用和三维结构的能力,从而高效地表示复杂的原子间相互作用。 复旦大学的研究人员在此基础上,开发了一种名为CrystalTransformer的新模型,该模型生成名为ct-UAE的通用原子嵌入(Universal Atomic Embedding),为每个原子学习独特的“指纹”,捕捉其在材料中的功能和相互作用。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

模型架构图

这些原子嵌入随后被应用于不同的深度学习模型中。研究人员利用均匀流形近似和投影(UMAP)聚类方法对原子进行分组,并分析嵌入与真实原子属性之间的关联。这项研究成果已于2025年1月31日发表在《Nature Communications》期刊上,论文标题为“Transformer-generated atomic embeddings to enhance prediction accuracy of crystal properties with machine learning”。

模型工作流程图

加速新型晶体材料的发现对于推动清洁能源、信息处理等技术发展至关重要。而传统的原子信息嵌入方法在提高材料特性预测精度方面存在局限性。CrystalTransformer生成的ct-UAE作为一种通用的原子指纹,具有广泛的适用性。

ct-UAE在不同模型中的应用

绘蛙AI视频 绘蛙AI视频

绘蛙推出的AI模特视频生成工具

绘蛙AI视频 127 查看详情 绘蛙AI视频

实验结果表明,基于CrystalTransformer的ct-UAE能够准确捕捉复杂的原子特征。在材料项目数据库中,使用形成能作为目标时,CGCNN模型的预测精度提高了14%,ALIGNN模型的预测精度提高了18%。 ct-UAE还展现出良好的可移植性,适用于各种数据库。

CrystalTransformer模型架构细节

基于多任务ct-UAE的聚类分析能够对元素周期表中的元素进行有效分类,并揭示原子特征与目标晶体特性之间的合理联系。在预测混合钙钛矿数据库中的形成能时,MEGNET模型的精度提高了34%,CGCNN模型的精度提高了16%,这充分展现了ct-UAE在解决数据稀缺性问题上的潜力。

ct-UAE在钙钛矿特性预测中的应用

论文链接:https://www.php.cn/link/f46b28e1e1b9a56483b1e4058f9f9d97

以上就是复旦团队提出Transformer生成的原子嵌入策略,可通过ML提高晶体特性的预测准确性的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/762174.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月26日 01:32:49
下一篇 2025年11月26日 01:35:32

相关推荐

发表回复

登录后才能评论
关注微信