我最近需要对工作中的特定用例进行句子分类。记得 jeremy howard 的第 4 课：针对绝对初学者的 nlp 入门，我首先改编了他的笔记本来微调 deberta。
它有效，但并不令我满意，所以我很好奇如果我使用像 llama 3 这样的 llm 会发生什么。问题是什么？ gpu 资源有限。我只能访问 tesla/nvidia t4 实例。
研究让我找到了 qlora。这个关于使用 qlora 微调 llama 3 llm 进行股票情绪文本分类的教程特别有用。为了更好地理解本教程，我将第 4 课改编成 qlora 教程笔记本。
qlora 使用两种主要技术：
量化：降低模型精度，使其更小。lora（低阶适应）：添加小型可训练层，而不是微调整个模型。
这使我能够在 16gb vram t4 上训练 llama 3 8b，使用大约 12gb 的 vram。结果出奇的好，预测准确率超过90%。
Confusion Matrix:[[83 4][ 4 9]]Classification Report: precision recall f1-score support 0.0 0.95 0.95 0.95 87 1.0 0.69 0.69 0.69 13 accuracy 0.92 100 macro avg 0.82 0.82 0.82 100weighted avg 0.92 0.92 0.92 100Balanced Accuracy Score: 0.8231653404067196Accuracy Score: 0.92
这是详细介绍该过程的 ipython 笔记本。
这种方法表明可以在有限的硬件上使用大型语言模型。在限制条件下工作通常会带来创造性的问题解决和学习机会。在这种情况下，这些限制促使我去探索和实施更高效的微调技术。
以上就是用有限的资源微调 LLAMA 或文本分类的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1348114.html
微信扫一扫 
支付宝扫一扫 
