本文档旨在指导读者如何在 CPU 上使用 llama-cpp-python 库运行任何量化的 GGUF 格式的开源 LLM 模型，例如 Llama 3、Mistral 或 Zephyr 等，而无需依赖 ctransformers 库支持。 本教程涵盖了环境配置、模型下载、推理代码编写以及一些实用技巧，帮助读者快速上手并解决常见问题。
使用 llama-cpp-python 进行 CPU 推理
llama-cpp-python 是一个流行的 Python 库，它基于 llama.cpp，允许在 CPU 上运行量化的 LLM 模型。它易于使用，并且通常是第一个支持新型号量化版本的库之一。
1. 环境配置
首先，需要安装 llama-cpp-python 和 huggingface_hub。 llama-cpp-python 用于加载和运行模型，而 huggingface_hub 用于从 Hugging Face Model Hub 下载模型。
在终端中运行以下命令：
pip install llama-cpp-pythonpip install huggingface_hub
请注意，上述命令安装的是 CPU 版本的 llama-cpp-python。 如果您想使用 GPU 加速，则需要进行额外的配置，具体步骤不在本文档的讨论范围内。
2. 模型下载
使用 huggingface_hub 从 Hugging Face Model Hub 下载 GGUF 模型。以下代码示例演示了如何下载 Mixtral-8x7B-Instruct-v0.1 模型：
from huggingface_hub import hf_hub_downloadmodel_name = "TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF"model_file = "mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf"model_path = hf_hub_download(model_name, filename=model_file)print(f"Model downloaded to: {model_path}")
这段代码将下载 mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf 文件到本地。 Q4_K_M 表示 4-bit 量化模型，您可以根据需要选择其他量化级别。
3. 模型加载与推理
下载模型后，可以使用 llama-cpp-python 加载并运行模型。以下代码示例展示了如何加载模型并生成文本：
from llama_cpp import Llamallm = Llama( model_path=model_path, n_ctx=16000, # Context length to use n_threads=32, # Number of CPU threads to use n_gpu_layers=0 # Number of model layers to offload to GPU)generation_kwargs = { "max_tokens": 20000, "stop": [""], "echo": False, # Echo the prompt in the output "top_k": 1 # This is essentially greedy decoding, since the model will always return the highest-probability token. Set this value > 1 for sampling decoding}prompt = "The meaning of life is "res = llm(prompt, **generation_kwargs)print(res["choices"][0]["text"])
这段代码首先使用 Llama 类加载模型，并设置上下文长度 (n_ctx)、线程数 (n_threads) 和 GPU 层数 (n_gpu_layers)。 由于我们要在 CPU 上运行模型，因此将 n_gpu_layers 设置为 0。
然后，定义生成参数 generation_kwargs，例如最大 token 数 (max_tokens)、停止词 (stop)、是否回显提示 (echo) 和 top-k 值 (top_k)。
最后，使用 llm 对象运行推理，并将结果打印到控制台。
4. 模型选择
Mixtral-8x7B 是一个相对较大的模型，可能需要大量的内存才能运行。 如果您的计算机内存有限，可以尝试使用较小的模型，例如 Llama-2-13B 或 Mistral-7B。
以下是一些较小模型的示例：
model_name=”TheBloke/Llama-2-13B-chat-GGUF”; model_file=”llama-2-13b-chat.Q4_K_M.gguf”model_name=”TheBloke/Mistral-7B-OpenOrca-GGUF”; model_file=”mistral-7b-openorca.Q4_K_M.gguf”
注意事项
确保您的计算机具有足够的内存来运行模型。根据您的 CPU 核心数调整 n_threads 参数。您可以尝试不同的量化级别，以在性能和内存使用之间找到平衡。top_k=1 实际上是贪婪解码，模型总是返回最高概率的 token。 为了获得更多样化的输出，请将此值设置为大于 1 的值，以启用采样解码。
总结
本教程介绍了如何使用 llama-cpp-python 在 CPU 上运行量化的 GGUF 模型。 通过遵循这些步骤，您可以轻松地在本地运行各种开源 LLM 模型，并探索它们的强大功能。请记住，选择合适的模型和调整参数对于获得最佳性能至关重要。
以上就是在 CPU 上运行任何量化的 GGUF 模型进行本地推理的教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1374984.html
微信扫一扫 
支付宝扫一扫 
