本文详细介绍了如何使用langchain框架，结合faiss向量数据库和huggingface embeddings，构建一个能够基于csv文件内容进行问答的检索增强生成（rag）聊天机器人。教程涵盖了从数据加载、文本分块、创建向量存储到集成检索器并增强大型语言模型（llm）回答的完整流程，旨在帮助开发者高效地实现自定义知识库问答应用。
1. 理解检索增强生成 (RAG)
检索增强生成（Retrieval Augmented Generation, RAG）是一种强大的技术，它结合了信息检索系统和大型语言模型（LLM）的优势。通过RAG，LLM不再仅仅依赖其预训练知识，而是可以在生成回答之前，从外部知识库中检索相关信息作为上下文。这显著提高了LLM回答的准确性、时效性和可信度，尤其是在处理特定领域或最新数据时。
本教程的目标是构建一个RAG应用，使聊天机器人能够根据一个CSV文件中的内容来回答用户问题，而不是仅仅依靠其通用知识。
2. 构建知识库：从CSV到FAISS向量存储
构建RAG应用的第一步是准备一个可供检索的知识库。我们将使用CSV文件作为数据源，并通过LangChain将其转换为FAISS向量存储。
2.1 数据加载与预处理
首先，我们需要加载CSV文件并将其内容转化为LangChain的Document对象。
# embeddings.pyfrom langchain_community.vectorstores import FAISSfrom langchain_community.embeddings import HuggingFaceEmbeddingsfrom langchain.text_splitter import CharacterTextSplitterfrom langchain_community.document_loaders.csv_loader import CSVLoaderimport os# 定义向量存储路径DB_FAISS_PATH = "vectorstore/db_faiss"# 确保向量存储目录存在os.makedirs(DB_FAISS_PATH, exist_ok=True)# 加载CSV文件# 假设你的CSV文件名为 cleanTripLisbon.csv 位于当前脚本的 data 目录下loader = CSVLoader(file_path="./data/cleanTripLisbon.csv", encoding="utf-8", csv_args={'delimiter': ','})data = loader.load()# 文本分块# 对于CSV的每一行，我们将其视为一个独立的文档块。# 如果CSV内容较长，可能需要更复杂的文本分割策略。text_splitter = CharacterTextSplitter(separator='n', chunk_size=1000, chunk_overlap=0)text_chunks = text_splitter.split_documents(data)print(f"原始文档数量: {len(data)}")print(f"分割后的文本块数量: {len(text_chunks)}")
代码解析：
CSVLoader: LangChain提供的工具，用于方便地从CSV文件加载数据，并将其转换为Document对象列表。CharacterTextSplitter: 简单的文本分块器。这里我们使用换行符作为分隔符，并指定chunk_size和chunk_overlap，尽管对于按行分割的CSV，这些参数可能不那么关键，但良好的习惯有助于处理更复杂的文本。
2.2 生成嵌入并创建FAISS索引
接下来，我们将使用预训练的HuggingFace模型生成文本块的嵌入向量，并利用FAISS创建高效的向量索引。
# embeddings.py (继续上面的代码)# 初始化嵌入模型# 'sentence-transformers/all-MiniLM-L6-v2' 是一个轻量级且性能良好的通用嵌入模型embeddings = HuggingFaceEmbeddings(model_name='sentence-transformers/all-MiniLM-L6-v2')# 从文档块和嵌入模型创建FAISS向量存储docsearch = FAISS.from_documents(text_chunks, embeddings)# 将FAISS索引保存到本地磁盘，以便后续加载和使用docsearch.save_local(DB_FAISS_PATH)print(f"FAISS向量存储已创建并保存到: {DB_FAISS_PATH}")
代码解析：
HuggingFaceEmbeddings: LangChain的嵌入模型接口，允许我们使用HuggingFace模型库中的各种嵌入模型。FAISS.from_documents: 使用文档块和嵌入模型初始化FAISS向量存储。FAISS是一个高效的相似性搜索库。docsearch.save_local(): 将创建的FAISS索引保存到指定路径，避免每次运行时都重新生成。
3. 构建聊天机器人核心：与LLM交互
在集成检索功能之前，我们需要一个能够与大型语言模型（如OpenAI GPT系列）交互的基础类。
# chat_bot.pyfrom openai import OpenAIimport os# 假设 local_settings.py 包含 OPENAI_API_KEY# 实际应用中，建议通过环境变量管理API密钥# from util import local_settings class GPT_Helper: def __init__(self, OPENAI_API_KEY: str, system_behavior: str = "", model="gpt-3.5-turbo", ): self.client = OpenAI(api_key=OPENAI_API_KEY) self.messages = [] self.model = model if system_behavior: self.messages.append({ "role": "system", "content": system_behavior }) def get_completion(self, prompt: str, temperature: float = 0.0): """ 向LLM发送用户提示并获取回复。 管理对话历史，确保每次调用都包含完整的对话上下文。 """ user_message_entry = {"role": "user", "content": prompt} self.messages.append(user_message_entry) try: completion = self.client.chat.completions.create( model=self.model, messages=self.messages, temperature=temperature, ) assistant_response = completion.choices[0].message.content self.messages.append( { "role": "assistant", "content": assistant_response } ) return assistant_response except Exception as e: print(f"Error calling OpenAI API: {e}") # 移除失败的user message，避免污染对话历史 self.messages.pop() return "抱歉，我在处理您的请求时遇到了问题。" def reset_messages(self): """重置对话历史，除了系统行为。""" if self.messages and self.messages[0]["role"] == "system": self.messages = [self.messages[0]] else: self.messages = [] @property def memory(self): return self.messages
代码解析：
GPT_Helper: 封装了与OpenAI API交互的逻辑。__init__: 初始化OpenAI客户端，并可以设置一个系统行为（system behavior）来指导LLM的响应风格或角色。get_completion: 发送用户提示，获取LLM的回复，并管理对话历史（self.messages），确保每次API调用都包含完整的对话上下文。
4. 实现RAG：将检索集成到聊天机器人
现在是关键部分：将之前创建的FAISS检索器集成到我们的聊天机器人中，实现RAG功能。
4.1 修改 AttractionBot 类以支持检索
我们将修改 AttractionBot 类，使其在生成响应之前，能够从向量存储中检索相关信息。
# chat_bot.py (继续上面的代码)from langchain_core.retrievers import BaseRetrieverfrom typing import Listclass AttractionBot: def __init__(self, system_behavior: str, doc_retriever: BaseRetriever): self._system_behavior = system_behavior self._username = None # 初始化GPT_Helper # 建议从环境变量中获取API密钥 openai_api_key = os.getenv("OPENAI_API_KEY") if not openai_api_key: raise ValueError("OPENAI_API_KEY not found in environment variables.") self.engine = GPT_Helper( OPENAI_API_KEY=openai_api_key, system_behavior=system_behavior ) # 将传入的doc_retriever赋值给实例变量 self.doc_retriever = doc_retriever def set_username(self, username: str): self._username = username def _format_docs(self, docs: List) -> str: """将检索到的文档格式化为LLM可以理解的上下文字符串。""" return "nn".join([doc.page_content for doc in docs]) def generate_response(self, message: str) -> str: # 包含用户名（如果可用） user_message = f"{self._username}: {message}" if self._username else message # 核心RAG步骤：检索相关信息 # 使用get_relevant_documents方法从向量存储中检索与用户查询最相关的文档 relevant_docs = self.doc_retriever.get_relevant_documents(user_message) # 将检索到的文档格式化为上下文字符串 context = self._format_docs(relevant_docs) # 构建一个包含检索上下文的增强提示 # 引导LLM使用提供的上下文来回答问题 augmented_prompt = ( f"请根据以下提供的信息来回答问题。如果信息中没有明确提及，请说明你不知道。nn" f"上下文信息:n{context}nn" f"用户问题: {user_message}n" f"回答:" ) # 使用增强后的提示生成响应 response = self.engine.get_completion(augmented_prompt) return response def reset(self): """重置聊天机器人的状态，包括LLM的对话历史。""" self.engine.reset_messages() self._username = None @property def memory(self): return self.engine.memory @property def system_behavior(self): return self._system_behavior @system_behavior.setter def system_behavior(self, system_config: str): self._system_behavior = system_config # 更新GPT_Helper的系统行为 self.engine.messages = [{"role": "system", "content": system_config}] # 如果需要保留历史，这里需要更复杂的逻辑
代码解析：
__init__(…, doc_retriever: BaseRetriever): 构造函数现在接受一个doc_retriever参数。这个doc_retriever就是通过docsearch.as_retriever()创建的检索器实例。self.doc_retriever = doc_retriever: 将传入的检索器保存为实例属性。get_relevant_documents(user_message): 这是LangChain检索器的核心方法，它接收用户查询，并在向量存储中查找最相关的文档。_format_docs: 一个辅助方法，用于将检索到的Document对象列表转换为一个简洁的字符串，作为上下文传递给LLM。augmented_prompt: 这是RAG的关键。我们将用户问题和检索到的上下文信息结合起来，形成一个更丰富、更具指导性的提示。这个提示明确告诉LLM要利用上下文来回答问题，并在信息不足时进行说明。self.engine.get_completion(augmented_prompt): 将增强后的提示发送给LLM，LLM会根据这个提示和提供的上下文生成回答。
4.2 初始化和使用RAG聊天机器人
现在，我们将把所有组件组合起来，创建一个完整的RAG聊天机器人应用。
# main_app.pyimport osfrom dotenv import load_dotenv# 导入之前定义的类和模块from embeddings import DB_FAISS_PATH, embeddingsfrom chat_bot import AttractionBotfrom langchain_community.vectorstores import FAISS# 加载环境变量 (例如 OPENAI_API_KEY)load_dotenv() def main(): # 1. 加载FAISS向量存储 try: loaded_docsearch = FAISS.load_local(DB_FAISS_PATH, embeddings, allow_dangerous_deserialization=True) # 将FAISS向量存储转换为LangChain检索器 retriever = loaded_docsearch.as_retriever() print("FAISS向量存储加载成功，检索器已准备就绪。") except Exception as e: print(f"加载FAISS向量存储失败: {e}") print("请确保已运行 embeddings.py 脚本创建向量存储。") return # 2. 初始化RAG聊天机器人 system_behavior = "你是一个友好的旅游助手，专门提供关于里斯本景点的信息。请根据你掌握的里斯本景点信息回答用户的问题。" try: bot = AttractionBot(system_behavior=system_behavior, doc_retriever=retriever) bot.set_username("用户") print("n里斯本景点问答机器人已启动！输入 '退出' 结束对话。") except ValueError as e: print(f"机器人初始化失败: {e}") return # 3. 开始交互 while True: user_input = input("n您: ") if user_input.lower() == '退出': print("机器人: 再见！期待下次为您服务。") break response = bot.generate_response(user_input) print(f"机器人: {response}")if __name__ == "__main__": # 在运行 main_app.py 之前，请确保你已经运行过 embeddings.py 来生成向量存储。 # 并且在你的环境中设置了 OPENAI_API_KEY。 # 例如，可以在 .env 文件中添加 OPENAI_API_KEY="your_api_key_here" main()
运行步骤：
确保你有一个名为 data/cleanTripLisbon.csv 的CSV文件。确保你的Python环境中安装了所有必要的库：langchain, langchain-community, openai, sentence-transformers, faiss-cpu, python-dotenv。
pip install langchain langchain-community openai sentence-transformers faiss-cpu python-dotenv
创建一个 .env 文件在项目根目录，并添加你的OpenAI API密钥：
OPENAI_API_KEY="sk-YOUR_OPENAI_API_KEY"
首先运行 embeddings.py 来创建并保存FAISS向量存储：
python embeddings.py
然后运行 main_app.py 来启动聊天机器人：
python main_app.py
5. 注意事项与最佳实践
API 密钥管理： 永远不要将API密钥硬编码到代码中。使用环境变量（如 os.getenv() 配合 python-dotenv）是更安全的选择。文本分块策略： CharacterTextSplitter 是一个基本的分块器。对于更复杂的文档，你可能需要尝试其他分块策略，如 RecursiveCharacterTextSplitter，它能更好地保留语义完整性。分块大小和重叠度对检索效果有很大影响，需要根据数据特点进行调整。嵌入模型选择： all-MiniLM-L6-v2 是一个不错的通用模型，但针对特定领域，可能存在更专业的嵌入模型能提供更好的检索效果。RAG 提示工程： 传递给LLM的augmented_prompt至关重要。清晰地指示LLM如何使用上下文信息，以及在信息不足时如何处理，可以显著提高回答质量。检索器配置： as_retriever() 默认使用相似度搜索。你可以通过参数配置检索器的行为，例如设置search_kwargs={“k”: 3}来指定检索最相似的3个文档。错误处理： 在实际应用中，需要更健壮的错误处理机制，例如处理API调用失败、文件不存在等情况。可扩展性： 对于大型知识库或高并发场景，FAISS虽然高效，但作为本地向量存储有其局限性。可以考虑使用云端向量数据库服务（如Pinecone, Weaviate, ChromaDB等）。数据清洗： 确保CSV文件中的数据是干净、结构化的，这将直接影响检索和LLM理解的质量。
总结
本教程详细演示了如何利用LangChain框架，结合FAISS向量数据库和HuggingFace嵌入模型，构建一个基于CSV文件内容的检索增强生成（RAG）聊天机器人。通过将外部知识库的信息检索与大型语言模型的生成能力相结合，我们成功地创建了一个能够提供准确、有依据回答的智能应用。掌握RAG技术是构建企业级AI应用和提升LLM实用性的关键一步。
以上就是利用LangChain和FAISS构建基于CSV数据的RAG问答机器人教程的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1382568.html
微信扫一扫 
支付宝扫一扫 
