本文深入探讨了在Langchain中配置`ConversationalRetrievalChain`以构建对话式AI助手的关键细节，重点解决`ValueError: Missing some input keys: {‘chat_history’}`错误。我们将详细介绍如何正确集成记忆模块、自定义提示模板和向量检索器，并阐明`chat_history`在链输入中的必要性，即使已配置了记忆功能。通过具体的代码示例，读者将掌握构建健壮、上下文感知的对话系统的专业方法。
构建Langchain对话式检索链：核心组件与实践指南
ConversationalRetrievalChain是Langchain中一个功能强大的工具，它结合了文档检索和对话能力，使用户能够与基于外部知识库的AI助手进行多轮对话。然而，在配置过程中，尤其是在集成自定义提示模板和记忆模块时，开发者可能会遇到关于chat_history输入键的错误。本教程将详细解析这些组件的协同工作方式，并提供一套完整的解决方案。
1. 核心组件解析
要成功构建ConversationalRetrievalChain，以下几个核心组件至关重要：
1.1 记忆模块（Memory）
记忆模块负责存储和管理对话历史，使得LLM能够在后续的对话中回顾之前的交流。ConversationBufferMemory是一个常用的记忆类型，它将所有对话轮次存储在一个缓冲区中。
memory_key: 定义记忆在链的输入/输出中使用的键名。return_messages: 若设置为True，记忆将返回消息对象列表，而非单个字符串。output_key: 定义链的输出中答案的键名。
1.2 向量检索器（Retriever）
检索器负责根据用户查询从预先构建的知识库中检索相关文档片段。这通常涉及以下步骤：
文本嵌入（Embeddings）：将文本数据转换为数值向量。文本分割（Text Splitter）：将长文档分割成更小的、可管理的块。向量存储（Vector Store）：存储嵌入后的文档向量，并提供高效的相似性搜索功能，例如FAISS、ChromaDB等。检索器实例：从向量存储中创建检索器，配置搜索类型（如similarity）和返回结果数量（k）。
1.3 自定义提示模板（Prompt Template）
提示模板定义了发送给LLM的指令和上下文结构。一个典型的对话式检索链提示模板需要包含以下占位符：
{context}：从向量存储中检索到的相关文档内容。{chat_history}：当前的对话历史。{question}：用户的当前问题。
2. 构建向量存储（先决条件）
在创建对话链之前，必须先构建一个向量存储，例如FAISS索引。这通常涉及加载数据、分割文本、生成嵌入并保存索引。
话袋AI笔记
话袋AI笔记, 像聊天一样随时随地记录每一个想法，打造属于你的个人知识库，成为你的外挂大脑
47 查看详情 
import osfrom langchain_community.vectorstores import FAISSfrom langchain_community.embeddings import VertexAIEmbeddingsfrom langchain.text_splitter import RecursiveCharacterTextSplitter, Language# 1. 初始化嵌入模型# 假设您已配置Vertex AI环境，并有权限访问textembedding-gecko模型EMBEDDING_QPM = 100EMBEDDING_NUM_BATCH = 5embeddings = VertexAIEmbeddings( requests_per_minute=EMBEDDING_QPM, num_instances_per_batch=EMBEDDING_NUM_BATCH, model_name="textembedding-gecko", max_output_tokens=512, temperature=0.1, top_p=0.8, top_k=40)# 2. 初始化文本分割器text_splitter = RecursiveCharacterTextSplitter.from_language( language=Language.PYTHON, # 根据您的数据类型选择语言，或使用通用分割器 chunk_size=2000, chunk_overlap=500)# 3. 加载并处理训练数据docs = []training_data_path = "training/facts/" # 假设您的训练数据在此目录下trainingData = os.listdir(training_data_path)for training_file in trainingData: file_path = os.path.join(training_data_path, training_file) with open(file_path, 'r', encoding='utf-8') as f: print(f"Add {f.name} to dataset") texts = text_splitter.create_documents([f.read()]) docs.extend(texts)# 4. 从文档创建FAISS向量存储并保存到本地store = FAISS.from_documents(docs, embeddings)store.save_local("faiss_index")print("FAISS index created and saved successfully.")
3. 配置ConversationalRetrievalChain
一旦向量存储准备就绪，我们就可以开始配置ConversationalRetrievalChain。
3.1 加载向量存储与初始化检索器
from langchain_community.vectorstores import FAISSfrom langchain_community.embeddings import VertexAIEmbeddingsfrom langchain.memory import ConversationBufferMemoryfrom langchain.chains import ConversationalRetrievalChainfrom langchain_core.prompts import ChatPromptTemplate, SystemMessagePromptTemplate, HumanMessagePromptTemplatefrom langchain_google_vertexai import ChatVertexAI # 假设使用Vertex AI的聊天模型# 1. 加载嵌入模型 (与构建索引时保持一致)EMBEDDING_QPM = 100EMBEDDING_NUM_BATCH = 5embeddings = VertexAIEmbeddings( requests_per_minute=EMBEDDING_QPM, num_instances_per_batch=EMBEDDING_NUM_BATCH, model_name="textembedding-gecko", max_output_tokens=512, temperature=0.1, top_p=0.8, top_k=40)# 2. 加载FAISS索引并创建检索器store = FAISS.load_local("faiss_index", embeddings, allow_dangerous_deserialization=True) # 注意：生产环境请谨慎使用allow_dangerous_deserializationretriever = store.as_retriever( search_type="similarity", search_kwargs={"k": 2},)# 3. 初始化LLM模型code_llm = ChatVertexAI(model_name="gemini-pro", temperature=0.1) # 示例LLM
3.2 定义记忆模块与提示模板
# 4. 初始化记忆模块# memory_key 必须与提示模板中用于聊天历史的占位符名称一致memory = ConversationBufferMemory( memory_key='chat_history', return_messages=True, output_key='answer')# 5. 定义自定义提示模板# 提示模板必须包含 {context}, {chat_history}, {question} 占位符promptTemplate = """请根据提供的上下文和聊天历史回答用户的问题。如果您不知道答案，请说明您无法回答。上下文:{context}聊天历史:{chat_history}用户问题: {question}"""messages = [ SystemMessagePromptTemplate.from_template(promptTemplate), HumanMessagePromptTemplate.from_template("{question}")]qa_prompt = ChatPromptTemplate.from_messages(messages)
3.3 创建ConversationalRetrievalChain实例
# 6. 创建 ConversationalRetrievalChain 实例qa_chain = ConversationalRetrievalChain.from_llm( llm=code_llm, retriever=retriever, memory=memory, # get_chat_history 用于将 memory 中的历史记录格式化为 prompt 所需的格式 # 这里 lambda h: h 表示直接使用 memory 返回的原始历史消息列表 get_chat_history=lambda h: h, # combine_docs_chain_kwargs 用于配置内部用于结合文档和历史的链 combine_docs_chain_kwargs={"prompt": qa_prompt})
4. 解决ValueError: Missing some input keys: {‘chat_history’}
这个错误的核心在于，即使您为ConversationalRetrievalChain配置了memory，并且memory_key设置为’chat_history’，链在执行时如果其内部的提示模板（qa_prompt）期望一个名为chat_history的输入变量，那么在调用链时，您仍然需要在输入字典中显式地提供chat_history。
memory模块负责在每次对话后更新和管理整个会话的聊天历史。而get_chat_history参数则定义了如何将memory中存储的历史提取并格式化，以供qa_prompt中的{chat_history}占位符使用。然而，链的初始调用以及后续的每次调用，如果提示模板中有{chat_history}，仍然需要一个名为chat_history的键作为输入，即使它可能是一个空列表或由外部维护的当前轮次历史。
解决方案：在调用链时，始终在输入字典中包含一个”chat_history”键，并为其提供一个列表。这个列表将在每次对话后更新，以维护外部的对话状态。
# 7. 进行对话交互history = [] # 外部维护的聊天历史列表，用于传递给链的输入# 第一次提问question1 = "什么是FAISS？"print(f"Human: {question1}")answer1 = qa_chain({"question": question1, "chat_history": history})print(f"AI: {answer1['answer']}")# 更新外部历史history.append((question1, answer1['answer']))print("n" + "="*50 + "n")# 第二次提问，利用上下文和历史question2 = "它有什么主要用途？"print(f"Human: {question2}")answer2 = qa_chain({"question": question2, "chat_history": history})print(f"AI: {answer2['answer']}")# 更新外部历史history.append((question2, answer2['answer']))
5. 注意事项与最佳实践
memory_key与提示模板占位符一致：确保ConversationBufferMemory的memory_key参数值（例如’chat_history’）与您的ChatPromptTemplate中用于聊天历史的占位符名称（例如{chat_history}）完全匹配。get_chat_history的作用：get_chat_history函数用于将memory中存储的聊天历史转换为适合qa_prompt中{chat_history}占位符的格式。lambda h: h表示直接使用memory返回的原始消息列表。如果您的提示模板需要特定格式（例如，将消息列表转换为单个字符串），则需要自定义此函数。显式传递chat_history输入：即使配置了memory，当您的提示模板包含{chat_history}时，您仍然需要在调用qa_chain时，在输入字典中显式地提供”chat_history”键及其对应的值（一个列表）。这个列表通常用于在每次对话后更新，以反映最新的对话轮次。向量存储的序列化与反序列化：当加载FAISS索引时，allow_dangerous_deserialization=True参数用于允许从不受信任的源反序列化，但在生产环境中应谨慎使用，确保数据来源可靠。LLM和嵌入模型的选择：根据您的具体需求和预算，选择合适的LLM模型和嵌入模型。例如，Google Vertex AI、OpenAI等都提供多种模型选项。错误处理：在实际应用中，考虑添加错误处理机制，例如当检索器未能找到相关文档或LLM生成不满意答案时的回退策略。
6. 总结
通过本教程，我们详细探讨了如何在Langchain中正确配置ConversationalRetrievalChain，以构建一个具备记忆和检索能力的对话式AI助手。关键在于理解memory、retriever、prompt template以及chat_history输入之间的协同关系。通过显式地在链调用中提供chat_history输入，并确保memory_key与提示模板占位符的一致性，可以有效避免ValueError: Missing some input keys的错误，从而构建出稳定、高效且上下文感知的对话系统。
以上就是Langchain对话式检索链：记忆、提示模板与聊天历史的正确配置的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/592263.html
微信扫一扫 
支付宝扫一扫 
