本文详细介绍了如何在langserve中构建一个支持动态输入的问题回答（rag）应用。通过集成langchain的`runnable`接口，我们展示了如何将用户在运行时提供的查询问题和目标语言参数，动态地传递给检索器和语言模型，从而实现高度交互性和灵活性的rag服务部署。
引言
随着大型语言模型（LLM）应用的普及，检索增强生成（RAG）已成为一种强大的范式，它通过结合外部知识库来提升LLM的准确性和相关性。Langchain作为构建LLM应用的框架，提供了丰富的工具和抽象。而Langserve则进一步简化了Langchain应用的部署，使其能够轻松地通过HTTP API对外提供服务。
然而，在开发RAG应用时，一个常见的需求是允许用户在运行时动态地提供输入，例如查询问题和输出语言。原始的示例代码中，检索器的查询和提示词中的语言参数是硬编码的，这大大限制了应用的灵活性和交互性。本教程旨在解决这一问题，指导您如何在Langserve中构建一个能够接收动态输入的RAG应用。
核心挑战：静态输入与动态需求
在传统的Langchain链中，如果我们将查询问题直接写入retriever.get_relevant_documents(“What does finance accounts contain?”)，或者将语言参数固定在prompt = ChatPromptTemplate.from_template(“…strictly in {lang}”)中，那么每次需要改变这些参数时，都必须修改代码并重新部署。这对于一个需要与用户交互的应用来说是不可接受的。
我们的目标是：
允许用户通过Langserve API动态输入查询问题。允许用户通过Langserve API动态指定生成答案的语言。将这些动态输入无缝地集成到RAG链中，驱动检索器和LLM。
Langserve动态输入机制
Langserve应用基于FastAPI，其核心思想是将Langchain的Runnable对象封装成HTTP端点。Runnable对象可以定义其期望的输入类型。当Langserve接收到HTTP请求时，它会解析请求体中的数据，并将其作为输入传递给相应的Runnable链。
要实现动态输入，关键在于：
定义链的输入结构：明确链需要哪些参数（例如question和lang）。在链中处理输入：使用Langchain的RunnablePassthrough、RunnableLambda等工具，从输入的字典中提取所需参数，并将其传递给链中的各个组件。在add_routes中声明输入类型：通过input_type参数告知Langserve（和FastAPI）预期的输入数据模型。
构建动态RAG链
我们将逐步构建一个支持动态问题和语言输入的RAG链。
1. 准备必要的组件
首先，我们需要一个检索器（Retriever）和一个语言模型（LLM）。为了演示，我们将使用一些模拟数据和OpenAI模型。
import osfrom fastapi import FastAPIfrom langserve import add_routesfrom langchain_core.prompts import ChatPromptTemplatefrom langchain_core.runnables import RunnablePassthrough, RunnableLambdafrom langchain_core.output_parsers import StrOutputParserfrom langchain_community.vectorstores import FAISSfrom langchain_community.embeddings import OpenAIEmbeddingsfrom langchain_core.documents import Documentfrom langchain_openai import ChatOpenAIimport uvicorn# 设置OpenAI API密钥 (请替换为您的实际密钥或从环境变量加载)# os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"# 1. 模拟检索器设置# 在实际应用中，您会从数据库或文件加载文档，并使用更复杂的嵌入模型和向量存储docs_content = [ "财务账户通常包含财务交易记录，包括资产、负债、权益、收入和支出。它们用于编制资产负债表和损益表等财务报表。", "资产负债表在特定时间点提供公司财务状况的快照，列出资产、负债和所有者权益。", "损益表，也称为利润和亏损表，总结了公司在一段时间内的收入、支出以及利润或亏损。", "财务报表对于投资者、债权人和管理层评估公司的业绩和财务状况至关重要。"]documents = [Document(page_content=d) for d in docs_content]embeddings = OpenAIEmbeddings() # 使用OpenAI嵌入模型vectorstore = FAISS.from_documents(documents, embeddings)retriever = vectorstore.as_retriever()# 2. LLM设置llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0.7) # 使用GPT-3.5 Turbo模型
2. 文档格式化函数
检索器返回的是Document对象列表，我们需要将其转换为字符串，以便注入到提示词中。
def format_docs(docs): """将检索到的文档列表格式化为单个字符串。""" return "nn".join(doc.page_content for doc in docs)
3. 构建动态RAG链
这是核心部分。我们将使用RunnablePassthrough和RunnableLambda来处理动态输入。链的输入将被假定为一个字典，包含”question”和”lang”键。
ViiTor实时翻译
AI实时多语言翻译专家！强大的语音识别、AR翻译功能。
116 查看详情 
# 3. 构建RAG链，支持动态输入# 链的输入预期是一个字典，例如：{"question": "...", "lang": "..."}rag_chain = ( # 步骤1: 从输入中提取问题，并并行地执行检索 # RunnablePassthrough.assign 允许我们添加新的键到输入字典中，而不改变原始输入 # 'context' 键的值将是检索器根据 'question' 检索到的文档 RunnablePassthrough.assign( context=lambda x: retriever.invoke(x["question"]) | RunnableLambda(format_docs) ) # 步骤2: 创建聊天提示模板 # 模板将使用动态的 'context'、'question' 和 'lang' | ChatPromptTemplate.from_template( "根据以下上下文信息:n{context}nn请回答问题: {question}，并严格使用{lang}语言。" ) # 步骤3: 调用语言模型生成答案 | llm # 步骤4: 解析LLM的输出为字符串 | StrOutputParser())
链的解释：
RunnablePassthrough.assign(…): 这是一个强大的工具，它允许我们向当前的输入字典中添加新的键值对，同时保留原始输入。context=lambda x: retriever.invoke(x[“question”]) | RunnableLambda(format_docs): 这部分是核心。lambda x: …: 定义了一个匿名函数，它接收整个输入字典x。retriever.invoke(x[“question”]): 从输入字典x中提取”question”键的值，并将其作为参数调用检索器。| RunnableLambda(format_docs): 检索器返回Document对象列表后，通过管道将其传递给format_docs函数进行格式化。最终，格式化后的文档字符串将作为”context”键的值添加到链的输入中。ChatPromptTemplate.from_template(…): 接收包含context、question和lang的字典，并构建最终的提示消息。| llm: 将构建好的提示消息传递给LLM进行处理。| StrOutputParser(): 将LLM的输出（通常是AIMessage对象）解析为纯文本字符串。
部署与测试
现在，我们将使用Langserve来部署这个动态RAG链。
# 4. Langserve应用设置app = FastAPI( title="动态RAG应用", version="1.0", description="一个Langserve应用，支持动态问题和语言输入的RAG功能。")# 5. 添加路由# 注意：input_type 参数明确定义了链的预期输入结构add_routes( app, rag_chain, path="/dynamic_rag", input_type={"question": str, "lang": str}, # 明确定义输入Schema output_type=str # 定义输出Schema)# 6. 运行Langserve应用if __name__ == "__main__": uvicorn.run(app, host="localhost", port=8000)
运行应用：
确保您已安装所有必要的库：
pip install langchain langchain-openai langserve uvicorn "fastapi[all]" python-dotenv faiss-cpu
将上述代码保存为 app.py。运行：
python app.py
测试应用：
打开浏览器访问 http://localhost:8000/dynamic_rag/playground/。您将看到Langserve Playground界面。
在左侧的“Input”区域，您会看到两个输入框：question (string) 和 lang (string)。
在 question 框中输入：“财务账户包含哪些内容？”在 lang 框中输入：“中文”点击“Invoke”按钮。
您将看到LLM根据检索到的上下文，用中文回答了您的问题。您可以尝试不同的问题和语言，验证动态输入的效果。
注意事项与进阶
输入验证：在生产环境中，强烈建议对用户输入进行更严格的验证。您可以使用Pydantic模型定义更复杂的输入Schema，并在Langserve的input_type中使用它。错误处理：在链中加入适当的错误处理逻辑，例如当检索器未能找到相关文档时，可以返回一个友好的提示。可配置的替代方案 (configurable_alternatives)：原始问题中提到了configurable_alternatives。这个功能主要用于在运行时根据配置选择不同的链组件，而不是简单地传递参数。例如，您可以配置一个链，使其在某些条件下使用OpenAIEmbeddings，而在另一些条件下使用HuggingFaceEmbeddings。对于本教程中仅仅是传递动态参数的需求，直接使用RunnablePassthrough等方法更为简洁和直接。如果您的应用需要根据用户输入或外部配置来切换不同的检索器、LLM或整个子链，那么configurable_alternatives将是更合适的选择。安全性：如果您的应用涉及敏感数据或需要访问外部API（如OpenAI API），请务必妥善管理API密钥，避免硬编码，并考虑使用环境变量或密钥管理服务。性能优化：对于高并发场景，可以考虑使用异步操作，并优化检索器和LLM的调用。
总结
通过本教程，我们成功地将一个静态的RAG应用改造为一个支持动态输入的Langserve服务。我们学习了如何利用Langchain的Runnable接口和Langserve的部署能力，使RAG应用能够接收用户在运行时提供的查询问题和目标语言。这种动态化的方法极大地增强了应用的灵活性、交互性和实用性，为构建更智能、更用户友好的LLM应用奠定了基础。
以上就是构建Langserve动态RAG应用：实现运行时问题与语言输入的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/584085.html
微信扫一扫 
支付宝扫一扫 
