本教程详细介绍了如何利用 Langchain 库从本地文本文件加载数据，进行有效的分块处理，并结合 OpenAI 嵌入模型生成向量嵌入。随后，将这些向量数据高效地存储到 Redis 向量数据库中，并演示了如何执行向量相似度搜索以检索相关信息。内容涵盖了从数据准备到检索的完整流程，旨在帮助读者构建基于向量的智能问答或检索系统。
1. 核心概念概述
在构建基于向量的文本检索系统时，理解几个核心概念至关重要：
向量数据库 (Vector Database): 专门设计用于存储、管理和高效检索高维向量数据的数据库。Redis 作为内存数据库，通过其模块（如 RediSearch）可以扩展为强大的向量数据库，支持快速的近似最近邻 (ANN) 搜索。嵌入 (Embeddings): 是一种将文本、图像、音频等非结构化数据转换成固定长度数值向量的技术。这些向量捕捉了数据的语义信息，使得在向量空间中，语义相似的数据点彼此靠近，从而可以通过计算向量距离来衡量其相似性。Langchain: 一个强大的框架，旨在简化大型语言模型 (LLM) 应用的开发。它提供了模块化的组件，包括文档加载器 (Document Loaders)、文本分块器 (Text Splitters)、嵌入模型 (Embeddings) 和向量存储 (Vector Stores)，极大地简化了与各种数据源和模型交互的复杂性。
2. 环境准备
在开始之前，请确保您的开发环境中安装了必要的库，并且 Redis 服务器正在运行。
首先，安装 Langchain、OpenAI 和 Redis 客户端库：
pip install langchain openai redis
确保您的 Redis 服务器正在本地运行（默认端口 6379）。如果您没有运行中的 Redis 实例，可以参考 Redis 官方文档进行安装和启动。
3. 从文件加载与处理文本
要将本地文本文件（如 .txt 文件）中的内容导入到向量数据库中，我们需要经过加载和分块两个步骤。
3.1 使用 TextLoader 加载文本
TextLoader 是 Langchain 提供的一个文档加载器，用于从本地文件加载文本内容。它能将文件内容读取为 Langchain 的 Document 对象，其中包含文本内容和可选的元数据。
from langchain.document_loaders import TextLoader# 指定您的文本文件路径和编码# 例如，如果您有一个名为 union.txt 的文件loader = TextLoader("union.txt", encoding="utf-8")documents = loader.load()
请确保 union.txt 文件存在于您的脚本运行目录或提供完整路径，并指定正确的编码（通常是 utf-8）。
3.2 使用 CharacterTextSplitter 进行文本分块
大型文本文件通常需要被分割成较小的、语义完整的块，原因如下：
嵌入模型限制: 大多数嵌入模型对输入文本的长度有上限。检索精度: 小块文本在检索时能提供更精确的结果，避免无关信息干扰。性能优化: 处理和存储小块文本效率更高。
CharacterTextSplitter 是一个常用的文本分块器，它通过字符计数来分割文本。
chunk_size: 每个文本块的最大字符数。chunk_overlap: 相邻文本块之间的重叠字符数，有助于保留上下文信息。
from langchain.text_splitter import CharacterTextSplitter# 定义文本分块器# chunk_size=1000 表示每个块最大1000个字符# chunk_overlap=0 表示块之间没有重叠text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)docs = text_splitter.split_documents(documents)
经过此步骤，docs 变量将包含一系列 Langchain Document 对象，每个对象代表原始文本文件中的一个分块。
4. 生成嵌入并存储到 Redis
在文本被加载并分块后，下一步是使用嵌入模型将其转换为向量，并存储到 Redis 向量数据库中。
4.1 初始化嵌入模型
Langchain 提供了多种嵌入模型的接口。本教程以 OpenAI 的嵌入模型为例，它通过 OpenAIEmbeddings 类进行封装。在使用前，请确保您已设置 OPENAI_API_KEY 环境变量。
from langchain.embeddings import OpenAIEmbeddings# 初始化 OpenAI 嵌入模型embeddings = OpenAIEmbeddings()
4.2 使用 Redis.from_documents 存储数据
Redis.from_documents 是 Langchain 中一个非常便捷的方法，它能够自动完成以下任务：
遍历所有分块的 Document 对象。为每个 Document 的内容生成嵌入向量。将嵌入向量、原始文本内容以及任何元数据存储到指定的 Redis 索引中。
from langchain.vectorstores import Redis# 连接 Redis 并存储文档# redis_url: Redis 服务器的连接地址# index_name: 在 Redis 中创建的向量索引名称，用于组织和检索数据vectorstore = Redis.from_documents( docs, embeddings, redis_url="redis://localhost:6379", index_name="users", # 您可以根据需要命名您的索引)print(f"成功将 {len(docs)} 个文档块及其嵌入存储到 Redis 索引 '{vectorstore.index_name}' 中。")
执行上述代码后，您的文本数据及其对应的向量嵌入就已经存储在 Redis 向量数据库中，并准备好进行相似度搜索。
5. 执行向量相似度搜索
一旦数据存储在 Redis 中，您就可以执行相似度搜索来查找与给定查询最相关的文本块。
5.1 使用 similarity_search_with_score
similarity_search_with_score 方法会根据查询文本生成嵌入，然后在 Redis 向量数据库中查找与其最相似的向量。它返回一个包含匹配文档及其相似度分数的列表。分数越低通常表示相似度越高（具体取决于距离度量方式）。
# 假设您已经初始化了 vectorstore，或者重新连接# vectorstore = Redis.from_existing_index(# embeddings,# redis_url="redis://localhost:6379",# index_name="users"# )# 执行相似度搜索query = "He met the Ukrainian people."results = vectorstore.similarity_search_with_score(query)# 打印搜索结果print(f"查询 '{query}' 的相似度搜索结果：")for doc, score in results: print(f"文档内容: {doc.page_content[:100]}...") # 打印前100个字符 print(f"相似度分数: {score}n")
通过这个方法，您可以快速从大量文本数据中找到与用户查询语义最接近的信息。
6. 高级主题与注意事项
6.1 自定义嵌入函数与模型选择
本教程使用了 Langchain 封装的 OpenAIEmbeddings。Langchain 还支持其他多种嵌入模型，例如来自 Hugging Face 的 SentenceTransformerEmbeddings，或者其他商业 API。
如果您需要使用完全自定义的嵌入逻辑（例如，调用一个不在 Langchain 预设范围内的本地模型），您可能需要手动为每个文本块生成嵌入向量，然后使用 Redis.add_texts 方法来存储，该方法接受文本列表和对应的嵌入向量列表。
# 示例：如果您需要手动生成嵌入并存储# from openai import OpenAI# client = OpenAI()# def get_embedding(text, model="text-embedding-ada-002"):# text = text.replace("n", " ")# return client.embeddings.create(input = [text], model=model).data[0].embedding# custom_embeddings = [get_embedding(doc.page_content) for doc in docs]# vectorstore_manual = Redis.from_texts(# [doc.page_content for doc in docs],# embeddings, # 这里的embeddings参数仍然是Langchain的Embeddings对象，用于内部验证或未来扩展# redis_url="redis://localhost:6379",# index_name="users_manual",# embedding_function=get_embedding # 传入自定义的embedding函数# )# 注意：Redis.from_texts 内部已经包含了嵌入生成逻辑，如果传递了 embedding_function 参数，它会使用该函数。# 更直接的方式是使用 vectorstore.add_texts(texts, embeddings)# vectorstore_manual.add_texts([doc.page_content for doc in docs], custom_embeddings)
通常情况下，建议优先使用 Langchain 提供的嵌入模型接口，它们能更好地与 Langchain 的生态系统集成。
6.2 Redis 中的 TTL (Time-To-Live) 设置
用户有时会关心 Redis 中存储的嵌入数据的生命周期（TTL）。在 Langchain 的 Redis.from_documents 方法中，默认情况下并不会为存储的键设置 TTL。这意味着数据会永久保存在 Redis 中，直到手动删除。
如果需要为存储的嵌入数据设置过期时间，您有以下几种选择：
手动设置: 在数据存储后，通过 Redis 客户端（如 redis-py）或 redis-cli 命令手动为相关的键（通常是 doc: 和 metadata: 格式）设置过期时间，例如 EXPIRE doc: 3600。自定义逻辑: 如果需要批量或自动设置 TTL，您可能需要在 Langchain 的 Redis 向量存储之上封装一层自定义逻辑，在每次数据写入后执行 Redis 的 EXPIRE 命令。查阅 Langchain 文档: 随着 Langchain 版本的迭代，未来可能会在 Redis 类的构造函数或相关方法中提供直接设置 TTL 的参数，建议查阅最新官方文档。
6.3 性能优化与索引管理
索引名称 (index_name): 在 Redis.from_documents 中指定的 index_name 非常重要，它决定了数据在 Redis 中的组织方式。为不同的数据集使用不同的索引名称可以有效管理数据。数据量与扩展: 对于非常大的数据集，单个 Redis 实例可能不足以满足需求。可以考虑使用 Redis 集群或分片来扩展存储和查询能力。查询优化: 调整 similarity_search 的参数（例如 k 值，即返回最相似结果的数量）可以影响查询性能和结果的召回率。
7. 总结
本教程详细阐述了如何利用 Langchain 框架和 Redis 向量数据库，从本地文本文件构建一个完整的文本嵌入存储与检索系统。我们涵盖了从文件加载、文本分块、嵌入生成到数据存储和相似度搜索的整个流程。通过掌握这些技术，您可以为各种应用场景（如智能问答、内容推荐、语义搜索等）奠定基础，高效地管理和利用非结构化文本数据。
以上就是基于 Langchain 和 Redis 实现文本嵌入的加载、存储与相似度搜索的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1363892.html
微信扫一扫 
支付宝扫一扫 
