Langchain结合Redis实现文本搜索

本文详细介绍了如何使用 Langchain 框架和 Redis 向量数据库，从本地文本文件构建一个高效的文本嵌入存储与相似度搜索系统。教程涵盖了从数据准备到信息检索的完整流程，包括利用 Langchain 加载和分块文本数据，使用 OpenAI 嵌入模型生成向量嵌入，以及将这些向量数据存储到 Redis 中。同时，演示了如何利用 Redis 的向量相似度搜索功能，快速检索与查询相关的文本信息。旨在帮助读者掌握构建基于向量的智能问答或检索系统的核心技术，为智能问答、内容推荐和语义搜索等应用场景提供有力支持。通过本文，开发者能够高效地管理和利用非结构化文本数据，提升相关应用的智能化水平。

1. 核心概念概述

在构建基于向量的文本检索系统时，理解几个核心概念至关重要：

• 向量数据库 (Vector Database): 专门设计用于存储、管理和高效检索高维向量数据的数据库。Redis 作为内存数据库，通过其模块（如 RediSearch）可以扩展为强大的向量数据库，支持快速的近似最近邻 (ANN) 搜索。
• 嵌入 (Embeddings): 是一种将文本、图像、音频等非结构化数据转换成固定长度数值向量的技术。这些向量捕捉了数据的语义信息，使得在向量空间中，语义相似的数据点彼此靠近，从而可以通过计算向量距离来衡量其相似性。
• Langchain: 一个强大的框架，旨在简化大型语言模型 (LLM) 应用的开发。它提供了模块化的组件，包括文档加载器 (Document Loaders)、文本分块器 (Text Splitters)、嵌入模型 (Embeddings) 和向量存储 (Vector Stores)，极大地简化了与各种数据源和模型交互的复杂性。

2. 环境准备

在开始之前，请确保您的开发环境中安装了必要的库，并且 Redis 服务器正在运行。

首先，安装 Langchain、OpenAI 和 Redis 客户端库：

pip install langchain openai redis

确保您的 Redis 服务器正在本地运行（默认端口 6379）。如果您没有运行中的 Redis 实例，可以参考 Redis 官方文档进行安装和启动。

3. 从文件加载与处理文本

要将本地文本文件（如 .txt 文件）中的内容导入到向量数据库中，我们需要经过加载和分块两个步骤。

3.1 使用 TextLoader 加载文本

TextLoader 是 Langchain 提供的一个文档加载器，用于从本地文件加载文本内容。它能将文件内容读取为 Langchain 的 Document 对象，其中包含文本内容和可选的元数据。

from langchain.document_loaders import TextLoader

# 指定您的文本文件路径和编码
# 例如，如果您有一个名为 union.txt 的文件
loader = TextLoader("union.txt", encoding="utf-8")
documents = loader.load()

请确保 union.txt 文件存在于您的脚本运行目录或提供完整路径，并指定正确的编码（通常是 utf-8）。

3.2 使用 CharacterTextSplitter 进行文本分块

大型文本文件通常需要被分割成较小的、语义完整的块，原因如下：

• 嵌入模型限制: 大多数嵌入模型对输入文本的长度有上限。
• 检索精度: 小块文本在检索时能提供更精确的结果，避免无关信息干扰。
• 性能优化: 处理和存储小块文本效率更高。

CharacterTextSplitter 是一个常用的文本分块器，它通过字符计数来分割文本。

• chunk_size: 每个文本块的最大字符数。
• chunk_overlap: 相邻文本块之间的重叠字符数，有助于保留上下文信息。

from langchain.text_splitter import CharacterTextSplitter

# 定义文本分块器
# chunk_size=1000 表示每个块最大1000个字符
# chunk_overlap=0 表示块之间没有重叠
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

经过此步骤，docs 变量将包含一系列 Langchain Document 对象，每个对象代表原始文本文件中的一个分块。

4. 生成嵌入并存储到 Redis

在文本被加载并分块后，下一步是使用嵌入模型将其转换为向量，并存储到 Redis 向量数据库中。

4.1 初始化嵌入模型

Langchain 提供了多种嵌入模型的接口。本教程以 OpenAI 的嵌入模型为例，它通过 OpenAIEmbeddings 类进行封装。在使用前，请确保您已设置 OPENAI_API_KEY 环境变量。

from langchain.embeddings import OpenAIEmbeddings

# 初始化 OpenAI 嵌入模型
embeddings = OpenAIEmbeddings()

4.2 使用 Redis.from_documents 存储数据

Redis.from_documents 是 Langchain 中一个非常便捷的方法，它能够自动完成以下任务：

1. 遍历所有分块的 Document 对象。
2. 为每个 Document 的内容生成嵌入向量。
3. 将嵌入向量、原始文本内容以及任何元数据存储到指定的 Redis 索引中。

from langchain.vectorstores import Redis

# 连接 Redis 并存储文档
# redis_url: Redis 服务器的连接地址
# index_name: 在 Redis 中创建的向量索引名称，用于组织和检索数据
vectorstore = Redis.from_documents(
    docs,
    embeddings,
    redis_url="redis://localhost:6379",
    index_name="users", # 您可以根据需要命名您的索引
)
print(f"成功将 {len(docs)} 个文档块及其嵌入存储到 Redis 索引 '{vectorstore.index_name}' 中。")

执行上述代码后，您的文本数据及其对应的向量嵌入就已经存储在 Redis 向量数据库中，并准备好进行相似度搜索。

5. 执行向量相似度搜索

一旦数据存储在 Redis 中，您就可以执行相似度搜索来查找与给定查询最相关的文本块。

5.1 使用 similarity_search_with_score

similarity_search_with_score 方法会根据查询文本生成嵌入，然后在 Redis 向量数据库中查找与其最相似的向量。它返回一个包含匹配文档及其相似度分数的列表。分数越低通常表示相似度越高（具体取决于距离度量方式）。

# 假设您已经初始化了 vectorstore，或者重新连接
# vectorstore = Redis.from_existing_index(
#     embeddings,
#     redis_url="redis://localhost:6379",
#     index_name="users"
# )

# 执行相似度搜索
query = "He met the Ukrainian people."
results = vectorstore.similarity_search_with_score(query)

# 打印搜索结果
print(f"查询 '{query}' 的相似度搜索结果：")
for doc, score in results:
    print(f"文档内容: {doc.page_content[:100]}...") # 打印前100个字符
    print(f"相似度分数: {score}\n")

通过这个方法，您可以快速从大量文本数据中找到与用户查询语义最接近的信息。

6. 高级主题与注意事项

6.1 自定义嵌入函数与模型选择

本教程使用了 Langchain 封装的 OpenAIEmbeddings。Langchain 还支持其他多种嵌入模型，例如来自 Hugging Face 的 SentenceTransformerEmbeddings，或者其他商业 API。

如果您需要使用完全自定义的嵌入逻辑（例如，调用一个不在 Langchain 预设范围内的本地模型），您可能需要手动为每个文本块生成嵌入向量，然后使用 Redis.add_texts 方法来存储，该方法接受文本列表和对应的嵌入向量列表。

# 示例：如果您需要手动生成嵌入并存储
# from openai import OpenAI
# client = OpenAI()

# def get_embedding(text, model="text-embedding-ada-002"):
#     text = text.replace("\n", " ")
#     return client.embeddings.create(input = [text], model=model).data[0].embedding

# custom_embeddings = [get_embedding(doc.page_content) for doc in docs]
# vectorstore_manual = Redis.from_texts(
#     [doc.page_content for doc in docs],
#     embeddings, # 这里的embeddings参数仍然是Langchain的Embeddings对象，用于内部验证或未来扩展
#     redis_url="redis://localhost:6379",
#     index_name="users_manual",
#     embedding_function=get_embedding # 传入自定义的embedding函数
# )
# 注意：Redis.from_texts 内部已经包含了嵌入生成逻辑，如果传递了 embedding_function 参数，它会使用该函数。
# 更直接的方式是使用 vectorstore.add_texts(texts, embeddings)
# vectorstore_manual.add_texts([doc.page_content for doc in docs], custom_embeddings)

通常情况下，建议优先使用 Langchain 提供的嵌入模型接口，它们能更好地与 Langchain 的生态系统集成。

6.2 Redis 中的 TTL (Time-To-Live) 设置

用户有时会关心 Redis 中存储的嵌入数据的生命周期（TTL）。在 Langchain 的 Redis.from_documents 方法中，默认情况下并不会为存储的键设置 TTL。这意味着数据会永久保存在 Redis 中，直到手动删除。

如果需要为存储的嵌入数据设置过期时间，您有以下几种选择：

• 手动设置: 在数据存储后，通过 Redis 客户端（如 redis-py）或 redis-cli 命令手动为相关的键（通常是 doc: 和 metadata: 格式）设置过期时间，例如 EXPIRE doc: 3600。
• 自定义逻辑: 如果需要批量或自动设置 TTL，您可能需要在 Langchain 的 Redis 向量存储之上封装一层自定义逻辑，在每次数据写入后执行 Redis 的 EXPIRE 命令。
• 查阅 Langchain 文档: 随着 Langchain 版本的迭代，未来可能会在 Redis 类的构造函数或相关方法中提供直接设置 TTL 的参数，建议查阅最新官方文档。

6.3 性能优化与索引管理

• 索引名称 (index_name): 在 Redis.from_documents 中指定的 index_name 非常重要，它决定了数据在 Redis 中的组织方式。为不同的数据集使用不同的索引名称可以有效管理数据。
• 数据量与扩展: 对于非常大的数据集，单个 Redis 实例可能不足以满足需求。可以考虑使用 Redis 集群或分片来扩展存储和查询能力。
• 查询优化: 调整 similarity_search 的参数（例如 k 值，即返回最相似结果的数量）可以影响查询性能和结果的召回率。

7. 总结

本教程详细阐述了如何利用 Langchain 框架和 Redis 向量数据库，从本地文本文件构建一个完整的文本嵌入存储与检索系统。我们涵盖了从文件加载、文本分块、嵌入生成到数据存储和相似度搜索的整个流程。通过掌握这些技术，您可以为各种应用场景（如智能问答、内容推荐、语义搜索等）奠定基础，高效地管理和利用非结构化文本数据。

终于介绍完啦！小伙伴们，这篇关于《Langchain结合Redis实现文本搜索》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识，快来关注吧！