LangChain+Flan-T5-Small实战文档摘要与主题提取

golang学习网今天将给大家带来《LangChain+Flan-T5-Small 文档摘要与主题提取实战》，感兴趣的朋友请继续看下去吧！以下内容将会涉及到等等知识点，如果你是正在学习文章或者已经是大佬级别了，都非常欢迎也希望大家都能给我建议评论哈~希望能帮助到大家！

本文档提供了一个使用 LangChain 框架和开源 LLM (例如 Flan-T5-Small) 处理大型文档（超过 512 个 tokens）进行摘要和主题提取的实践教程。重点介绍如何使用 LangChain 连接私有 LLM API，并展示了代码示例，演示了如何加载、分割文档，并使用 RetrievalQA 链进行信息检索和问答。

LangChain 提供了一套强大的工具，可以帮助开发者构建基于 LLM 的应用程序。当处理大型文档时，直接将整个文档输入 LLM 可能会超出其上下文窗口的限制。因此，需要将文档分割成更小的块，并使用适当的策略来提取信息。

处理大型文档

LangChain 提供了 load_and_split() 函数，可以用于加载和分割大型文档。这个函数接受一个文档加载器作为输入，并返回一个文档块的列表。例如，可以使用 PyPDFLoader 加载 PDF 文档，然后使用 CharacterTextSplitter 将文档分割成块。

from langchain.document_loaders import PyPDFLoader
from langchain.text_splitter import CharacterTextSplitter

# 加载 PDF 文档
loader = PyPDFLoader("path/to/your/document.pdf")
documents = loader.load()

# 将文档分割成块
text_splitter = CharacterTextSplitter(chunk_size=512, chunk_overlap=0)
texts = text_splitter.split_documents(documents)

print(f"文档被分割成了 {len(texts)} 个块")

chunk_size 参数控制每个块的大小，chunk_overlap 参数控制块之间的重叠部分。适当的 chunk_size 和 chunk_overlap 可以提高信息检索的准确性。

使用 HuggingFaceEmbeddings 进行嵌入

为了更好地理解文档块的语义信息，需要将它们转换成向量嵌入。HuggingFaceEmbeddings 类可以用于从 Hugging Face 模型中心加载预训练的嵌入模型。

from langchain.embeddings import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings(
    model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")

model_name 参数指定要使用的嵌入模型的名称。sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 是一个常用的多语言嵌入模型。

使用 FAISS 构建向量数据库

向量数据库可以用于存储和检索文档嵌入。FAISS (Facebook AI Similarity Search) 是一个高效的向量数据库。

from langchain.vectorstores import FAISS

# 使用文档块和嵌入创建 FAISS 向量数据库
docsearch = FAISS.from_texts(texts, embeddings)

FAISS.from_texts() 函数接受一个文档块列表和一个嵌入模型作为输入，并返回一个 FAISS 向量数据库。

使用 HuggingFaceHub 连接私有 LLM

LangChain 可以通过 HuggingFaceHub 类连接到 Hugging Face Hub 上的 LLM。

from langchain.llms import HuggingFaceHub

llm = HuggingFaceHub(repo_id = "google/flan-t5-base",
                     model_kwargs={"temperature":0.6,"max_length": 500, "max_new_tokens": 200
                                  })

repo_id 参数指定要使用的 LLM 的名称。google/flan-t5-base 是一个常用的开源 LLM。model_kwargs 参数可以用于配置 LLM 的参数，例如 temperature 和 max_length。

使用 RetrievalQA 进行问答

RetrievalQA 链可以用于从文档中检索信息并回答问题。

from langchain.prompts import PromptTemplate
from langchain.chains.retrieval_qa.base import RetrievalQA

prompt_template = """
Compare the book given in question with others in the retriever based on genre and description.
Return a complete sentence with the full title of the book and describe the similarities between the books.

question: {question}
context: {context}
"""

prompt = PromptTemplate(template=prompt_template, input_variables=["context", "question"])
retriever=docsearch.as_retriever()
qa = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=retriever, chain_type_kwargs = {"prompt": prompt})
print(qa.run({"query": "Which book except 'To Kill A Mocking Bird' is similar to it?"}))

RetrievalQA.from_chain_type() 函数接受一个 LLM、一个链类型和一个检索器作为输入，并返回一个 RetrievalQA 链。 chain_type="stuff" 表示将所有检索到的文档块都传递给 LLM。retriever=docsearch.as_retriever() 将 FAISS 向量数据库转换为检索器。

总结

本文档提供了一个使用 LangChain 和开源 LLM 处理大型文档进行摘要和主题提取的实践教程。通过加载和分割文档，使用 HuggingFaceEmbeddings 进行嵌入，使用 FAISS 构建向量数据库，以及使用 RetrievalQA 进行问答，可以有效地从大型文档中提取信息。 请注意，私有 LLM 的 API 调用方式可能略有不同，需要根据具体的 API 文档进行调整。

今天关于《LangChain+Flan-T5-Small实战文档摘要与主题提取》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！