LangChain入门(四)-构建本地知识库问答机器人

不念不忘少年蓝@ 2024-03-22 11:34 119阅读 0赞

**在这个例子中，我们会介绍如何从我们本地读取多个文档构建知识库，并且使用 Openai API 在知识库中进行搜索并给出答案。**

**目录**

一、安装向量数据库chromadb和tiktoken

二、使用案例

三、embeddings持久化

四、在线的向量数据库Pinecone

--------------------

#### 一、安装向量数据库chromadb和tiktoken ####

pip install chromadb

![3ba5747e3b134959ae47d3ceecc51445.png][]

其中hnswlib安装不了，去一下网站下载源码解压后，将hnswlib文件夹放在了项目的\\Lib\\site-packages文件夹中

[GitHub - nmslib/hnswlib: Header-only C++/python library for fast approximate nearest neighbors][GitHub - nmslib_hnswlib_ Header-only C_python library for fast approximate nearest neighbors]

![e06cfff475f8414d8a62a8ecdae9dc22.png][] ![7d33a594d69a4d079b0c582c6cc65f6a.png][]

![241853bc6b5f4850b611305262fd54e9.png][]![d699b7b69d244191a23d8c5181c2c489.png][]

安装一下 pybind1

pip install pybind11

安装hnswlib,cd到site-packages\\hnswlib-master目录下执行

python setup.py install

可能会直接成功，也可能报下面的错误

![ff37bc840f5846afa250b76e7259ed69.png][]

解决方案：

[Rust 在 Windows10 下安装/执行出错的解决方法 | 蓝色梦想][Rust _ Windows10 _ _]

![93f5373dd64a4f2586b63a7e2e8f1ffc.png][]

![ee547cb1a52e478e9e247f5ff4627eb5.png][]

![767fc16e528d4757b38d956358292001.png][]

重新安装hnswlib,cd到site-packages\\hnswlib-master目录下执行

python setup.py install

![62ca81b3e8d84968985156a1efaa39c4.png][] 下载Visualstudio安装，勾选如图[https://download.visualstudio.microsoft.com/download/pr/473f1a59-e5bc-4332-8f76-5ff45df9cd24/c237d0f541dff305e3cd6d591710bf175a040af24570a6fdefca4a39fa7f0a93/vs\_BuildTools.exe![icon-default.png?t=N7T8][icon-default.png_t_N7T8]https://download.visualstudio.microsoft.com/download/pr/473f1a59-e5bc-4332-8f76-5ff45df9cd24/c237d0f541dff305e3cd6d591710bf175a040af24570a6fdefca4a39fa7f0a93/vs\_BuildTools.exe][https_download.visualstudio.microsoft.com_download_pr_473f1a59-e5bc-4332-8f76-5ff45df9cd24_c237d0f541dff305e3cd6d591710bf175a040af24570a6fdefca4a39fa7f0a93_vs_BuildTools.exe_icon-default.png_t_N7T8_icon-default.png_t_N7T8_https_download.visualstudio.microsoft.com_download_pr_473f1a59-e5bc-4332-8f76-5ff45df9cd24_c237d0f541dff305e3cd6d591710bf175a040af24570a6fdefca4a39fa7f0a93_vs_BuildTools.exe]

![cb5c3970da52b35a55a082bba3056c02.png][]

安装完毕后，再次安装hnswlib

python setup.py install

![34439d07a6fc4062b42f405fa11a1d17.png][]

再次安装chromadb即可成功。

pip install chromadb

![9e75a30910b04717b45db822a156d681.png][]

安装依赖

pip install tiktoken

#### 二、使用案例 ####

在项目中新建一个data文件夹，里面放一个doc.txt，内容我摘抄一段朱炫大师兄的年少荒唐中的文章。

import os
    
    from langchain.embeddings.openai import OpenAIEmbeddings
    from langchain.vectorstores import Chroma
    from langchain.text_splitter import CharacterTextSplitter
    from langchain import OpenAI, VectorDBQA
    from langchain.document_loaders import DirectoryLoader
    from langchain.chains import RetrievalQA
    
    # openAI的Key
    os.environ["OPENAI_API_KEY"] = '**********************'
    
    # 加载文件夹中的所有txt类型的文件
    loader = DirectoryLoader('D:\pythonwork\mindlangchain\data', glob='**/*.txt')
    # 将数据转成 document 对象，每个文件会作为一个 document
    documents = loader.load()
    
    # 初始化加载器
    text_splitter = CharacterTextSplitter(chunk_size=100, chunk_overlap=0)
    # 切割加载的 document
    split_docs = text_splitter.split_documents(documents)
    
    # 初始化 openai 的 embeddings 对象
    embeddings = OpenAIEmbeddings()
    # 将 document 通过 openai 的 embeddings 对象计算 embedding 向量信息并临时存入 Chroma 向量数据库，用于后续匹配查询
    docsearch = Chroma.from_documents(split_docs, embeddings)
    
    # 创建问答对象
    qa = VectorDBQA.from_chain_type(llm=OpenAI(), chain_type="stuff", vectorstore=docsearch, return_source_documents=True)
    # 进行问答
    result = qa({"query": "有哪些开心的事情？"})
    print(result)

![b0cbfb2a7db14f53870183abccd18e86.png][]

#### 三、embeddings持久化 ####

上个案例里面有一步是将 document 信息转换成向量信息和embeddings的信息并临时存入 Chroma 数据库。

因为是临时存入，所以当我们上面的代码执行完成后，上面的向量化后的数据将会丢失。如果想下次使用，那么就还需要再计算一次embeddings，这肯定不是我们想要的。

那么，这个案例我们就来通过 Chroma 和 Pinecone 这两个数据库来讲一下如何做向量数据持久化。

上面的案例中我们只是将embeddings临时存进了Chroma，只需多加一个路径参数就可以实现持久化。

![f066fbd28ed947f6b88a1879509dc723.png][]

import os
    
    from langchain.embeddings.openai import OpenAIEmbeddings
    from langchain.vectorstores import Chroma
    from langchain.text_splitter import CharacterTextSplitter
    from langchain import OpenAI, VectorDBQA
    from langchain.document_loaders import DirectoryLoader
    from langchain.chains import RetrievalQA
    
    # openAI的Key
    os.environ["OPENAI_API_KEY"] = 'sk-'
    
    # 加载文件夹中的所有txt类型的文件
    loader = DirectoryLoader('D:\pythonwork\mindlangchain\data', glob='**/*.txt')
    # 将数据转成 document 对象，每个文件会作为一个 document
    documents = loader.load()
    
    # 初始化加载器
    text_splitter = CharacterTextSplitter(chunk_size=100, chunk_overlap=0)
    # 切割加载的 document
    split_docs = text_splitter.split_documents(documents)
    
    # 初始化 openai 的 embeddings 对象
    embeddings = OpenAIEmbeddings()
    # 将 document 通过 openai 的 embeddings 对象计算 embedding 向量信息并临时存入 Chroma 向量数据库，用于后续匹配查询
    vector_store_path = r"D:\pythonwork\mindlangchain\vector_store"
    docsearch = Chroma.from_documents(documents=split_docs,
                                      embedding=embeddings,
                                      persist_directory=vector_store_path)
    
    # docsearch = Chroma(persist_directory=vector_store_path,embedding_function=embeddings)
    # 创建问答对象
    qa = VectorDBQA.from_chain_type(llm=OpenAI(), chain_type="stuff", vectorstore=docsearch, return_source_documents=True)
    # 进行问答
    result = qa({"query": "有哪些开心的事情？"})
    print(result)

读取持久化的embeddings：

![1253838617b7490eabe72bd4608b6407.png][]

import os
    
    from langchain.embeddings.openai import OpenAIEmbeddings
    from langchain.vectorstores import Chroma
    from langchain.text_splitter import CharacterTextSplitter
    from langchain import OpenAI, VectorDBQA
    from langchain.document_loaders import DirectoryLoader
    from langchain.chains import RetrievalQA
    
    # openAI的Key
    os.environ["OPENAI_API_KEY"] = 'sk-'
    
    # 加载文件夹中的所有txt类型的文件
    loader = DirectoryLoader('D:\pythonwork\mindlangchain\data', glob='**/*.txt')
    # 将数据转成 document 对象，每个文件会作为一个 document
    documents = loader.load()
    
    # 初始化加载器
    text_splitter = CharacterTextSplitter(chunk_size=100, chunk_overlap=0)
    # 切割加载的 document
    split_docs = text_splitter.split_documents(documents)
    
    # 初始化 openai 的 embeddings 对象
    embeddings = OpenAIEmbeddings()
    # 将 document 通过 openai 的 embeddings 对象计算 embedding 向量信息并临时存入 Chroma 向量数据库，用于后续匹配查询
    vector_store_path = r"D:\pythonwork\mindlangchain\vector_store"
    # docsearch = Chroma.from_documents(documents=split_docs,
    #                                   embedding=embeddings,
    #                                   persist_directory=vector_store_path)
    
    docsearch = Chroma(persist_directory=vector_store_path,embedding_function=embeddings)
    # 创建问答对象
    qa = VectorDBQA.from_chain_type(llm=OpenAI(), chain_type="stuff", vectorstore=docsearch, return_source_documents=True)
    # 进行问答
    result = qa({"query": "有哪些开心的事情？"})
    print(result)

#### 四、在线的向量数据库**Pinecone** ####

Pinecone 是一个在线的向量数据库。所以，我可以第一步依旧是注册，然后拿到对应的 api key。（免费版如果索引14天不使用会被自动清除）

[Pinecone ConsoleWeb site created using create-react-app![icon-default.png?t=N7T8][icon-default.png_t_N7T8]https://app.pinecone.io/][Pinecone ConsoleWeb site created using create-react-app_icon-default.png_t_N7T8_icon-default.png_t_N7T8_https_app.pinecone.io]![2e8a79616f1b431093dc702a1921ba37.png][]

创建数据库

![453fdb6ad685469fbcd46a415ba11b8b.png][] ![a0fcfdd02eaf4356bff464b674bde066.png][]

# 持久化数据
    docsearch = Pinecone.from_texts([t.page_content for t in split_docs], embeddings, index_name=index_name)
    
    # 加载数据
    docsearch = Pinecone.from_existing_index(index_name, embeddings)

#### 结尾、扫一扫下方微信名片即可+博主徽信哦 **↓↓ ↓↓ ↓↓ ↓↓ ↓↓ ↓↓ ↓↓ ↓↓ ↓↓↓** ####

[3ba5747e3b134959ae47d3ceecc51445.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/4a2edd18a37e46758cd37db9e0fb9704.png
[GitHub - nmslib_hnswlib_ Header-only C_python library for fast approximate nearest neighbors]: https://github.com/nmslib/hnswlib
[e06cfff475f8414d8a62a8ecdae9dc22.png]: https://img-blog.csdnimg.cn/e06cfff475f8414d8a62a8ecdae9dc22.png
[7d33a594d69a4d079b0c582c6cc65f6a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/ca205dfd5dc44c1d8e2c39bc210eec82.png
[241853bc6b5f4850b611305262fd54e9.png]: https://img-blog.csdnimg.cn/241853bc6b5f4850b611305262fd54e9.png
[d699b7b69d244191a23d8c5181c2c489.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/d2af2942cfcc4b3cbf58fdeddb39c770.png
[ff37bc840f5846afa250b76e7259ed69.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/8bfda378037a4c1baefcf0e12bdae65d.png
[Rust _ Windows10 _ _]: https://www.bluesdream.com/blog/rust-error-linker-link-exe-not-found-solution.html
[93f5373dd64a4f2586b63a7e2e8f1ffc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/aadd1a025f5341b19a8945218480eabe.png
[ee547cb1a52e478e9e247f5ff4627eb5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/3208c290cb0941bc878e28083b036870.png
[767fc16e528d4757b38d956358292001.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/28fe3de80f364539a4b781e57514fb2c.png
[62ca81b3e8d84968985156a1efaa39c4.png]: https://img-blog.csdnimg.cn/62ca81b3e8d84968985156a1efaa39c4.png
[icon-default.png_t_N7T8]: https://csdnimg.cn/release/blog_editor_html/release2.3.6/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=N7T8
[https_download.visualstudio.microsoft.com_download_pr_473f1a59-e5bc-4332-8f76-5ff45df9cd24_c237d0f541dff305e3cd6d591710bf175a040af24570a6fdefca4a39fa7f0a93_vs_BuildTools.exe_icon-default.png_t_N7T8_icon-default.png_t_N7T8_https_download.visualstudio.microsoft.com_download_pr_473f1a59-e5bc-4332-8f76-5ff45df9cd24_c237d0f541dff305e3cd6d591710bf175a040af24570a6fdefca4a39fa7f0a93_vs_BuildTools.exe]: https://download.visualstudio.microsoft.com/download/pr/473f1a59-e5bc-4332-8f76-5ff45df9cd24/c237d0f541dff305e3cd6d591710bf175a040af24570a6fdefca4a39fa7f0a93/vs_BuildTools.exe
[cb5c3970da52b35a55a082bba3056c02.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/7d895ad4fed24555838c0d6276698f10.png
[34439d07a6fc4062b42f405fa11a1d17.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/3b8c6eb17fea4d1d987d1a011ffca3a0.png
[9e75a30910b04717b45db822a156d681.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/0aaaccc1d1ef45e6aab374ed8a95cb97.png
[b0cbfb2a7db14f53870183abccd18e86.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/7666db6bbea247a289ad5e607e5f78e7.png
[f066fbd28ed947f6b88a1879509dc723.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/1623415d70cb4929bfd30b45fe8a5e99.png
[1253838617b7490eabe72bd4608b6407.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/2860333c72414158ad5c84943d521cc6.png
[Pinecone ConsoleWeb site created using create-react-app_icon-default.png_t_N7T8_icon-default.png_t_N7T8_https_app.pinecone.io]: https://app.pinecone.io/
[2e8a79616f1b431093dc702a1921ba37.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/22babacca9b343e79d989cadca9ea8df.png
[453fdb6ad685469fbcd46a415ba11b8b.png]: https://img-blog.csdnimg.cn/453fdb6ad685469fbcd46a415ba11b8b.png
[a0fcfdd02eaf4356bff464b674bde066.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/22/3ff9da3935a44613b32bce34d4dfcf27.png