Langchain-Chatchat的安装过程

本文介绍: print(torch.version.cuda)” 返回是 12.1 ，驱动也无法升级，所以重新申请了阿里云的机器重新安装。# 默认依赖包括基本运行环境（FAISS向量库）。如果要使用 milvus/pg _vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装。1、安装过程中出现了 GPU驱动版本是11.8 而。进入：conda activate pytorch。3、创建 conda 环境。

参考：LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持 FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embe_一个处女座的程序猿的博客-CSDN博客

1、安装过程中出现了 GPU驱动版本是11.8 而

python –c “import t orch; print(t orch.version.cu da)” 返回是 12.1 ，驱动也无法升级，所以重新申请了阿里云的机器重新安装

2、程序下载模型下载：

git clone https://www.modelscope.cn/Jerr y0/m3e–base.git

暂时没用：git clone https://www.modelscope.cn/qwen/Qw e n-7B-Chat-In t4.git

git clone https://www.modelscope.cn/qwe n/Qwe n-7B-Chat.g i t

g i t clone https://www.modelscope.cn/Zh ip uAI/chatglm2-6b.g i t

项目下载：

g i t clone https://github.com/i mClu ms yPand a/langchain-ChatGLM.gi t

3、创建 co n da 环境

conda create -n pytorch python=3.8

进入：conda ac tivate pytorch

nv cc —version

pip3 install —upgrade pip

python –c “import torch; print(torch.version.cu da)”

python -c “import torch; print(torch.cu da.is _available())”

cd langchain-ChatGLM

# 安装全部依赖

$ pip install –r requirements.txt

pip install –r requirements _api.txt

pip install -r requirements_webui.txt

# 默认依赖包括基本运行环境（FAISS向量库）。如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装。

安装后出现

ls -l /usr/local | grep cuda

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

4、git lfs install

pip install modelscope

pip install auto–gptq optim u m

git clone –b v1.0.8 https://github.com/Da o-AILab/flash–attention

cd flash–attention && pip install .

5、修改配置：

root@dsw-160253-6c99d7f67c-z4jjw:/mnt/workspace/langchain-ChatGLM/config s# cp basic_config.py.example basic_config.py
root@dsw-160253-6c99d7f67c-z4jjw:/mnt/workspace/langchain-ChatGLM/config s# cp kb_config.py.example kb_config.py
root@dsw-160253-6c99d7f67c-z4jjw:/mnt/workspace/langchain-ChatGLM/config s# cp model_config.py.example model_config.py
root@dsw-160253-6c99d7f67c-z4jjw:/mnt/workspace/langchain-ChatGLM/configs# cp prompt_config.py.e x ample prompt_co nfig.p y
root@dsw-160253-6c99d7f67c-z4jjw:/mnt/work space/langchain-ChatGLM/co nfigs# cp server_co nfig.p y.e x ample server_co nfig.p y

修改 model_co nfig.py

6、

知识库 初始化

当前项目的知识库信息存储在数据库中，在正式运行项目之前请先初始化数据库

cd ..

python init_database.py —re create–vs

有异常信息依次安装解决：

pip in sta ll typing_extensions==4.8.0

pi p in sta ll —force–re in sta ll charset-normalizer==3.1.0

启动：

python startup.py —a ll–web ui

修改下模型目录下的 co nfig.json 文件添加 “disa ble_ex llama“:true,

再次启动 python startup.py -a

部署成功：备注使用 chatglm2-6b 部署成功也可以正常对话通义千问暂时还没成功

原文地址:https://blog.csdn.net/wang qiaowq/article/detail s/134694027

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。

如若转载，请注明出处：http://www.7code.cn/show_46858.html

如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。

相关文章

发表回复 取消回复

发表回复取消回复