如需在本地或离线环境下运行本项目,需要首先将项目所需的模型下载至本地,通常开源 LLM 与 Embedding 模型可以从 HuggingFace 下载。
以本项目中默认使用的 LLM 模型 THUDM/ChatGLM2-6B 与 Embedding 模型 moka-ai/m3e-base 为例:
下载模型需要先安装 Git LFS,然后运行
git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git
git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat-Int4.git
拉代码
git clone https://github.com/QwenLM/Qwen-7B.git
pip install –r requirements.txt
pip install –r requirements_web_demo.txt
GPTQ
请注意:我们更新量化方案为基于 AutoGPTQ 的量化,提供Int4量化模型。该方案在模型评测效果几乎无损,且存储需求更低,推理速度更优。
以下我们提供示例说明如何使用Int4量化模型。在开始使用前,请先保证满足要求(如torch 2.0及以上,transformers版本为4.32.0及以上,等等),并安装所需安装包:
下载:git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat-Int4.git
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
conda remove —name ancillary —all
————————————————————-
参考:【PyTorch】PyTorch、Cuda 的安装和使用_cuda pytorch-CSDN博客
conda create -n pytorch python=3.8
查看版本
conda install pytorch torchvision torchaudio pytorch–cuda=11.8 –c pytorch –c nvidia
检查:
print(torch.__version__)
print(torch.version.cuda) # gpu
print(torch.backends.cudnn.version()) # cudnn
print(torch.cuda.is_available()) # gpu
print(torch.cuda.device_count())
python -c “import torch; print(torch.version.cuda)”
pip install –r requirements.txt
再次启动 GPU 可以使用了。
改用量化的模型
参考:通义千问-7B-Chat-Int4 · 模型库 (modelscope.cn)
cd ..
git clone -b v1.0.8 https://github.com/Dao-AILab/flash–attention
cd flash–attention && pip install .
启动成功后 速度不错:
———————————————————————
#获取版本号
conda –version 或 conda -V
#检查更新当前conda
conda update conda
#查看当前存在哪些虚拟环境
conda env list 或 conda info -e
conda list:
conda search package_name# 查询包
conda install package_name
conda install package_name=1.5.0
conda update package_name
conda remove package_name
#创建名为your_env_name的环境
conda create –name your_env_name
#创建制定python版本的环境
conda create –name your_env_name python=2.7
conda create –name your_env_name python=3.6
#创建包含某些包(如numpy,scipy)的环境
conda create –name your_env_name numpy scipy
#创建指定python版本下包含某些包的环境
conda create –name your_env_name python=3.6 numpy scipy
conda remove -n your_env_name –all
conda remove –name your_env_name –all
原文地址:https://blog.csdn.net/wangqiaowq/article/details/134672833
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.7code.cn/show_30476.html
如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除!