如需在本地离线环境运行项目需要首先将项目所需的模型下载本地,通常开源 LLM 与 Embedding 模型可以从 HuggingFace 下载

以本项目默认使用的 LLM 模型 THUDM/ChatGLM2-6B 与 Embedding 模型 moka-ai/m3e-base 为例

下载模型需要安装 Git LFS然后运行

参考通义千问部署搭建_代码浪人的博客-CSDN博客

git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git

 git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat-Int4.git

代码

git clone https://github.com/QwenLM/Qwen-7B.git

pip installr requirements.txt

pip installr requirements_web_demo.txt

修改web_demo.py

启动python web_demo.py

量化:(量化过程 报GPU版本问题 暂时未调通)

GPTQ

请注意:我们更新量化方案基于 AutoGPTQ 的量化,提供Int4量化模型。该方案在模型评测效果几乎无损,且存储需求更低,推理速度更优。

以下我们提供示例说明如何使用Int4量化模型。在开始使用前,请先保证满足要求(如torch 2.0及以上,transformers版本为4.32.0及以上,等等),并安装所需安装包

pip install autogptq optimum

随后即可使用和上述一致的用法调用量化模型:

下载:git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat-Int4.git

没成功 一直报这个GPU版本的问题

nvidiasmi

Start Locally | PyTorch

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

conda  infoenvs

conda remove —name ancillaryall

————————————————————-

参考【PyTorch】PyTorch、Cuda 的安装和使用_cuda pytorch-CSDN博客

conda create -n pytorch python=3.8

进入conda activate pytorch

nvccversion

查看版本

conda install pytorch torchvision torchaudio pytorchcuda=11.8 –c pytorchc nvidia

检查

import torch

print(torch.__version__)
print(torch.version.cuda) # gpu
print(torch.backends.cudnn.version()) # cudnn 
print(torch.cuda.is_available())  # gpu
print(torch.cuda.device_count())

python -c “import torch; print(torch.version.cuda)”

退出deactivate(参考)

pip installr requirements.txt

再次启动 GPU 可以使用了。

改用量化的模型

修改模型的路径

参考通义千问-7B-Chat-Int4 · 模型库 (modelscope.cn)

pip install modelscope

pip install autogptq optimum

cd ..

git clone -b v1.0.8 https://github.com/Dao-AILab/flashattention

cd flashattention && pip install .

启动成功后 速度不错:

———————————————————————

conda deactivate

#获取版本号
conda –versionconda -V

#检查更新当前conda
conda update conda

#查看当前存在哪些虚拟环境
conda env list 或 conda info -e

#查看–安装更新删除

conda list
conda search package_name# 查询
conda install package_name
conda install package_name=1.5.0
conda update package_name
conda remove package_name

#创建名为your_env_name的环境
conda create –name your_env_name
#创建制定python版本的环境
conda create –name your_env_name python=2.7
conda create –name your_env_name python=3.6
#创建包含某些包(如numpyscipy)的环境
conda create –name your_env_name numpy scipy
#创建指定python版本下包含某些包的环境
conda create –name your_env_name python=3.6 numpy scipy
 

conda activate your_env_name

deactivate your_env_name

conda remove -n your_env_name –all

conda remove –name your_env_name –all

原文地址:https://blog.csdn.net/wangqiaowq/article/details/134672833

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_30476.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注