ChatGPT本地部署，学习记录

本文介绍: GPT4ALL项目部署简易，但是在运行体验上一般，并且是只调用CPU来进行运算。看官方文档介绍在嵌入式上有比较大的优势，但是目前个人对嵌入式方向接触不深，仅在本机部署使用。本机配置。

官网地址：

Github：https://github.com/nomic-ai/gpt4all

GPT4ALL项目部署简易，但是在运行体验上一般，并且是只调用CPU来进行运算。

看官方文档介绍在嵌入式上有比较大的优势，但是目前个人对嵌入式方向接触不深，仅在本机部署使用。

本机配置（CPU：i5-8400、显卡：1060、内存：8）

链接：https://gpt4all.io/index.html

可以自行选择不同的model类型，都有相对应的介绍，然后直接下载即可。

model使用相关文档链接：https://docs.gpt4all.io/index.html

安装第三方库：pip install gpt4all

from gpt4all import GPT4All
model = GPT4All(r'D:GPT_ModelGPT4All-13B-snoozy.ggmlv3.q4_0', allow_download=False)
while True:
    str = input('Loading Done! Please input: ')
    if str == '0':
        break
    output = model.generate(str)
    print(output)