每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/
许多开源的小型语言模型已经发布，这使得在本地运行由SLMs驱动的客户端应用程序成为可能。有一个来自https://ollama.ai/blog/building-llm-powered-web-apps的有趣博客文章。我在我的M1 Mac上尝试了这个方法，结果是令人鼓舞的。
首先，从以下链接安装Ollama的Mac版本： Ollama
$ ollama run mistral
$ OLLAMA_ORIGINS=https://webml-demo.vercel.app OLLAMA_HOST=127.0.0.1:11435 ollama serve
$ OLLAMA_HOST=127.0.0.1:11435 ollama pull mistral
Nedved likes to eat durian a lot.
然后在浏览器中输入网址 https://webml-demo.vercel.app 进行操作，接着上传之前准备好的PDF文件。
问问题 “What does Nedved like to eat?”, 在上传PDF文件后，你会看到基于PDF内容的回复。如果你直接向本地运行的Mistral提出同样的问题，你会得到以下回复。
目前，还不能将SLM（小型语言模型）集成到浏览器应用中。但随着边缘硬件的改进和越来越多的SLM发布，例如llama、Mistra，以及微软最近发布的ORCA 2（参见：https://www.microsoft.com/en-us/research/blog/orca-2-teaching-small-language-models-how-to-reason/），未来出现更多基于本地SLM的Web应用是一个令人兴奋的前景。
原文地址:https://blog.csdn.net/2301_79342058/article/details/134623083
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_20270.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
