利用AnythingLLM + Ollama +任意AI开源模型------搭建本地知识库
一,首先在Ollama官网:Download Ollama on macOS 下载安装程序,因为有墙,所以将文件放在网盘方便下载:百度网盘 请输入提取码 提取码: m5qj
二, Ollama框架安装完成后,可以在网址:library 查看支持的开源模型及其详细信息。在终端中使用命令 ollama run 模型名称 下载需要的模型文件,下载完成后可以直接在终端中与AI对话。
三,由于终端中使用会有所不便,可以在如下网址:https://anythingllm.com/ 下载UI程序安装,安装完成后,在程序左侧新建工作区,点击齿轮图标进入设置,在聊天设置和代理设置中,选择ollama,下方的模型任意选择一个即可使用本地AI模型。
注意点:
-
模型参数越大,硬件要求越高,请根据自己的硬件配置,尤其是显存大小确定自己需要的模型大小再下载。4GB显存,可以尝试4b及以下模型,6GB显存,可以尝试7b,8b及以下模型等等。AI性能取决于自己的硬件性能。
-
Ollama相关命令可以在终端中输入ollama查询,如果需要更改模型存放路径,Windows中需要新增环境变量,变量名称:OLLAMA_MODELS,变量值:替换成自己的模型存放路径。Linux和Mac下,运行命令:sudo 编辑器名称 /etc/systemd/system/ollama.service 编辑systemd服务,在[Service]下添加 一行Environment=“OLLAMA_MODELS=存放路径(不要含中文)/models”,保存退出重启。
-
如果是AMD显卡,安装后若无法使用,可以尝试在此网址(Releases · likelovewant/ollama-for-amd · GitHub),重新下载安装程序安装。
-
AI的回答取决提示词的清晰明了程度,不满意请更换提示词。
本地部署的AI既可以与IDE互动,成为编程助手,也可以直接在自己的程序中调用,还可以这样:PotPlayer + Ollama AI本地大模型实时翻译教程_哔哩哔哩_bilibili 如此种种。