普通人都能使用的离线部署的AI

利用AnythingLLM + Ollama +任意AI开源模型------搭建本地知识库

一,首先在Ollama官网:Download Ollama on macOS 下载安装程序,因为有墙,所以将文件放在网盘方便下载:百度网盘 请输入提取码 提取码: m5qj

二, Ollama框架安装完成后,可以在网址:library 查看支持的开源模型及其详细信息。在终端中使用命令 ollama run 模型名称 下载需要的模型文件,下载完成后可以直接在终端中与AI对话。

三,由于终端中使用会有所不便,可以在如下网址:https://anythingllm.com/ 下载UI程序安装,安装完成后,在程序左侧新建工作区,点击齿轮图标进入设置,在聊天设置和代理设置中,选择ollama,下方的模型任意选择一个即可使用本地AI模型。

注意点:

  1. 模型参数越大,硬件要求越高,请根据自己的硬件配置,尤其是显存大小确定自己需要的模型大小再下载。4GB显存,可以尝试4b及以下模型,6GB显存,可以尝试7b,8b及以下模型等等。AI性能取决于自己的硬件性能。

  2. Ollama相关命令可以在终端中输入ollama查询,如果需要更改模型存放路径,Windows中需要新增环境变量,变量名称:OLLAMA_MODELS,变量值:替换成自己的模型存放路径Linux和Mac下,运行命令:sudo 编辑器名称 /etc/systemd/system/ollama.service 编辑systemd服务,在[Service]下添加 一行Environment=“OLLAMA_MODELS=存放路径(不要含中文)/models”,保存退出重启。

  3. 如果是AMD显卡,安装后若无法使用,可以尝试在此网址(Releases · likelovewant/ollama-for-amd · GitHub),重新下载安装程序安装。

  4. AI的回答取决提示词的清晰明了程度,不满意请更换提示词。

本地部署的AI既可以与IDE互动,成为编程助手,也可以直接在自己的程序中调用,还可以这样:PotPlayer + Ollama AI本地大模型实时翻译教程_哔哩哔哩_bilibili 如此种种。

8 Likes

本论坛对文本扫描,修改需求较多,我在能用ollama情况下,做一些思路上的抛砖引玉:

  1. 使用Llama 3.2 Vision 来对pdf初步处理
  2. phi4或deepseek r1用prompt修改文字,标点符号
  3. 使用elevenlab发音对比文本
1 Like