调用本地大语言模型文件步骤
添加大模型
- 下载本地大语言模型文件并保存到手机
- 在DictTango中添加AI服务，服务提供者选"本地大模型"
- 选择下载好的大语言模型文件
- 保存AI服务
调用大模型
- 直接在首页点击"AI会话"
- 添加AI Prompt 进行查词时调用
- 在AI上下文中查词中调用
注意事项
- 目前最稳定的模型是Deepseek R1, LLAMA3.2 1B和3B, 其它模型可能会存在重复输出的情况
- 由于手机的硬件配置原因，推荐使用3B以下的模型，3B以上的模型可能会存在性能问题
- Q4_K_M 的模型平衡性(精度，资源消耗)最好，但如果手机性能还可以，推荐用Q8_0，输出精度高。
Safe
视频：加载DeepSeek R1大模型解决鸡兔同笼数学题
截图：用荀子大模型进行断句的截图 （这个断句的过程会比较慢）
大语言模型下载方法
-
(通义千问)Qwen3: Qwen3-1.7B-Q4_K_M.gguf · unsloth/Qwen3-1.7B-GGUF at main
-
Deepseek R1: unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF at main
-
Google Gemma 3: unsloth/gemma-3-1b-it-GGUF · Hugging Face
-
Llama 3.2 1B : Llama-3.2-1B-Instruct-Q4_0_4_4.gguf · bartowski/Llama-3.2-1B-Instruct-GGUF at main
-
Llama 3.2 3B : Llama-3.2-3B-Instruct-Q4_0_4_4.gguf · bartowski/Llama-3.2-3B-Instruct-GGUF at main
-
荀子(可进行断句和加标点）: XunziALLM.Q4_K_M.gguf · mradermacher/XunziALLM-GGUF at main
-
也可以直接使用Ollma中的模型 library
