[DictTango] 在DictTango中加载本地大语言模型

[glacierlee]

调用本地大语言模型文件步骤

添加大模型

1. 下载本地大语言模型文件并保存到手机
2. 在DictTango中添加AI服务，服务提供者选"本地大模型"
3. 选择下载好的大语言模型文件
4. 保存AI服务

调用大模型

1. 直接在首页点击"AI会话"
2. 添加AI Prompt 进行查词时调用
3. 在AI上下文中查词中调用

注意事项

1. 目前最稳定的模型是Deepseek R1, LLAMA3.2 1B和3B, 其它模型可能会存在重复输出的情况
2. 由于手机的硬件配置原因，推荐使用3B以下的模型，3B以上的模型可能会存在性能问题
3. Q4_K_M 的模型平衡性(精度，资源消耗)最好，但如果手机性能还可以，推荐用Q8_0，输出精度高。

Safe

视频：加载DeepSeek R1大模型解决鸡兔同笼数学题

截图：用荀子大模型进行断句的截图 （这个断句的过程会比较慢）

大语言模型下载方法

• Deepseek R1: unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF at main

• Google Gemma 3: unsloth/gemma-3-1b-it-GGUF · Hugging Face

• 通义千问: Qwen/Qwen2.5-1.5B-Instruct-GGUF · Hugging Face

• Llama 3.2 1B : Llama-3.2-1B-Instruct-Q4_0_4_4.gguf · bartowski/Llama-3.2-1B-Instruct-GGUF at main

• Llama 3.2 3B : Llama-3.2-3B-Instruct-Q4_0_4_4.gguf · bartowski/Llama-3.2-3B-Instruct-GGUF at main

• 通义千问Coder: Qwen/Qwen2.5-Coder-1.5B-Instruct-GGUF at main

• 荀子(可进行断句和加标点）: XunziALLM.Q4_K_M.gguf · mradermacher/XunziALLM-GGUF at main

• 也可以直接使用Ollma中的模型 library

[hua]

时代变了啊，手机输出也能达到阅读速度了。