AI 上下文查词支持流式输出怎么使用？

软件经验交流展望 DictTango
1

这个功能怎么打开？支持离线模型么？
AI 上下文查词支持流式输出

2

可以参考以下帖子，支持离线模型，但离线模型的性能和准确度应该比不上在线的

3

好的，谢谢谢谢(^:folded_hands:^)

4

在设置里，没找到离线选项。
Claude
DeepSeek
ChatGPT
BaiduYiYan
Gemini

5

要选中"用API查询"

6

可以了 太好了。！！ε=ε=(ﾉ≧∇≦)ﾉ

7

对中文查词 ，用到以下四个模型，但是怎么都是英文回答，这是怎么回事儿？需要怎么设置？
DeepSeek R1 qwen-1.5B-Q8
DeepSeek R1 qwen-1.5B-Q2_K_l
qwen3-1.7b-q4_K_m
qwen3-1.7b-q8_0

8

麻烦你上传个截图来看看

9

image
image628×1300 116 KB

在词典中的ai会话是正常的中文。ai查词是英文。

10

有两个原因：

  1. 离线模型(特别是4B以下的)可能没有那么强大的理解能力, 有时候输出结果会不如理想
  2. 你没有在底部栏指定输出语言，有时候会造成AI自动检测语言失败而切换到英文

解决办法有几 个:

  1. 建议你可以试试4B的模型， 比如Gemma3: gemma-3-4b-it-Q4_K_M.gguf · unsloth/gemma-3-4b-it-GGUF at main
  2. 在AI服务中添加大模型文件时，设置特定的系统角色信息， 比如：你是一名汉语专家
  3. 使用在线的AI网站或者API

总而言之，现阶段在手机上运行离线大模型，不要对结果有太高的期望，毕竟硬件的限制就在那，输出的精度有限。

11

好的，谢谢您:rose: