# 請教：四庫全書繁體文本，如何用AI把標點全部加上去？ **URL:** \ **Category:** 技术交流与词典编修\ **Created:** [2024 年6 月 23 日 01:55 UTC](https://forum.freemdict.com/t/topic/29561 "2024-06-23T01:55:09Z")\ **Posts on this page:** 20\ **Page:** 1
**Author:** ![阿弥陀佛](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/%E9%98%BF/a9adbd/32.png) [@阿弥陀佛](https://forum.freemdict.com/u/%E9%98%BF%E5%BC%A5%E9%99%80%E4%BD%9B)\ **Post date:** [2024 年6 月 23 日 01:55 UTC](https://forum.freemdict.com/t/topic/29561/1 "2024-06-23T01:55:09Z")
目前的AI標點技術已經不錯了，準確率很高。北大、北師大、龍泉寺、中華書局古聯 等等。各大網站都有試用，不過限制次數或字數。 請問 如何一次性 標點 四庫全書繁體文本？用python調用API實現？ 又：建議 @glacierlee 在軟件中可以加入 AI標點 這一選項。遇到沒有標點的文本，直接調用AI 即時標點。不知能否實現？ 現有 四庫全書繁體MDX，沒有標點，使用率非常低。 國學大師網站自說有四庫全書簡體標點本，我看是把現有的相關資料編在一起，和殆知閣類似。並不是真正的四庫全書原始文本。 > [@【阿彌陀佛】四庫全書 | 中华古籍库 2021更新！](https://forum.freemdict.com/t/topic/5445): > > 【阿彌陀佛】四庫全書 | 古籍库 2021更新！ 之前是數字標題，全文檢索時不能顯示中文標題，此次全部改為中文標題。 四庫全書有一版改了部分異體字，提高全文檢索率。 舊版也保留。 中華古籍库 链接: [百度网盘 请输入提取码](https://pan.baidu.com/s/18l-mQdZKJtm43Ye1fRjLeA) 提取码: mbwv 四庫全書 链接: [百度网盘 请输入提取码](https://pan.baidu.com/s/1Oo90xfQ4hpPGnV1Vix5LuA) 提取码: 98ze ---
**Author:** ![mixivivo](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/8491ac/32.png) [@mixivivo](https://forum.freemdict.com/u/mixivivo)\ **Post date:** [2024 年6 月 23 日 02:36 UTC](https://forum.freemdict.com/t/topic/29561/2 "2024-06-23T02:36:15Z")
这现在只是砸入钱的问题，调用openai、Goolge Gemini、anthropic，或者通义千问的api。前几家比较贵，但通义千问有1块钱200万tokens的价格，《四库全书》7、8亿字，理论算下来输入400块钱，输出400块钱，千把元搞定。不过我只少量文本测试过，处理数亿文本这些大模型的速度和性能怎么样不知道。 ---
**Author:** ![mixivivo](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/8491ac/32.png) [@mixivivo](https://forum.freemdict.com/u/mixivivo)\ **Post date:** [2024 年6 月 23 日 02:41 UTC](https://forum.freemdict.com/t/topic/29561/3 "2024-06-23T02:41:53Z")
也可以耐心等一下，识典古籍（ [https://www.shidianguji.com/](https://www.shidianguji.com/) ）说不定过一两年就基本把四库全书都数字化、标点了，据说这个数据库要做到10000种的规模（当下5000余种），大部分四库全书的文本应该包括在内。 ---
**Author:** ![sxingbai](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/s/919ad9/32.png) [@sxingbai](https://forum.freemdict.com/u/sxingbai)\ **Post date:** [2024 年6 月 23 日 03:55 UTC](https://forum.freemdict.com/t/topic/29561/4 "2024-06-23T03:55:21Z")
用荀子模型，模型已经用四库全书训练过，专业且免费。 简单点儿就直接用API，如果要高效还是在本机部署。我的电脑显卡不行，没试过。 但四库全书断完也看不完呀。 ---
**Author:** ![mixivivo](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/8491ac/32.png) [@mixivivo](https://forum.freemdict.com/u/mixivivo)\ **Post date:** [2024 年6 月 23 日 04:25 UTC](https://forum.freemdict.com/t/topic/29561/5 "2024-06-23T04:25:59Z")
那些所谓的专业古文模型，根据我不专业的零星使用感受，反而好像是比较差劲的。但实际也不意外，因为LLM越大越好，参数更多，训练数据更多，模式、语义理解会更充分。此一现象也出现在翻译模型上，现在以前盛行的专业翻译引擎都被顶级大模型超越、打败了。 本地部署模型也可能是不划算，且低效的。比如说，本地部署qwen 72b模型，需要非常好的GPU（例如A100/H100）才能达到了100 token/秒的输出速度。那么，一天处理 100x60x60x24 = 8640000 字（token），四库全书全部标点了需要不间断运行100天，时间漫长，电费都不菲，或许还是用某些厂商的API更划算。 ---
**Author:** ![mixivivo](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/8491ac/32.png) [@mixivivo](https://forum.freemdict.com/u/mixivivo)\ **Post date:** [2024 年6 月 23 日 05:27 UTC](https://forum.freemdict.com/t/topic/29561/6 "2024-06-23T05:27:50Z")
> [@mixivivo](#): > > 通义千问有1块钱200万tokens的价格，《四库全书》7、8亿字，理论算下来输入400块钱，输出400块钱，千把元搞定 查了一下，此处的计算有误，“1块钱200万tokens”只是Qwen-Long 的输入价格，输出价格贵了4倍，且不知道Qwen-Long的参数、性能如何，是不是比得上qwen2 72b，看来商家那些喊得震天响的宣传口号陷阱很多，不可轻信。 ---
**Author:** ![shaoshi](https://forumcdn.freemdict.com/user_avatar/forum.freemdict.com/shaoshi/32/14529_2.png) [@shaoshi](https://forum.freemdict.com/u/shaoshi)\ **Post date:** [2024 年6 月 23 日 05:56 UTC](https://forum.freemdict.com/t/topic/29561/7 "2024-06-23T05:56:03Z")
参看： [中国的古籍版ChatGPT“荀子”](https://forum.freemdict.com/t/topic/25353) ---
**Author:** ![mixivivo](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/8491ac/32.png) [@mixivivo](https://forum.freemdict.com/u/mixivivo)\ **Post date:** [2024 年6 月 23 日 06:54 UTC](https://forum.freemdict.com/t/topic/29561/8 "2024-06-23T06:54:55Z")
北师大推出的“ 古詩文斷句 v3.1” （[https://seg.shenshen.wiki/](https://seg.shenshen.wiki/) ），在我用过的古文标点系统里，算准确率相当不错的，貌似和目前的顶级大模型在伯仲之间，它应该是扎扎实实专门训练、强化学习过。不过其弊病是测试版字数有限制，且不提供api调用，没法标点处理大量文本。 ---
**Author:** ![阿弥陀佛](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/%E9%98%BF/a9adbd/32.png) [@阿弥陀佛](https://forum.freemdict.com/u/%E9%98%BF%E5%BC%A5%E9%99%80%E4%BD%9B)\ **Post date:** [2024 年6 月 23 日 08:14 UTC](https://forum.freemdict.com/t/topic/29561/9 "2024-06-23T08:14:43Z")
荀子模型，我試了一下，標點有不少錯誤。比 龍泉寺、古聯 的差得很遠。 ---
**Author:** ![sxingbai](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/s/919ad9/32.png) [@sxingbai](https://forum.freemdict.com/u/sxingbai)\ **Post date:** [2024 年6 月 23 日 08:20 UTC](https://forum.freemdict.com/t/topic/29561/10 "2024-06-23T08:20:55Z")
> [@阿弥陀佛](#): > > 龍泉寺、古聯 这两个有API？收费不收？分享一下 ---
**Author:** ![阿弥陀佛](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/%E9%98%BF/a9adbd/32.png) [@阿弥陀佛](https://forum.freemdict.com/u/%E9%98%BF%E5%BC%A5%E9%99%80%E4%BD%9B)\ **Post date:** [2024 年6 月 23 日 08:21 UTC](https://forum.freemdict.com/t/topic/29561/11 "2024-06-23T08:21:39Z")
我試了幾個大模型 和專業AI標點，目前來看，中華書局的古聯 準確率最高，龍泉寺的古籍酷也不錯，北大和北師大的略差一點，幾個大模型的勉強能用。 北师大推出的“ 古詩文斷句 v3.1” （[https://seg.shenshen.wiki/](https://seg.shenshen.wiki/) ）打不開了，怎麼回事 ---
**Author:** ![sxingbai](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/s/919ad9/32.png) [@sxingbai](https://forum.freemdict.com/u/sxingbai)\ **Post date:** [2024 年6 月 23 日 08:23 UTC](https://forum.freemdict.com/t/topic/29561/12 "2024-06-23T08:23:25Z")
北师大这个我不知道，它的“太炎”我试过，不行。 也许确实专业的不一定比通用模型强，我目前用豆包，觉得还行。 ---
**Author:** ![阿弥陀佛](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/%E9%98%BF/a9adbd/32.png) [@阿弥陀佛](https://forum.freemdict.com/u/%E9%98%BF%E5%BC%A5%E9%99%80%E4%BD%9B)\ **Post date:** [2024 年6 月 23 日 08:24 UTC](https://forum.freemdict.com/t/topic/29561/13 "2024-06-23T08:24:51Z")
古聯：[http://autopun.ancientbooks.cn/](http://autopun.ancientbooks.cn/) 北大的：[吾与点古籍自动整理平台](http://wyd.kvlab.org/#/BiaoDianDisposed) 龍泉寺：[https://www.gj.cool/punct](https://www.gj.cool/punct) 北师大 打不開了古詩文斷句 v3.1” （[https://seg.shenshen.wiki/](https://seg.shenshen.wiki/) ） ---
**Author:** ![glacierlee](https://forumcdn.freemdict.com/user_avatar/forum.freemdict.com/glacierlee/32/74595_2.png) [@glacierlee](https://forum.freemdict.com/u/glacierlee)\ **Post date:** [2024 年6 月 23 日 11:41 UTC](https://forum.freemdict.com/t/topic/29561/14 "2024-06-23T11:41:35Z")
AI的效果好像还不错的，如果你们有ChatGpt的账号，可以自己加AI Prompt就行。 ---
**Author:** ![mixivivo](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/8491ac/32.png) [@mixivivo](https://forum.freemdict.com/u/mixivivo)\ **Post date:** [2024 年6 月 23 日 13:24 UTC](https://forum.freemdict.com/t/topic/29561/15 "2024-06-23T13:24:37Z")
中华书局的古联，因为试用需要注册，我没用过。或许古文标点准确率比较高，因为它有别家不仅具备的优势，即自有庞大的高质量标点古文数据库，这些网上的爬虫抓不到，也就没法加入通用大模型的训练数据集。 龙泉寺的古籍酷现在也需要使用注册了，记得以前公开、免费时我测试过，效果一般。 北大推出的“ 吾与点”，在我的有限测试用例里，性能是比较差的，可能还不如某些本机CPU就能跑的开源小模型 （比如 [raynardj/classical-chinese-punctuation-guwen-biaodian · Hugging Face](https://huggingface.co/raynardj/classical-chinese-punctuation-guwen-biaodian) ），不清楚是什么问题。 至于大语言模型搞汉语古文标点，各家公司不同模型的不同“系列”、“版本”正确率千差万别。自己吹牛逼多么多么厉害，可能没人当回事，从相对可信的 LMSYS Chatbot Arena 跑分成绩和我自己的使用感受来说，中文数据处理能力三强目前应该是Google Gemini 1.5 Pro，chatgpt 4o（或者gpt 4），以及Anthropic刚刚推出的Claude 3.5 Sonnet。 ---
**Author:** ![mixivivo](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/8491ac/32.png) [@mixivivo](https://forum.freemdict.com/u/mixivivo)\ **Post date:** [2024 年6 月 23 日 15:13 UTC](https://forum.freemdict.com/t/topic/29561/16 "2024-06-23T15:13:43Z")
从本质上说，现在四库全书（或者其他古文）标点就是个打钱的问题： 1）先用最优秀的语言模型调用其api自动标点一遍； 2）把标点过的文本去掉标点与原文对比，防止因为模型的“幻觉”添加文字或者遗漏文字； 3）用其他比较优质的两三个模型自动标点同样的文本，对比其结果，把有差异的地方高亮显示； 4）聘请专家查验不同模型标点有差异部分，斟酌断定某种认为正确的断句标点方式； 5）粗略浏览全文，定稿。 通过这种方案处理，我相信标点的准确率是比较高的，但同时，会比较费时费钱（也不会用太多钱，问题是谁愿意掏腰包）。 比较差的办法，找一些免费的、廉价的模型瞎搞一番，耗费很多时间与精力，也不是彻底不能用，但错误频出，质量堪忧。我个人认为这么干是没太大意义的，贻误后学事小，垃圾数据流传网络，先机占尽，遍布天下，即使后来者搞出了精品，也没人用，声名不彰，流传不开，竟成了逆向淘汰，类似的事情在电子文献领域很常见。 有人可能认为勉强做出来之后，可以不断改进修订来提高质量。以我的经验，这种想法是错误的，编辑订正垃圾数据，经常比自己用先进工具从头来再制作一遍麻烦得多，且质量不见得更可靠。 ---
**Author:** ![阿弥陀佛](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/%E9%98%BF/a9adbd/32.png) [@阿弥陀佛](https://forum.freemdict.com/u/%E9%98%BF%E5%BC%A5%E9%99%80%E4%BD%9B)\ **Post date:** [2024 年6 月 25 日 03:55 UTC](https://forum.freemdict.com/t/topic/29561/17 "2024-06-25T03:55:29Z")
像這樣大部頭書 由專業機構來做 更好些。其實國家應該立項，組織一個班子，撥給經費，專門做 四庫全書的 整理點校工作。像這方面的工作 ，懶政太多了，一聲嘆息。 ---
**Author:** ![last\_idol](https://forumcdn.freemdict.com/user_avatar/forum.freemdict.com/last_idol/32/2205_2.png) [@last\_idol](https://forum.freemdict.com/u/last_idol)\ **Post date:** [2024 年6 月 25 日 04:15 UTC](https://forum.freemdict.com/t/topic/29561/18 "2024-06-25T04:15:17Z")
国家有专业机构在整理，但是四库全书的影印版有近500万页（忘记说的哪个版本了，看的中央电视台的纪录片）， **现在字符级别的校对工作都没做完** 。 ---
**Author:** ![mixivivo](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/8491ac/32.png) [@mixivivo](https://forum.freemdict.com/u/mixivivo)\ **Post date:** [2024 年6 月 25 日 23:15 UTC](https://forum.freemdict.com/t/topic/29561/19 "2024-06-25T23:15:42Z")
如果中央电视台有纪录片这么说，那是屁也不懂瞎扯蛋。《四库全书》的全文电子版，至少有三家公司做过了，迪志文化、爱如生、雕龙，高校普遍采购了在用，识典古籍看样子也打算重新做一次，哪里还需要“在整理”、“字符级别的校对工作”？现在的主要问题是开源，开放版权，进一步的加工（比如标点、注释和翻译等），以及深入广泛的了解研究。 ---
**Author:** ![mixivivo](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/8491ac/32.png) [@mixivivo](https://forum.freemdict.com/u/mixivivo)\ **Post date:** [2024 年6 月 25 日 23:27 UTC](https://forum.freemdict.com/t/topic/29561/20 "2024-06-25T23:27:02Z")
最简单现成的办法，就是收购爱如生公司，将其数据全部开源，然后按照公益事业继续运作。国家多年来在古籍数字化方面投入的资金不少，但浪费严重，大量重复建设；成果做出来了，地方（自我）保护主义严重，不共享，共享出来的也是些垃圾，打上丑陋的水印，图片故意模糊化降低分辨率。 [下一页](https://forum.freemdict.com/t/topic/29561.md?page=2)