我有类似的想法，是想任何书都能像这样点读，而不是将音频与书籍匹配。这种要求更简单一些，将书中的文字按句拆分，再用 TTS 生成音频，点击句子时朗读即可。
面临的困难是，当下的 TTS 模型都不太好。在线的不想用，因为这需要用户去注册 api，不友好。离线生成效果好的 QwenTTS 很慢，离线生成速度又快又好的 Kokoro 和 Supertonic3 对中文的支持不好。
我有类似的想法，是想任何书都能像这样点读，而不是将音频与书籍匹配。这种要求更简单一些，将书中的文字按句拆分，再用 TTS 生成音频，点击句子时朗读即可。
面临的困难是，当下的 TTS 模型都不太好。在线的不想用，因为这需要用户去注册 api，不友好。离线生成效果好的 QwenTTS 很慢，离线生成速度又快又好的 Kokoro 和 Supertonic3 对中文的支持不好。
这个思路很好，实现了无音频的书变成了有声书，而且是可以点读的有声书。
https://librivox.org/ 网站上面有海量的英文原著录音可以免费下载。可供下载使用。