一个 1100 万参数的模型,8 个标签、约 12MB,跑完 190 段脚本只花了一分钟——这是 reddit 用户 Pantheon3D 在自己的 4070 Ti 上训练出来的字幕断句模型。他做的工具 CueCaps,把转写和断句打标都放在浏览器本地执行,整个流程不上传数据。

这是什么

工具分两层:语音转写用 onnx-community 的 whisper-base-timestamped,通过 transformers.js 在浏览器里跑;有 WebGPU 的机器走 fp32 显卡路径,其余走 WASM(WebAssembly,一种把代码编译成浏览器可执行格式的方案),解码器再做 q8 量化(把数字精度压低以省内存)。作者实测发现,冒充 WebGPU 的软件适配器反而比 WASM 慢,于是干脆把它们也划回 WASM。

更有意思的是第二层:哪些词加粗、句子在哪里断开、缺标点和大写怎么补。最初是手写规则,后来换成一个从 LFM3-Omni-2B 蒸馏(把大模型的能力压缩到小模型里)出来的 BERT-mini,只有 1100 万参数、每个词 8 个标签。它能顶替手写规则,靠的是在留出数据上的表现更好,而不是训练集上更漂亮。

行业怎么看

我们认为这件事的价值不在模型本身,而在它示范了一个取舍结构:转写准确率不够就留一个云端选项(作者承认 whisper base 在嘈杂音频上不如大模型),断句打标这种「结构性任务」则可以交给极小的本地模型。人机协同的老问题在这里变成了工程分工——把需要钱和隐私的部分放云端,把高频、可验证的部分下沉到本地。

风险也在明处。第一,这个标签器目前只支持英文,中文断句的标点和节奏规则复杂度完全不同,蒸馏路径未必直接成立。第二,whisper base 的准确率天花板是硬的,短视频和多人对话场景里,转写先错,后面的打标再好也只是把错误排版得更漂亮。第三,「在浏览器跑」的性能高度依赖设备差异,用户的机器越老,路径越退化到 WASM 的速度上限,整体体验可能因人而异。

对普通人的影响

对企业的 IT 部门:本地推理意味着敏感音视频不必出内网,这是一条比「采购大模型 API」更便宜的合规路径,但目前还停留在个人项目的成熟度。

对个人职场:剪辑、配音、字幕这类工作里,重复的断句和打标环节成本在下降,差异化空间往内容判断上挪。

对消费市场:浏览器内的语音转写正在从「演示」变成「可用」,短期内你会看到更多不上传音频的字幕、翻译和会议记录类小工具。