← 返回简历

将 ASR（语音转文字）的人工听测整理为有标准数据、自动指标和人工抽检的可复跑评测。

多语言 ASR 实时识别项目需要单独评估转写准确性。接口返回成功、能出文字，并不等于转写准确。此前精度判断主要依赖人工听测，标准不易一致，模型升级后也缺少可复跑的对比基线。

我要搭建一套可重复的 ASR 实时转写精度 Benchmark，把主观听译变成客观工程流程。

我参考公开评测框架，结合中、日、英三语场景建立测试数据、文本归一化和偏差分级流程。

制备测试数据集

我整理中、日、英三语音频和参考文本，制备测试数据集，并按语种建立指标与清洗口径。

建立数据清洗规则

基础验证后，我发现实际 ASR 输出中存在格式差异：中文多出空格和回车，英文大小写不统一，日文假名写法也可能不同。如果直接按字符匹配，指标容易把格式差异计为识别错误。

我针对三种语言分别建了清洗规则：

• 中文：去空格换行
• 英文：统一大小写
• 日文：假名归一化

LLM 二次审查与偏差分级

日文更复杂。光靠字符匹配不够，有些偏差不影响理解，有些则完全说反了。我引入 LLM 做二次审查，按严重程度分级：

• 完全说错
• 方向正确但漏信息
• 描述不恰当但可理解

人工复核时，先看 LLM 标的高风险样本，不用全量听译。

固化标准流程

最后我把流程固化为数据制备、清洗规则、分语种指标计算、LLM 辅助分级、人工抽检和报告输出。新模型发布时使用同一评测口径对比结果，保留可追溯的失败样本。

结果

评测流程支持在新模型发布日生成准确性报告，对比三语结果，并把失败样本定位到具体音频和转写片段。人工复核从全量听测调整为按偏差等级优先审查。

这是一套模型效果评测方法和历史项目成果，不代表当前线上模型准确率。2026-07-10 nightly 历史批次覆盖中、日、英各 200 条样本（合计 600 条），不代表完整数据集规模。准确率提升幅度及人工工时节省比例：未知：缺少证据。

历史批次的指标口径

2026-07-10 报告中，英文使用 casefolded CER/WER，中文使用 normalized CER，日文结合字符 CER 与 LLM 语义审核。接口调用成功率和转写准确性分别评估。

语义审核采用 none / minor / medium / severe 四级严重度，再结合错误类型定位样本；不同版本的错误类别枚举可能变化，不以某张截图中的类别数作为永久能力指标。