如上圖，我們通過微信發(fā)送了一段語(yǔ)音，在對(duì)語(yǔ)音進(jìn)行轉(zhuǎn)文字時(shí)。語(yǔ)音識(shí)別引擎首先會(huì)將把這段語(yǔ)音進(jìn)行分幀（切分成若干小段），然后利用聲學(xué)模型將提取的每一幀的聲學(xué)特征識(shí)別為一個(gè)個(gè)“狀態(tài)”，多個(gè)狀態(tài)會(huì)組合成一個(gè)音素（語(yǔ)音中的最小的單位），音素構(gòu)成了諸多同音字，再利用 語(yǔ)言模型 從諸多同音字中挑選出可以使 語(yǔ)義完整的字（例如 不會(huì)把“吃飯”識(shí)別成“癡泛”），最后將文本展示出來。
如何將上述過程從質(zhì)量的角度刻畫出來，是本框架解決的主要問題。同時(shí)，AI算法測(cè)試依托純手工測(cè)試、亦或是半自動(dòng)化測(cè)試所面臨著在執(zhí)行效率、結(jié)果可靠性方面的局限性較大，本框架也是從手動(dòng)、半自動(dòng)測(cè)試轉(zhuǎn)變?yōu)槿詣?dòng)、智能化測(cè)試的一次嘗試。
我們需要解決的重點(diǎn)問題
- 基于文本相似度計(jì)算及標(biāo)注質(zhì)量風(fēng)險(xiǎn)等級(jí)閾值設(shè)置，實(shí)現(xiàn)語(yǔ)音標(biāo)注質(zhì)量的風(fēng)險(xiǎn)自動(dòng)評(píng)估。
- 基于SER(句錯(cuò)誤率)、WER(字錯(cuò)誤率)、字錯(cuò)誤前提下的音節(jié)錯(cuò)誤率、字錯(cuò)誤且音節(jié)正確前提下的音調(diào)錯(cuò)誤率 指標(biāo)，實(shí)現(xiàn)宏觀指標(biāo)的自動(dòng)評(píng)估（每條標(biāo)注信息分析精確到每個(gè)字的結(jié)果分析（正確、編輯、刪除、插入）、每個(gè)錯(cuò)字的音節(jié)、音調(diào)分析）。
- 基于標(biāo)注數(shù)據(jù)意圖（場(chǎng)景）的劃分，實(shí)現(xiàn)各意圖指標(biāo)的自動(dòng)評(píng)估。
- 基于標(biāo)注數(shù)據(jù)各維度（如，發(fā)音人性別、信噪比等），實(shí)現(xiàn)各維度指標(biāo)的自動(dòng)評(píng)估。
- 基于由字符到音節(jié)再到音調(diào)的深層次的啟發(fā)式分析，更好的啟發(fā)測(cè)試同學(xué)發(fā)現(xiàn)問題。
重難點(diǎn)分析
重點(diǎn)分析
- 給出宏觀的WER、SER指標(biāo)結(jié)果，以及每條標(biāo)注的數(shù)據(jù)WER結(jié)果。
- 給出不同維度的WER、SER指標(biāo)結(jié)果，并且與期望指標(biāo)值進(jìn)行比對(duì)，給出結(jié)論。
難點(diǎn)分析
1 如何實(shí)現(xiàn)標(biāo)注質(zhì)量的自動(dòng)評(píng)估
標(biāo)注質(zhì)量差意味著期望值錯(cuò)誤，將直接決定了后續(xù)統(tǒng)計(jì)結(jié)果的可靠性，音頻的標(biāo)注進(jìn)行質(zhì)量評(píng)估是開展統(tǒng)計(jì)分析的前提。因此需要實(shí)現(xiàn)對(duì)所有標(biāo)注數(shù)據(jù)進(jìn)行標(biāo)注質(zhì)量風(fēng)險(xiǎn)評(píng)級(jí)，并輸出整體標(biāo)注質(zhì)量情況。
2 如何實(shí)現(xiàn)將每個(gè)標(biāo)注數(shù)據(jù)進(jìn)行精確到字、音節(jié)、音調(diào)的分析，找出其中正確的字、編輯的字、刪除的字、插入的字，并且將標(biāo)注與識(shí)別文本標(biāo)注對(duì)齊。例如：
標(biāo)注文本（預(yù)期）: 二三四五六七八九十
識(shí)別文本（實(shí)際）: 一二三四五七捌九玖十
通過人工判斷可以得出：
- 正確的字(C)：二三四五七九十
- 編輯的字(S)：捌
- 刪除的字(D)：六
- 插入的字(I) ：一、玖
有同學(xué)也許會(huì)問，為什么捌是編輯、玖為什么是插入？這里答疑一下：
- “捌” 屬于編輯是因?yàn)樵谧R(shí)別文本中，“捌”前面是“七”、后面是“九”。而標(biāo)注文本的七和九之前剛好有一個(gè)字，因?yàn)檫@個(gè)字和捌不一樣，所以是編輯。
- “玖”屬于插入是因?yàn)樵谧R(shí)別文本中，“玖”前面是“九”后面是“十”，而標(biāo)注文本“九”和“十”之間沒有任何字，所以是插入。
3 如何實(shí)現(xiàn)基于字錯(cuò)實(shí)現(xiàn)由字、到音節(jié)、再到音調(diào)的深層次分析挖掘，例如，按照如下梯度進(jìn)行分析：
效果
測(cè)試框架通過配置待測(cè)試的標(biāo)注數(shù)據(jù)集，自動(dòng)實(shí)現(xiàn)以下結(jié)果的輸出。
1 模型宏觀指標(biāo)
宏觀指標(biāo)包含 質(zhì)量風(fēng)險(xiǎn)評(píng)估、SER、WER等指標(biāo)計(jì)算及與預(yù)期指標(biāo)值的比對(duì)結(jié)果，幫助測(cè)試人員從宏觀角度快速掌握本次任務(wù)測(cè)試數(shù)據(jù)集的指標(biāo)結(jié)果。
關(guān)于評(píng)估指標(biāo)的計(jì)算，可以瀏覽下該文章內(nèi)容：
AI算法測(cè)試——語(yǔ)音識(shí)別（ASR）模型評(píng)估指標(biāo)探索
2 數(shù)據(jù)標(biāo)注質(zhì)量風(fēng)險(xiǎn)評(píng)估
通常，人工標(biāo)注的文本數(shù)據(jù)與期望數(shù)據(jù)的相似度越高，那么說明標(biāo)注質(zhì)量越高（可能是誤讀，導(dǎo)致存在一定誤差，但屬于小概率事件），我們通過文本相似度計(jì)算（切詞、余弦相似度）實(shí)現(xiàn)標(biāo)注質(zhì)量的風(fēng)險(xiǎn)預(yù)測(cè)。
數(shù)據(jù)標(biāo)注質(zhì)量風(fēng)險(xiǎn)評(píng)估包含錄音文本、歸一化文本、標(biāo)注人員工號(hào)、質(zhì)量風(fēng)險(xiǎn)等級(jí)信息，幫助測(cè)試人員快速摸清數(shù)據(jù)標(biāo)注質(zhì)量，以及提高對(duì)于高風(fēng)險(xiǎn)標(biāo)注數(shù)據(jù)的糾正效率。
3 語(yǔ)音測(cè)試樣本的數(shù)據(jù)統(tǒng)計(jì)分析詳情
全量語(yǔ)音識(shí)別的統(tǒng)計(jì)分析結(jié)果中包含每條標(biāo)注數(shù)據(jù)的基本信息，結(jié)果比對(duì)的統(tǒng)計(jì)信息，以及精確的字、音、調(diào)的分析，幫助測(cè)試人員快速直觀的了解每一條標(biāo)注信息標(biāo)注結(jié)果，提高分析效率。
關(guān)于這部分實(shí)現(xiàn)，可以瀏覽下該文章內(nèi)容：
語(yǔ)音識(shí)別算法(ASR)指標(biāo)評(píng)估之編輯距離下WER計(jì)算圖解
4 意圖（場(chǎng)景）統(tǒng)計(jì)分析
意圖統(tǒng)計(jì)分析結(jié)果包含各意圖的字錯(cuò)率、句錯(cuò)率，以及與預(yù)期指標(biāo)值的比對(duì)結(jié)果，幫助測(cè)試人員了解不同意圖（場(chǎng)景下）的指標(biāo)表現(xiàn)。
5 其他維度統(tǒng)計(jì)分析
其他維度只要包含標(biāo)注數(shù)據(jù)時(shí)打標(biāo)的字錯(cuò)率、句錯(cuò)率，以及與預(yù)期指標(biāo)值的比對(duì)結(jié)果各項(xiàng)維度，幫助測(cè)試人員了解不同數(shù)據(jù)特征下的指標(biāo)表現(xiàn)，同時(shí)支持配置即統(tǒng)計(jì)（只需要配置到運(yùn)行配置中，即可實(shí)現(xiàn)統(tǒng)計(jì)，無需代碼開發(fā)）
6 錯(cuò)字前提下，音節(jié)正確分析詳情
由字符到音節(jié)，從錯(cuò)字的角度出發(fā)，進(jìn)行更深層次的啟發(fā)式分析，包含期望字、期望字音節(jié)、多音字讀音，對(duì)應(yīng)的錯(cuò)字?jǐn)?shù)量，具體的每一個(gè)錯(cuò)字，字的來源等信息，通過數(shù)據(jù)歸并統(tǒng)計(jì)分析，啟發(fā)測(cè)試人員從中發(fā)現(xiàn)更多的問題。
7 錯(cuò)字且音節(jié)正確前提下,音調(diào)正確分析詳情
同音字分析，由音節(jié)到音調(diào)，這是基于錯(cuò)字且音節(jié)正確前提下更深一步的啟發(fā)式分析，包含了期望字、期望字音節(jié)、多音字讀音、期望音調(diào)，對(duì)應(yīng)的錯(cuò)字?jǐn)?shù)量、錯(cuò)字音調(diào)等信息，通過數(shù)據(jù)歸并統(tǒng)計(jì)分析，啟發(fā)測(cè)試人員從中發(fā)現(xiàn)更深入的問題。
8 錯(cuò)字且音節(jié)正確前提下,音調(diào)錯(cuò)誤分析詳情
由音節(jié)到音調(diào)，這是基于錯(cuò)字且音節(jié)正確前提下更深一步的啟發(fā)式分析，包含了期望字、期望字音節(jié)、多音字讀音、期望音調(diào)，對(duì)應(yīng)的錯(cuò)字?jǐn)?shù)量、錯(cuò)字音調(diào)等信息，通過數(shù)據(jù)歸并統(tǒng)計(jì)分析，啟發(fā)測(cè)試人員從中發(fā)現(xiàn)更深入的問題。
