Noderīgs programmatūras vērtējums atbild uz praktisku jautājumu: vai rīks derēs jūsu ierakstam, valodai, budžetam un darbplūsmai? Mūsu redakcijas standarts ir izskaidrot, kas pārbaudīts, parādīt pierādījumus un aprakstīt kompromisus.
Pašreizējais saturs: programmatūras katalogā ir produktu profili, kuru pamatā ir piegādātāju dokumentācija. Tie nav ar punktiem novērtēti praktiski pārskati. Šī lapa nosaka prasības testu, salīdzinājumu un ieteikumu publicēšanai.
Pēdējoreiz atjaunināts: 2026. gada 17. oktobrī
1. Skaidri norādiet materiāla veidu
- Produkta profils: dokumentētu funkciju, platformu, cenu avotu un paredzēto lietojumu pārskats. Piegādātāja apgalvojums tiek piedēvēts šim piegādātājam.
- Praktisks pārskats: apraksts par produktu, ko vērtētājs tiešām lietojis, norādot testa datumu, plānu, iestatījumus, pierādījumus un ierobežojumus.
- Salīdzinājums: salīdzinājums pēc norādītiem kritērijiem. Ja produkts ir izpētīts, bet nav testēts, šai atšķirībai jābūt redzamai.
- Pirkšanas ceļvedis: izvēles kritēriju un kompromisu skaidrojums konkrētam uzdevumam. Iekļaušana ceļvedī pati par sevi nepierāda labāku veiktspēju.
Vārdiem „testēts”, „pārbaudīts” un „labākais” vajadzīgi pierādījumi. Programmatūras pieejamībai, piegādātāju apgalvojumiem un mūsu novērojumiem jāpaliek atšķiramiem.
2. Izmantojiet salīdzināmus testēšanas apstākļus
Praktisks tests sākas ar norādītu lietošanas gadījumu un noteiktu paraugu kopu. Metode jāizvēlas pirms rezultātu apskates.
- Aprakstiet paraugus. Reģistrējiet valodu, vajadzības gadījumā akcentu, ilgumu, runātāju skaitu, skaņas kvalitāti un ieraksta kontekstu. Norādiet troksni, vienlaicīgu runāšanu vai specializētu leksiku.
- Izmantojiet vienādu ievadi. Tiešiem transkribēšanas salīdzinājumiem izmanto vienu un to pašu avota ierakstu un etalona transkriptu. Failu konvertēšana, apgriešana vai skaņas apstrāde jādokumentē un jāpiemēro vienādi.
- Reģistrējiet konfigurāciju. Norādiet produkta plānu, modeli, ja to var izvēlēties, valodu, runātāju etiķešu iestatījumus, ierīci vai pārlūkprogrammu un testa datumu. Izskaidrojiet atšķirības, ja produktiem nav līdzvērtīgu opciju.
- Parādiet visus mēģinājumus. Reģistrējiet neveiksmīgus uzdevumus, atkārtotus mēģinājumus un manuālu iejaukšanos. Katram produktam piemērojiet vienādu atkārtošanas noteikumu un norādiet, vai rezultāts ir pirmais mēģinājums, tipisks rezultāts vai izvēlēts labākais izpildījums.
- Godīgi norādiet tvērumu. Norādiet ierakstu un mēģinājumu skaitu. Neliels izpētes tests nenosaka veiktspēju visām valodām, akcentiem vai ierakstīšanas apstākļiem.
Sapulču asistentam, diktēšanas lietotnei un augšupielādētu failu transkribēšanas rīkam ir atšķirīgas uztveršanas metodes. Kur iespējams, salīdziniet kopīgo uzdevumu, bet pārējo katras darbplūsmas daļu vērtējiet atsevišķi.
3. Mēriet transkribēšanas precizitāti pret pārbaudītu etalonu
Etalona transkripts jāpārbauda pret ierakstu. Nepārskatīts citas runas atpazīšanas pakalpojuma rezultāts nav piemērots etalons.
Vārdu kļūdu īpatsvars (WER) skaita aizstāšanas, dzēšanas un ievietošanas attiecībā pret etalona vārdu skaitu. Ja etalons nav tukšs:
WER = (substitutions + deletions + insertions) / reference words
Zemāks WER nozīmē mazāk labojumu vārdu līmenī pēc norādītajiem vērtēšanas noteikumiem. Norādiet metrikas nosaukumu, izlases lielumu un aprēķina iestatījumus; nepārdēvējiet to par universālu „precizitātes” procentu. JiWER vērtēšanas atsauce dokumentē šos aprēķinus.
Katram valodas testam jāizskaidro tokenizācija un teksta normalizēšana, tostarp pieturzīmju, lielo burtu, skaitļu, diakritisko zīmju un aizpildītājvārdu apstrāde. Japāņu valodas testos jānorāda vārdu segmentēšana. Ja piemērota vērtēšana rakstzīmju līmenī, ziņojiet rakstzīmju kļūdu īpatsvaru (CER) un normalizēšanas noteikumus. Salīdzinātajiem produktiem lietojiet vienādus noteikumus. Skatiet JiWER transformāciju dokumentāciju.
Vārdu vai rakstzīmju kļūdu īpatsvars neaptver visas svarīgās kļūdas. Ja tas ir būtiski, atsevišķi norādiet kļūdas vārdos, skaitļos, datumos, izlaistas frāzes, izdomātu saturu, runātāju piedēvēšanu un laika atzīmju kļūdas. Valodu rezultātus saglabājiet atsevišķi, ja vien raksts neizskaidro kopējā rezultāta aprēķinu.
4. Vērtējiet darbu pēc transkribēšanas
Lasāms transkripts ir tikai daļa no uzdevuma. Pārskatam jāapraksta posmi no uztveršanas līdz lietojamam gala dokumentam.
- Uztveršana un iestatīšana: augšupielādes vai ierakstīšanas soļi, atbalstītās ievades, atļaujas un sākšanai vajadzīgais laiks.
- Runātāju etiķetes un kopsavilkumi: nepareiza piedēvēšana, trūkstoši lēmumi, nepamatoti apgalvojumi un tas, vai veicamie uzdevumi precīzi atspoguļo ierakstu.
- Rediģēšana: atskaņošanas vadība, meklēšana, labošanas rīki, runātāju pārdēvēšana un darba apjoms uzdevuma pabeigšanai.
- Eksporti: tiešām atveriet eksportētos failus un vajadzības gadījumā pārbaudiet formatējumu, runātāju etiķetes un laika norādes. Atšķiriet uzskaitītu eksporta funkciju no testēta eksporta.
- Ātrums un uzticamība: atsevišķi mēriet augšupielādes, apstrādes un manuālās rediģēšanas laiku. Reģistrējiet audio ilgumu, savienojuma apstākļus un nepabeigtos uzdevumus.
Klīniskā dokumentācija prasa atsevišķu ierakstu atbilstības un klīniski nozīmīgu izlaidumu vai papildinājumu vērtējumu. Secinājumam par klīnisko kvalitāti vajadzīgs atbilstoši kvalificēts vērtētājs; vispārējs transkribēšanas vērtējums nepierāda klīnisko piemērotību.
5. Salīdziniet cenas uz vienāda pamata
Cenu apgalvojumiem vajadzīgs oficiāls avots un pārbaudes datums. Norādiet valūtu, norēķinu saistības, iekļauto apjomu, failu limitus, lietotāju licenču prasības, pārsniegumus un būtiskus papildinājumus. Bezmaksas izmēģinājumi un pagaidu atlaides jānorāda kā tādi.
Gada plāna mēneša ekvivalents jāmarķē „maksājums reizi gadā”. Nesalīdziniet to ar konkurenta ikmēneša maksājumu bez atšķirības skaidrojuma. Stundas izmaksu piemēros jānorāda pieņemtais lietojums un aprēķins. Neizmantots apjoms nepadara abonementu bezmaksas, un arī kā neierobežotam reklamētam plānam jāpārbauda piemērojamie ierobežojumi.
Vērtība ir atkarīga no uzdevuma. Ja rediģēšanas darbs ir mērīts, norādiet to līdzās abonementa izmaksām. Ja cenu vai limitu nevar apstiprināt, atzīmējiet to kā neapstiprinātu, nevis aptuveni nosakiet pašreizējo piedāvājumu.
6. Izskaidrojiet vērtējumus, priekšrocības un ierobežojumus
Ieteikumiem jānorāda mērķa lietotājs, uzdevums un secinājumu pamatojošie pierādījumi. Rīks var labi derēt intervijām un slikti tiešsaistes sapulcēm. Apspriediet būtiskus trūkumus un apstākļus, kuros alternatīva var būt labāka.
Kataloga profilam nav noklusējuma zvaigžņu vērtējuma. Ja rakstā lietots kopējais vērtējums, jānorāda kritēriji, svari, pamatmērījumi un trūkstošo datu apstrāde. Nepārbaudītu funkciju marķē „nav testēta”, nevis automātiski atzīst par izturētu vai neizturētu. Neizdomājiet klientu vērtējumus, atsauksmju skaitu, veiktspējas testus vai rezultātu ekrānattēlus.
Kataloga secība un pārskata spriedums ir dažādas lietas. Noklusējuma katalogā vispirms ir izceltie produkti; opcija Nosaukums A–Z kārto alfabētiski. Jebkuram sarindotam testam vai „labākā” ieteikumam jāizskaidro savi pierādījumi un ranžēšanas metode.
7. Nodrošiniet pierādījumu, atjauninājumu un labojumu izsekojamību
Praktiskā rakstā jānorāda autors, testa datums un vērtētais plāns vai versija. Iekļaujiet oriģinālus ekrānattēlus vai citus piemērotus ierakstus, avotu saites un rezultāta izpratnei vajadzīgo metodi. Ekrānattēls dokumentē redzamo; tas nevar pamatot neizmērītu apgalvojumu.
Izmantojiet ierakstus, kurus drīkst likumīgi lietot un koplietot. No publicētajiem pierādījumiem izņemiet personisku, konfidenciālu un kontu informāciju. Privātuma un drošības funkcijas piedēvējiet aktuālajai piegādātāja dokumentācijai, ja tās nav neatkarīgi pārbaudītas; neizseciniet sertifikāciju no mārketinga apgalvojuma.
Kad apstiprināta būtiska kļūda, izlabojiet tekstu, norādiet izmaiņu un datumu un pārskatiet skartos secinājumus. Vēlāks programmatūras atjauninājums klusējot nemaina agrāku testa rezultātu. Pirms vecu mērījumu izmantojat kā jaunas versijas veiktspējas pierādījumu, testējiet atkārtoti.
Labojuma pieprasījumā jānorāda lapas URL, apstrīdētais apgalvojums un pierādījumi. Labojuma publicēšana ir atkarīga no pamatojošiem pierādījumiem.
Metodikas avoti
- JiWER: runas atpazīšanas novērtēšanas metrikas, tostarp WER un CER.
- Google Search Central: noderīgu produktu pārskatu rakstīšana, tostarp pirmavota pierādījumi, priekšrocības un trūkumi.