Hoe nauwkeurig zijn AI-vertaalde ondertitels?

Een fundamentele verandering in mediaconsumptiegedrag gekoppeld aan kwantumsprongen in AI-technologie heeft AI-vertaalde ondertitels tot een populaire en krachtige keuze gemaakt voor live‑evenementen van alle soorten en maten. Interprefy introduceerde ze in 2022, en ze zijn ook beschikbaar op Microsoft Teams en zelfs Zoom: automatisch gegenereerde, meertalige ondertitels voor live‑vergaderingen. Deze technologie maakt het mogelijk voor gebruikers om te begrijpen, zelfs als ze de taal van de toespraak niet kennen.

Maar hoe nauwkeurig zijn ze? Er is geen eenvoudig antwoord. De resultaten hangen sterk af van de gekozen aanpak en gebruikte engines, de specifieke taalkombinatie, evenals de eigenschappen van het audio (accent van de spreker, geluidskwaliteit, enz.). En de eenvoudige waarheid is dat er geen definitieve methode bestaat om vertaalnauwkeurigheid te meten.

Mensen in de vertaalindustrie beschrijven kwaliteit op verschillende manieren. Bij het proberen een objectieve maatstaf te vinden, een groep onderzoekers gaf toe dat ze zelfs niet onderling overeenstemming konden bereiken over hoe "vertalingskwaliteit" gedefinieerd moet worden.

Laten we een nadere blik werpen op waarom de kwaliteit van vertalingen zo moeilijk te meten is en hoe we dichter bij het meten van machine-vertaalde ondertiteling kwaliteit kunnen komen. 

Hoe automatische ondertitels in meerdere talen werken

"Automatisch vertaald", "machinaal vertaald", en "AI-vertaling" ondertitels of "meertalige ondertitels" zijn gesloten ondertitels die gebruikers realtime ondertitels bieden naast spraak in een andere taal. Ze worden gemaakt van de bronaudio door gebruik te maken van een combinatie van automatische spraakherkenning en machinevertalingstechnologieën die een vertaalde tekst van het transcript produceren, of een AI-gebaseerde oplossing die de audio in de brontaal direct omzet in tekst (of zelfs gesproken tekst) in de doeltaal.

Het meten van vertaalkwaliteit

Taal is zeer complex en daarom is de kwaliteit van een vertaling vaak onderhevig aan interpretatie. Men zou kunnen aannemen dat kwaliteitsproblemen zich voordoen wanneer een vertaler of machine een fout maakt. Echter, het is veel gebruikelijker dat wat wordt gezien als kwaliteitsproblemen van vertalingen, een subjectieve beoordeling is.

Het Multidimensionale Kwaliteitsmetriek (MQM) raamwerk, een project onder leiding van de Europese Commissie, biedt een "functionalist" benadering die kwaliteitsproblemen categoriseert:

• Nauwkeurigheid
• Stijl
• Vloeiendheid
• Lokale conventies
• Terminologie, enz.
   

Dat's waarom organisaties vaak vertalers voorzien van stijlgidsen, glossaria en idealiter zelfs een vertaalgeheugen, om consistentie te bereiken in hun vertaalwerk die aansluit bij hun behoeften.

Het meten van de kwaliteit van vertaling is een kwestie van evalueren hoe nuttig de vertaling is en hoe goed deze past bij het beoogde doel. 

Kwaliteit van machinevertaling voor live-ondertiteling

Machinevertaling bestaat al meer dan 60 jaar, en tegenwoordig bestaan machines en mensen naast elkaar. Maar in de afgelopen twee decennia hebben taalserviceproviders (LSP's), vertaalbureaus en freelancers machinevertaling omarmd om de productiviteit te verbeteren en de kosten te verlagen, dankzij de snelle evolutie van de kwaliteit van machinevertaling.

Niet alle machinevertalingsengines zijn gelijk

Tegenwoordig is er een overvloed aan tekst-naar-tekst vertaalmachines beschikbaar, zoals Google Translate, DeepL Translate of Microsoft Translator, evenals verschillende soorten machinale vertaling: regelgebaseerd, statistisch, adaptief en neuronisch. De meeste diensten zijn begonnen zich te richten op de laatste, aangezien neuronale machinale vertaling zich heeft bewezen krachtig te zijn in het leveren van uitzonderlijk bevredigende resultaten en snel de kloof tussen mens en machine te overbruggen voor bepaalde soorten teksten.

Verschillende vertaalengines en verschillende soorten machinevertaling leveren verschillende resultaten op. Eén engine kan zelfs een uitzonderlijke prestatie leveren voor één taalkombinatie, maar nutteloze resultaten opleveren voor andere.

Realtime versus post-editing vereiste

Omdat de meeste geschreven vertalingen niet onmiddellijk voltooid hoeven te worden, wordt de output van machinale vertaling voor websites of documenten beoordeeld en post‑gecorrigeerd door professionele vertalers vóór publicatie. Daarom is het beschikken over het beste systeem een echte tijdsbesparing, maar niet essentieel.

Live meertalige ondertitels moeten echter in realtime worden geleverd, zonder de mogelijkheid van menselijke tussenkomst voordat de gebruiker ze leest.

Daarom is het cruciaal dat de best presterende engines en enginecombinaties worden gebruikt en dat de kwaliteit van de audio‑invoer optimaal is. Als bijvoorbeeld een spreker een sterk accent heeft en een slechte microfoon gebruikt, kunnen zelfs de beste oplossingen minder‑dan‑ideale meertalige ondertitels opleveren.

De Interprefy-aanpak: Benchmarkoplossingen en het optimaliseren van invoeraudio

In plaats van één enkele machinevertalingsengine te gebruiken, Interprefy's AI‑leveringsteam benchmarkt continu toonaangevende vertaaloplossingen evenals combinaties van spraakherkenning en machinevertalingsoplossingen voor specifieke taalkombinaties.

We werken samen met wereldleidende onderzoeksinstellingen om een eigen en automatisch benchmarkproces voor live meertalige ondertitels te ontwikkelen en continu te verbeteren. Alexander Davydov, Head of AI Delivery at Interprefy

"We gebruiken grote sets diverse audiogegevens en nemen de output van verschillende vertalingssystemen en combinaties van systemen en vergelijken deze met vertalingen die door professionele vertalers zijn geproduceerd, valideren ze en rangschikken ze op nauwkeurigheid", legt Alexander uit. 

De onderstaande grafiek illustreert de benchmarkresultaten voor vier talen die vanuit dezelfde brontaal zijn vertaald. Zoals u kunt zien, biedt geen enkele oplossing consistente kwaliteit voor alle vier taalparen.

Maar zelfs als u de meest geavanceerde oplossing heeft, kan de kwaliteit nog steeds lijden, als de invoerkwaliteit laag is.

Geluidskwaliteit is een cruciale factor die niet alleen de kwaliteit van de AI‑uitvoer beïnvloedt, maar ook de gezondheid en het vermogen van tolken’ om te presteren, evenals het begrip en de betrokkenheid van het publiek. Daarom streven wij bij Interprefy continu naar het verbeteren van de geluidskwaliteit door organisatoren en sprekers te voorzien van handige richtlijnen, het faciliteren van tools voor sprekers om hun geluidskwaliteit te testen, en zelfs een audio‑verbeteringsinstrument te ontwikkelen, Interprefy Clarifier.

Daarnaast werkt ons deskundige personeel samen met onze klanten om het systeem te optimaliseren zodat merknamen, acroniemen en meer correct worden weergegeven.

Wilt u uw eigen kwaliteitsbeoordeling uitvoeren?

Neem contact met ons op om een demo aan te vragen.

Voer alstublieft uw zakelijke e-mailadres in. Dit formulier accepteert geen adressen van dit e-mailadres.