Betere notulen met minder handwerk. Trint to the rescue!

Onderzoek is bij Angi Studio de kern. We voeren voor onze klanten allerlei typen onderzoek uit, maar vaak maken interviews daar een deel van uit. Om die interviews te analyseren, maken we gebruik van notulen. Maar zo’n gesprek annoteren is veel werk. Dat kan nu makkelijker met Trint!

Goede notulen zijn belangrijk #

Goede conclusies krijgen uit een serie interviews bestaat uit twee simpele sommen:

1. goed interview + goede notulen = goede data
2. goede data + goede analyse = goede conclusies

Zoals je ziet zijn goede notulen hierbij de spil. Uit een slecht interview met goede notulen is soms nog wel te redden (je kunt dan bijvoorbeeld leidende vragen herkennen). Maar andersom is dat niet zo, slechte notulen kun je niet vertrouwen.

Voorbeeld #

Niet overtuigd dat goede notulen belangrijk zijn? Lees dan even mee in deze twee versies van hetzelfde gesprek: “ik had laatst een probleem met mijn factuur. Ik moet dan de helpdesk bellen, is vervelend want factuur moet goed zijn” of “ik had laatst een spelfoutje op mijn factuur en ik voel me dan zo vervelend om daarover met de helpdesk te bellen (lacht), maar ja, het moet wel goed zijn”. In het eerste geval lijkt het alsof onze deelnemer erg boos is, in het tweede geval blijkt de persoon juist behulpzaam en blij. Het zijn een paar kleine woordjes die dat verschil maken!

Goede notulen zijn dus belangrijk. Maar helaas moeilijk om aan te komen. Want niet elke notulist kan snel genoeg letterlijk mee typen, en dan krijg je interpretatie-gevaar of re-work omdat je de opnames in moet duiken. Dat moet makkelijker kunnen 💪

“Ik ben denk ik een sportlocatie” — Nederlands is moeilijk voor machines #

We hebben verschillende transcriptie-software geprobeerd (zoals Lookback, Amberscript, en Sonix.ai), maar geen van allen werkt écht goed. Uit pure wanhoop hebben we zelfs geprobeerd gesprekken te luisteren en dan na te spreken, met de hoop dat dat sneller was dan typen (zo schijnen ze live-ondertiteling te doen op TV), maar ook dat werkte verschrikkelijk slecht.

Vooral Lookback droomt soms helemaal nieuwe gesprekken:

Lookback notes
Het lijkt Nederlands, maar het is onzin. Hoe vaak gebruik jij het woord Harem in een gesprek? En denk je wel eens bij jezelf “ik ben een sportlocatie”?

Zo heb je méér werk aan het verbeteren van de transcriptie dan je zou hebben aan zélf een gesprek naluisteren en notuleren.

Hoe kan dit nou? We leven in het gouden tijdperk van de Machine-Learning en transcriptie-software werkt nog steeds zo ontzettend slecht? Nou, nee. We gebruiken Dovetail voor onze analyses. De ingebouwde transcriptie werkt perfect voor Engels en is ook voor Duits redelijk goed (jawohl!), maar Nederlands zit er nog niet in en dat is gewoon echt een issue. Het lijkt erop dat onze taal te weinig liefde krijgt uit The Valley.

Overigens biedt Dovetail-concurrent Condens wél Nederlandse transcriptie, maar ook die werkt niet lekker

Dus nu? Alle notulen met de hand blijven doen? Of veel rework in het verbeteren van de transcriptie software? Of is er nog een optie…

Trint to the rescue! #

Trint.com is echt absurd verbeterd in een jaar tijd. Het is nu echt bruikbaar. Naar ons gevoel is Trint (met wat nabewerking) door een soort magische grens gegaan en levert het nu betere notulen op dan live-mee-typen.

Is het dan helemaal perfect? Nee, je zult altijd nog wat nabewerking moeten doen, maar het is op z’n minst 90% correct:

In Trint-notulen staat onder andere “Poep aan geld”

Trint transcriptie zegt “Zuid-Holland in Oeganda”
Voor de topografisch-minder-onderlegde mensen onder ons: Zuid-Holland zit niet in Oeganda

Werkwijze met Trint #

Onze werkwijze is nog wel een stappenplan:

  1. interview houden
  2. opname uploaden naar Trint
  3. nabewerken
  4. exporteren tekst uit Trint naar .vtt
  5. uploaden .vtt en video naar Dovetail
  6. MAGIC

En voor je té blij wordt: het nabewerken (stap drie) van de annotatie duurt nog wel 2–3x zo lang als het interview. Je bewerkt dan de fouten uit Trint en voegt extra data toe zoals gebaren die de deelnemer maakt of ge-uitte emoties. Deze nieuwe methode levert voor simpele gesprekken geen tijdwinst, maar je krijgt wel de perfecte notulen!

Zijn je interviews complex of kun je niet snel typen? Dan word de formule compleet anders en heb je (naast dus die perfecte notulen) óók nog een flinke tijdwinst!

Quotes van Lookback
Leuke quotes van Lookback. Die transcriptie konden we direct naar de prullenbak verwijzen 🤣

Published first on Medium