Casus: Dynamische geluidsidentificatie

Deze casus is gebaseerd op de derde casus van de Princeton Dialogues on AI and Ethics Case Studies

1. Achtergrondinformatie

Dynamische geluidsherkenning (DGH) is een technologie waarbij het doel is om met een kort fragment te bepalen wat er te horen was. Eerst werd deze technologie gebruikt om snel nummers te herkennen en dan de titel en artiest te bepalen. De technologie is echter doorontwikkeld en kan nu veel meer dan alleen muziek herkennen.

Het bedrijf Epimetheus ontwikkelt een DGH-app, AudioSho, die muziek, advertenties, natuurgeluiden en menselijke stemmen kan herkennen. Bovenop het herkennen heeft Epimetheus ook een AI-systeem toegevoegd aan AudioSho, die probeert om meer informatie te geven over het gevonden geluid. Zo worden stemmen verrijkt met informatie over de spreker en vogelgezang met de Wikipedia pagina van de vogel.

Epimetheus wordt steeds bekender en begint specifieke categorieën, bijvoorbeeld stemacteurs, toe te voegen aan AudioSho. Er zijn meerdere bedrijven op AudioSho aan het bieden en daar komt een winnaar uit, Cronus. Voordat Cronus de koop definitief maakt, willen haar advocaten wel dat Epimetheus bewijst dat ze alles hebben gedaan om het risico op mogelijke schadelijke effecten van AudioSho te minimaliseren.

2. Welke rol speelt AI in deze casus? En hoe zit deze AI in elkaar?

De DGH-software in AudioSho is de kern van de casus. Voor deze software wordt een geluidssignaal omgezet in een vingerafdruk van het fragment. Een vingerafdruk wordt gemaakt door het fragment te analyseren en te kijken welke frequenties waar aanwezig zijn. De vingerafdruk wordt vervolgens opgezocht in de database van Epimetheus om te kijken waar die het meeste op lijkt. Het AI-systeem kijkt dan wat er uit de database komt en probeert relevante informatie te vinden over de meest waarschijnlijke match. Ook de herkenning van specifieke categorieën, zoals het herkennen van stemacteurs, wordt gedaan door een AI-systeem.

3. Op welke manier zijn er afspraken gemaakt tussen de relevante partijen in deze casus?

• Epimetheus heeft afgesproken met Cronus dat ze haar software zal onderzoeken om te kijken of er geen schadelijke effecten zijn. Hierdoor komt Cronus niet voor verrassingen te staan.
• De mensen die herkend worden en wiens stem verrijkt wordt hebben hier geen toestemming voor gegeven. Die informatie is wel allemaal van het internet verzameld, bijvoorbeeld op YouTube en Facebook.

4. Welke risico’s spelen er in deze casus?

• Misidentificatie

Tijdens het testen van de software loopt Sybel, een van de testers, tegen een probleem aan. Sybel is transgender en de software classificeert haar stem als mannelijk en laat ook oude video’s zien van voor haar transformatie. Dit is een duidelijke schending van iemands recht om vergeten te worden en een probleem waar Epimetheus nog niet aan gedacht had.

• Culturele afhankelijkheid

De herkenningsgroepen van AudioSho zijn gemaakt in West-Europa door Engelssprekende ontwikkelaars, waardoor de software het beste werkt voor Engels sprekers. Dit is een probleem als de software door Cronus wereldwijd gebruikt gaat worden.

• Categoriseringsproblemen

De kern van wat AudioSho kan is het terugbrengen van een fragment naar een vingerafdruk, om die vervolgens te categoriseren en te verrijken. Er ontstaan problemen als de categorieën die AudioSho gebruikt te grof zijn, of als mensen verkeerd gecategoriseerd worden. De categorieën kunnen te specifiek zijn, zodat mensen die geen publieke rol hebben direct geïdentificeerd worden, of te breed zodat het systeem niet meer nuttig is. Ook worden kleine groepen soms niet goed herkend.

• Onvoorzien gebruik

Hoewel de ontwikkelaars geen kwaad in de zin hebben, kan AudioSho gebruikt worden met kwade bedoelingen. Men kan op straat geïdentificeerd worden op basis van één gespreksfragment, of een transgender kan herkend worden. Herkend worden als transgender kan gevaarlijk zijn omdat er veel plekken zijn waar transfobie een serieus gevaar is.

5. Hoe worden deze risico’s in deze casus beperkt?

• Misidentificatie

Epimetheus heeft geprobeerd om de classificatie van transgenders te verbeteren door meer data te verzamelen, maar dit werkt niet. Hierna hebben ze besloten om de herkenning van geslacht maar uit te schakelen.

• Culturele afhankelijkheid

Voor het omgaan met culturele problemen heeft Epimetheus besloten om op lokaal niveau bepaalde categorisering uit te zetten. Ze proberen hiermee ‘foute’ uitkomsten te voorkomen door ze niet beschikbaar te maken. 

• Categoriseringsproblemen

Hoewel AudioSho zeer nauwkeurig is, worden er wel fouten gemaakt. Hoeveel data er ook toegevoegd werd, de fouten konden niet uitgebannen worden. Voor de rest doet Epimetheus niet veel aan het probleem dat de categorieën niet helemaal passen bij de groepen die gecategoriseerd worden.

• Onvoorzien gebruik

Epimetheus heeft geen directe oplossing voor het kwaadaardige gebruik, afgezien van het uitschakelen van bepaalde categorieën. Hier is geen makkelijke oplossing voor.

6. Speelt privacy een rol in deze casus?

Door de extra functionaliteiten die Epimetheus aan AudioSho heeft toegevoegd, wordt er steeds meer informatie over mensen verwerkt. Bij publieke personen zoals acteurs, sporters en politici is het nog acceptabel dat ze snel te identificeren zijn. Voor mensen die echter geen publiek persona hebben, zoals Sybil, is altijd geïdentificeerd worden geen voordeel. Dit beperkt de anonimiteit die mensen in de publieke ruimte hadden en door de verwerking van de kenmerken van een persoon zonder hun expliciete toestemming, is er bijna zeker sprake van een schending van diens privacy.