Automatisatie en het toenemend gebruik en belang van algoritmes, AI en machine learning houdt een risico in op vlak van inclusie, etnische en genderdiversiteit en sociale integratie in bedrijven en maatschappij. En dus ook een risico op imago- of merkschade. Een risico dat veel adverteerders misschien vaak niet correct inschatten.
De afgelopen jaren werden zowel mens als maatschappij zich (terecht) meer bewust van etnische, culturele en gender-gerelateerde gevoeligheden en vooroordelen. Vooraanstaande bedrijven, merken en adverteerders namen de voorbije decennia dan ook steeds vaker reeds duidelijke, inclusieve standpunten in. Toch spelen latente vooroordelen onbewust vaker een cruciale, doorslaggevende rol dan we ons realiseren.
Heel wat processen worden geautomatiseerd. Digitaal adverteren loopt in België voor iets meer dan 50% via programmatic buying en ook in andere media werd al met programmatic geëxperimeteerd. Om de customer experience te verbeteren, werken merken en bedrijven steeds vaker met chatbots en virtuele assistenten. E-commerce-platformen werken met profiling. Bij aanwervingen en selectie gebeurt de eerste screening van kandidaten steeds vaker via intelligente geautomatiseerde systemen. Banken en verzekeringsbedrijven gebruiken datasets om risico’s, premies en tarieven in te schatten. Wearables houden onze gezondheid in de gaten en signaleren wanneer we ziek worden of zijn. Zelfs in het zoeken naar nieuwe vaccins en geneesmiddelen maakt men gebruik van modelling en moleculaire simulaties.
Nu bedrijven, overheden en organisaties steeds meer op algoritmes en AI vertrouwen om elementaire en doorslaggevende beslissingen te nemen, is het van vitaal belang dat we stilstaan bij de potentiële maatschappelijke effecten die artificial intelligence of machine learning met zich mee brengen. Er zijn talloze voorbeelden van AI-algoritmes die gender-, culturele en etnische vooroordelen binnen de samenleving laten zien. Het is onwaarschijnlijk dat bedrijven en instellingen proberen om rassen-, geslachts- en sociaal-economische ongelijkheden te verergeren, maar hoe komt het dan dat hun algoritmes dat uiteindelijk wel doen?
Kleuters opvoeden
Lizzy Sonefeld (ex-Nike, CEO “Two Things”) noemt AI een kleuter, een kleuter die weinig weet en weinig emotie bezit. Het systeem moet alles aanleren. Machine learning of AI maakt gebruik van modellen en algoritmes die gevoed en getraind worden door datasets. Zowel de creatie van het initiële model als het opstellen en toewijzen van de datasets gebeurt door…mensen. Deze menselijke invloed heeft (onbewust) een impact op de latente vooroordelen van dergelijke systemen. In het daaropvolgende machinale leerproces kunnen onvolledigheden, verkeerde aannames of latente vooringenomenheid in die datasets leiden tot systematische bevooroordeling.
Recent kondigde Facebook aan om met speciale teams op zoek te gaan naar vooroordelen (en zelfs racisme) in haar algoritmes. De toenemende druk van adverteerders was hier uiteraard niet vreemd aan. Maar het gebeurt ook subtieler. Een groot Amerikaans bedrijf stelde eind 2019 vast dat de voorgestelde profielen voor een financiële managementpositie overwegend blanke mannen tussen 45 en 52 waren. Onderzoek bracht aan het licht dat er wel degelijk etnisch en gender gedifferentieerde profielen zich kandidaat stelden voor de functie maar dat het zelflerende selectiesysteem deze profielen niet voorstelde aan de recruteerder. De dataset op basis waarvan het systeem werd “opgevoed” was te klassiek-stereotiep ingezet. Bovendien zorgde het historische gedrag van de recruteerders bij andere functies voor een valse bevestiging van de vermoedde voorkeur. Door deze foutieve ethnic & gender bias was de voorgestelde pool aan kandidaten ongedifferentieerd.
Waar de algoritmische besluitvorming de mist in gaat
In beide voorbeelden was de ongedifferentieerde benadering van het systeem duidelijk genoeg om alarmbellen te doen rinkelen. Maar wat met meer subtiele, onbewuste vooroordelen? We mogen hopen dat bij profiling de actuele systemen al wat genuanceerder zijn dan “vrouwen houden van koken” en “mannen houden van auto’s”. Machinale leeralgoritmes zijn echter slechts zo goed als de gegevens waarop ze zijn gebouwd. Als algoritmes worden gevoed met onvolledige gegevens, niet-representatieve gegevens of gegevens die zijn doordrenkt met historische menselijke vooroordelen, zullen er problemen ontstaan. De wiskundige Cathy O'Neil waarschuwde in haar boek “Weapons of Math Destruction” dat algoritmes het verleden kunnen codificeren, de status-quo kunnen versterken en maatschappelijke ongelijkheden in stand kunnen houden.
Hoe oplossen?
Hoe halen we de onvermijdelijke (en vaak onbewuste) latente vooringenomenheid uit dergelijke systemen? Er zijn experimenten waarbij AI gebruikt wordt om andere datasets te controleren maar ook dat leidt (niet geheel onverwacht) tot soms vreemde fouten. Om zich te beschermen tegen vooringenomenheid in de algoritmische besluitvorming, moeten bedrijven er over waken om "algoritmische hygiëne" te garanderen voor, tijdens en na de implementatie van AI-instrumenten. Ze kunnen hierbij 3 vuistregels hanteren.
1. Transparantie
AI-tools moeten transparant en verklaarbaar zijn. Het is cruciaal om een “black-box”-effect te vermijden. Leveranciers en softwarebedrijven moeten voor elk geautomatiseerd gedrag in staat zijn uit te leggen waarom het algoritme net zo reageert.
2. Audits
Algoritmes moeten ge-audit worden. Regelmatige en systematische controles op vooroordelen en vooringenomen reacties zijn noodzakelijk. Het is essentieel om reacties en interpellaties juist te classificeren. Modellen zijn immers niet enkel opgebouwd uit gegevens maar uit de keuzes. Keuzes over voor welke data we alert zijn en welke data niet op onze radar moet verschijnen.
3. Feedback van gebruikers & stakeholders
Naast het intern meten van de prestaties van onze algoritmes, is het van vitaal belang om ook feedback van onze gebruikers en omgeving te krijgen. Zij kunnen inhoud identificeren die op ongepaste wijze op de markt is gebracht, waaronder vreemde aanbevelingen van converserende AI-assistenten, irrelevante e-mails en een groot aantal andere algoritmische fouten.
Human interface
Het toenemend gebruik en belang van algoritmes, AI en machine learning houdt dus een risico in op vlak van inclusie, diversiteit en sociale integratie. En dus een risico op imago- of merkschade. Een risico dat veel adverteerders misschien vaak niet correct inschatten. Het is aan de mens om als human interface patronen te identificeren en te beoordelen. Feedback en analyses zijn essentieel voor het identificeren van eventuele beperkende classificaties die vooringenomenheid kunnen veroorzaken. Een menselijke toets is dus (voorlopig?) nog steeds onvermijdelijk.