Foto: Unsplash/Marcelo Leal
– En programvareingeniør som nylig hadde mistet ektefellen sin på grunn av hudkreft, kontaktet hudlegen på sykehuset. Han forklarte legen at fordi programmet var utviklet og «trent» med databilder av lys hud, var det ikke mulig ved hjelp av kunstig intelligens (KI) å diagnostisere hudkreft i ektefellens mørke hudfarge.
Slik viser høgskolektor Elisabeth Wille, forsker Sanjana Arora og professor Jonas Debesay til i et innlegg i Sykepleien hvordan kunstig intelligens kan diskriminere.
Grunn til bekymring
Algoritmene og informasjonen som brukes inn i KI-programmet har stor potensiale til å gi en god pekepinn på sykdomsforløp, behandling og behandlingsrespons i et stort antall kliniske situasjoner.
Samtidig er det også grunn til bekymring, ifølge forskerne.
– Når KI produserer utilsiktede, negative skjevheter, kan det skyldes mangelfulle og lite representative treningsdata, eller at algoritmen ikke er tilstrekkelig tilpasset målgruppen. Upresise prediksjoner og diskriminering oppstår når sårbare grupper og minoriteter ikke er godt nok representert i treningsdataene. Skjevheter kan føre til diskriminering basert på etnisitet, kjønn, alder, sosioøkonomisk status og nedsatt funksjonsevne.
Algoritmer tilrettelagt for majoriteten
I kliniske studier har det for eksempel vært en underrepresentasjon av kvinner og minoriteter, noe som får utslag for KI, og som igjen kan få utslag for blant annet smertebehandling.
– En studie viste at afroamerikanske pasienter i gjennomsnitt mottok mindre smertebehandling enn euroamerikanske pasienter. Programmet var trent på elektroniske journaler og lærte av historiske data å anbefale lavere doser smertestillende til afroamerikanere, uavhengig av deres faktiske behov for smertelindring.
– Gode treningsdataer som er representative
Skal KI komme hele befolkningen til gode, så må det tas grep.
– For at KI skal kunne gi likeverdige prediksjoner av sykdommer og effektivisering av helsetjenestene, kreves det gode data som representerer et oppdatert og mangfoldig bilde av problemene. For å forebygge diskriminering, må treningsdata være representative for hele populasjonen algoritmen benyttes på. Analysene må ta hensyn til kjønn, alder, etnisitet, språk, funksjonsnivå og sosiale rammer.
