Forskere bekymret for at KI kan diskriminere i helsevesenet

Av
Claudio Castello
-
Skal kunstig intelligens være til for alle, så trenger vi treningsdataer som er represenative for blant annet kjønn, funksjonsnivå og etnisitet, ifølge innleggsforfattere.
Foto: Unsplash/Marcelo Leal
Kunstig intelligens kan effektivisere helsetjenester og forbedre diagnostikk. Men mangelfull representasjon i treningsdata fører til skjevheter som kan diskriminere sårbare grupper.
Claudio Castello
Latest posts by Claudio Castello (see all)

– En programvareingeniør som nylig hadde mistet ektefellen sin på grunn av hudkreft, kontaktet hudlegen på sykehuset. Han forklarte legen at fordi programmet var utviklet og «trent» med databilder av lys hud, var det ikke mulig ved hjelp av kunstig intelligens (KI) å diagnostisere hudkreft i ektefellens mørke hudfarge.

Slik viser høgskolektor Elisabeth Wille, forsker Sanjana Arora og professor Jonas Debesay til i et innlegg i Sykepleien hvordan kunstig intelligens kan diskriminere.

Oslomet-professor Jonas Debesay er en av de som har skrevet innlegget.
Foto : Dag Ringdal

Grunn til bekymring

Algoritmene og informasjonen som brukes inn i KI-programmet har stor potensiale til å gi en god pekepinn på sykdomsforløp, behandling og behandlingsrespons i et stort antall kliniske situasjoner.

Samtidig er det også grunn til bekymring, ifølge forskerne.

– Når KI produserer utilsiktede, negative skjevheter, kan det skyldes mangelfulle og lite representative treningsdata, eller at algoritmen ikke er tilstrekkelig tilpasset målgruppen. Upresise prediksjoner og diskriminering oppstår når sårbare grupper og minoriteter ikke er godt nok representert i treningsdataene. Skjevheter kan føre til diskriminering basert på etnisitet, kjønn, alder, sosioøkonomisk status og nedsatt funksjonsevne.

Algoritmer tilrettelagt for majoriteten

I kliniske studier har det for eksempel vært en underrepresentasjon av kvinner og minoriteter, noe som får utslag for KI, og som igjen kan få utslag for blant annet smertebehandling.

– En studie viste at afroamerikanske pasienter i gjennomsnitt mottok mindre smertebehandling enn euroamerikanske pasienter. Programmet var trent på elektroniske journaler og lærte av historiske data å anbefale lavere doser smertestillende til afroamerikanere, uavhengig av deres faktiske behov for smertelindring.

– Gode treningsdataer som er representative

Skal KI komme hele befolkningen til gode, så må det tas grep.

– For at KI skal kunne gi likeverdige prediksjoner av sykdommer og effektivisering av helsetjenestene, kreves det gode data som representerer et oppdatert og mangfoldig bilde av problemene. For å forebygge diskriminering, må treningsdata være representative for hele populasjonen algoritmen benyttes på. Analysene må ta hensyn til kjønn, alder, etnisitet, språk, funksjonsnivå og sosiale rammer.

 

RELATERTE ARTIKLERMER FRA FORFATTER