Algoritmer kan forskelsbehandle uden at kende dit køn eller din alder

En algoritme behøver ikke at kende en persons køn, alder eller etnicitet for at ende med at behandle vedkommende anderledes end andre.

Det advarer Dataetisk Råd om fredag den 11. september, hvor rådet udgav techsplaineren Hvad er algoritmisk bias?. Den skal forklare, hvordan algoritmer og kunstig intelligens kan komme til systematisk at behandle forskellige grupper forskelligt – og hvorfor problemet kan være vanskeligt helt at undgå.

Techsplaineren er udarbejdet sammen med professor Kasper Lippert-Rasmussen og Center for Eksperimentel-Filosofiske Studier af Diskrimination, CEPDISC, ved Aarhus Universitet.

Ingen enkel løsning

Algoritmisk bias kan blandt andet få betydning, når algoritmer bruges til at vurdere mennesker eller træffe beslutninger på baggrund af store mængder data.

»Algoritmisk bias er en af de mest komplekse dataetiske udfordringer, vi ser i disse år. Der findes ingen enkel knap, man kan skrue på for at fjerne det. Derfor er det afgørende, at myndigheder og virksomheder forstår, hvilke former for bias de i praksis vælger til og fra, når de tager en algoritme i brug,« siger Johan Busse, formand for Dataetisk Råd.

Problemet kan eksempelvis opstå, når en algoritme vurderer, hvilke socialt udsatte personer der har mest brug for en indsats, når kunstig intelligens hjælper med at diagnosticere kræftknuder, eller når en algoritme sorterer jobansøgere.

I de situationer kan teknologien ende med systematisk at behandle bestemte grupper anderledes, selv om algoritmen ikke nødvendigvis kender deres køn, alder eller etnicitet.

Fire former for bias

Dataetisk Råd peger på fire forskellige måder, som algoritmisk bias kan opstå på. Det kan ske gennem brug af data om grupper, forskelle i vurderinger, forskelle i præcision og forskelle i de typer fejl, som algoritmen begår.

Samtidig kan det være teknisk vanskeligt – og i nogle tilfælde umuligt – at fjerne alle former for bias på én gang. Forsøger man at begrænse én type, kan man risikere at forstærke en anden.

Dansk sag satte fokus på problemet

Udfordringen har også været aktuel i Danmark.

I 2022 vurderede Ligebehandlingsnævnet, at et profileringsværktøj fra Styrelsen for Arbejdsmarked og Rekruttering ikke var ulovligt diskriminerende. Værktøjet blev brugt til at vurdere nylediges risiko for langtidsledighed og inddrog blandt andet oplysninger om »ikke-vestlig herkomst«.

For Dataetisk Råd illustrerer sagen, at noget godt kan være lovligt uden nødvendigvis at være dataetisk uproblematisk.

»Det vigtige spørgsmål er sjældent, om en algoritme har bias. Det vigtige spørgsmål er, hvilke former for bias vi som samfund er villige til at leve med,« siger Johan Busse.

Sætter yderligere fokus på emnet

Dataetisk Råd følger udgivelsen op med to halvdagskonferencer om algoritmisk bias den 21. og 22. september.

Konferencerne arrangeres i samarbejde med CEPDISC og projektet Algoritmer, Data og Demokrati.