Att använda AI-system för beslutsfattande i arbetslivet kan leda till systematisk och konsekvent diskriminering. Det varnar Diskrimineringsombudsmannen, DO, för i en ny rapport. Den visar också att inte alla arbetsgivare är medvetna om att de använder sig av AI-system redan idag och att det finns risk för att utfall från systemen tolkas som värderingsfria.
Rapporten som DO tagit fram är resultatet av ett regeringsuppdrag med syfte att öka kunskaperna om risker för diskriminering vid användande av AI och automatiserat beslutsfattande i arbetslivet. Den består dels av en forskningsöversikt som kartlägger vilka risker som finns och dels av en undersökning om i vilken utsträckning arbetsgivare använder sig av AI och automatiserat beslutsfattande samt vilken kunskap de har.
Resultaten visar bland annat att risker för diskriminering kan uppkomma eftersom den data som AI-system tränas på återspeglar historiska och befintliga ojämlikheter och grupprelaterade skillnader i arbetslivet. Rapporten visar också att det är många arbetsgivare som inte är medvetna om att de redan i dag använder sig av AI och annat automatiserat beslutsfattande, till exempel vid rekrytering eller i det löpande personalarbetet såsom vid hanteringen av lönesystem och liknande.
En annan risk som DO ser är att mänskliga beslutsfattare riskerar att bli mindre kritiska när de använder AI och automatiserat beslutsfattande, det vill säga att de accepterar utfallet av systemen som något neutralt, objektivt och värderingsfritt (så kallad automation bias).
DO anser därför att det krävs ett aktivt och medvetet arbete av både AI-utvecklare och AI-användare (arbetsgivare) för att motverka diskriminering.
Bland annat behöver AI-systemens transparens bli bättre. ”En tillsynsmyndighet ska kunna granska hur ett AI-system utvecklas”, skriver DO i rapporten. Samtidigt konstateras det att detta inte är en lätt uppgift eftersom de större digitala plattformsföretagen ofta är globala och svårtillgängliga.
