Vad händer när ingen längre förstår algoritmerna bakom robotarna som sköter rutinärenden för myndigheterna? Det frågar sig Akademikerförbundet (SSR) som kritiserar regeringens utredning för att helt ha missat frågan när kommunerna nu ska digitalisera delar av beslutsfattandet.
I morgon är remissrundan klar för En väl fungerande ordning för val och beslutsfattande i kommuner och regioner. I den föreslår regeringens särskilda utredare Marianne Eliason bland annat ändringar av kommunallagen för att möjliggöra en utvidgning av algoritmbaserat beslutsfattande som tas inom kommuner och regioner.
I dag finns det inga klara regler för vad som gäller för kommuner och regioner när det kommer till automatiserade beslut, det vill säga sådana beslut som kan fattas av algoritmer och dataprogram.
Inom statlig förvaltning används redan automatiserade beslut av Skatteverket och Försäkringskassan, för exempelvis föräldrapenning, körkortstillstånd och inkomstbeskattning.
Det är Sveriges kommuner och regioner (SKR) som har bett regeringen om att utreda frågan. Utredningen har varit ute på remiss bland en rad kommuner och andra instanser som ska ha svarat innan 25 augusti. En av instanserna är Akademikerförbundet, som har många medlemmar som jobbar som handläggare inom kommunerna.
– Visst ska vi ha automatiserade beslut och i framtiden mer av artificiell intelligens för att underlätta och effektivisera för handläggarna, men det saknas helt ramverk i dag. Den här utredningen ger inga klara svar på hur det ska gå till, säger Simon Vinge, chefsekonom på Akademikerförbundet.
Det finns en skånsk kommun som redan har tjuvstartat med automatiserade beslut. I Trelleborg sköts bland annat ekonomiskt bistånd av dataprogram. Vanligtvis är det en behörig person inom socialtjänsten på kommunerna som handlägger socialbidraget. Här handlar det om algoritmer utvecklade av externa företag.
JO-anmälan
Akademikerförbundet har tidigare kritiserat Trelleborg för att inte ha tillräckligt juridiskt stöd för att kunna delegera beslut som kräver behörighet. När fackförbundet bad att få ta del av hur algoritmerna faktiskt fungerar möttes de av tystnad i över ett år. Det ledde till att SSR JO-anmälde Trelleborg.
– Trelleborg verkar ha gjort sin egen tolkning av vad som är möjligt i dag att delegera till algoritmer. JO gav oss rätt i att kommunen dröjt för länge med att svara, men vi vet fortfarande inte exakt vilka kriterier som dataprogrammen i Trelleborg går på, säger Simon Vinge.
Han menar att det i princip ska gå för vem som helst att kunna begära ut hur de automatiserade besluten sker i praktiken. Har man fått avslag på sin ansökan om socialbidrag måste man också kunna kräva en förklaring. Även om det ska gå att kunna överklaga ett automatiserat beslut, är det få, om ens någon, på myndigheterna som har insyn hur algoritmerna fungerar, berättar han.
– Det är viktigt vid automatiserade beslut att den som söker hjälp uppfattar att det går att överklaga. Särskilt om man befinner sig på botten av samhället är man väldigt utsatt. Det är inte säkert att den informationen går fram när det inte finns en mänsklig kontakt, säger Simon Vinge.
”Svarta lådor”
Han ser en fara i att den bristande insynen gör att offentliga förvaltningar blir som ”svarta lådor”. I de länder som har infört automatiserade beslut har också resultatet ibland blivit att fördomar och rasistiska strukturer förvärrats, som i New York, där svarta bedömdes hårdare av kriminalvårdssystemet.
– Mycket handlar om den datan som man matar systemet med och som på så sätt tränar den artificiella intelligensen. Finns det fördomar inbakade i den datan blir också resultatet därefter, säger Simon Vinge.
En föreställning är att AI kommer vara mer objektiv och mindre fördomsfull än vid mänsklig myndighetsutövning. Men kritiker menar att det här är en form av ”techwashing” just för att maskinerna lär sig från data insamlad av en redan partisk och ofta rasistisk poliskår. Istället för att bekämpa problemen blir algoritmerna ett sätt att dölja dem, rapporterar MIT technology report.
Begära ut koden?
För svensk del är det amerikanska företag som tillhandahåller programmen bakom de automatiserade besluten. Här är det heller inte klart om algoritmerna faller under offentlighetsprincipen och Dataskyddsförordningen GDPR och kan begäras ut, eller om de som utför tjänsterna kan vägra och hävda att det handlar om företagshemligheter.
– Egentligen ska man inte behöva gå så långt som att sitta och själv läsa källkod. Det räcker med att kommunerna kan förklara hur maskinerna gör sina beslut, säger Simon Vinge.
Han berättar att GDPR, som är den mest styrande regleringen av automatiserade funktioner, redan ger långtgående rättigheter för den enskilda att inte bli utlämnad till automatiserade beslut. De beslutsfattande är bland annat tvungna att lämna ut ”meningsfull information om logiken bakom samt betydelsen och de förutsedda följderna av en sådan behandling”. Något Trelleborg har underlåtit att göra.
– Som kommuninvånare har jag helt andra krav på att kommunen ser till mitt bästa. Då måste det finnas regler för det vid upphandling av programvaran. Annars kan vi få en situation där demokratiska beslut blir programkod framtagen av ett affärsdrivande multinationella konsultföretag som har helt andra intressen än vad vi förväntar oss av kommunala förvaltningar och statliga myndigheter, säger Simon Vinge.
Staten måste stödja kommunerna
Han tycker att den statliga utredning borde ha tagit höjd för de här frågorna redan nu istället för att skjuta det på framtiden. Staten borde bistå kommunerna med klara riktlinjer.
– Vi tror inte att alla 290 kommuner har kompetensen och de ekonomiska förutsättningarna för att utreda det här fullt ut, särskilt i små kommuner blir det svårt att stå mot företagen och ha koll på alla detaljer vid upphandlingarna.
Det finns även intresse för att använda artificiell intelligens och automatiserat beslutsfattandet vid upphandlingsprocesser med hopp om ökad produktivitet. Algoritmerna ska bland annat kunna snabbt upptäcka motstridiga krav och kriterier i hur upphandlingen ser ut.
Dock kan fel leda till stora konsekvenser. Riksrevisionen har påbörjat en granskning av automatiserat beslutsfattandet inom statlig förvaltning. En första bedömning är att det råder brist på en helhetssyn och kunskap kring vilka myndigheter som använder automatiserade beslut och i hur stor omfattning det sker, skriver Inköpsrådet.
Riksrevisionen tycker att det är positivt att myndigheterna använder digitala verktyg.
– Men det bör inte ske på ett sätt som gör att rättssäkerheten eftersätts, säger riksrevisor Helena Lindberg till Inköpsrådet.
Tröga myndigheter
Simon Vinge tycker att svenska myndigheter är sena på bollen, digitaliseringen är på full frammarsch inom andra delar av samhället. De riktlinjer som nu ritas fram måste även hålla i framtiden. Här har bland annat EU kommit längre.
– Det kommer en hel del framsynta skrivelser just nu. EU-kommissionen har kommit med en rapport om problembeskrivningar kring AI. Det handlar bland annat om programvara för ansiktsigenkänning, något som den svenska polisen har börjat använda, trots att det kan finnas diskriminerande problem. Vi skulle behöva den här typen av problembeskrivningar även för automatiserade beslut inom kommunerna, säger Simon Vinge.
Gallup om algoritmer
När SSR frågade sina medlemmar i en gallup utförd av Novus vilka empiriska erfarenheter de hade av algoritmer i sitt arbete, svarade 50 procent av de som arbetade inom kommun att algoritmerna inte gjorde någon skillnad. Drygt 28 procent menade att de underlättade arbetet, medan 21 procent att de ökade arbetsbördan. Svaren presenterades i april i år i rapporten All makt åt algoritmen, vår befriare?.
Kommunerna använder till viss del redan automatiserade beslut men då handlar det om att ändå finns en handläggare som gör det formella beslutandet i slutändan.
– Inte en enda gång nämns i regeringens rapport begreppet artificiell intelligens, trots att problematiken har tagits upp i tidigare utredningar. Vi från SSR undrar om regeringen och regeringens utredare egentligen har förstått frågan, säger Simon Vinge.
Här kan du läsa mer om automatiserade beslut och algoritmer:
