Avatarer sållar vid EU-gränsen

EU-projektet Horizon 2020 startade 2014 och är nu inne på sitt sjunde och sista år. Projektnamnet Horizon 2020 blir som en metafor. Men är det verkligen alltid bättre längre fram, vid horisonten? Vilka kostnader får individen betala för framtidens visioner, teknik och digitalisering?
Horizon 2020 är det största forsknings- och innovationsprojektet som EU någonsin genomfört. Projektet kostar EU-kommissionen nästan 80 miljarder euro. Forskning är enligt projektets beskrivning ett sätt att investera i framtiden.

Målet är att stödja EU:s konkurrenskraft genom att leverera idéer, utveckla tekniker och processer, föreslå innovativa lösningar på samhällsutmaningar och generera sysselsättning på kort, medellång och lång sikt. Man vill också underlätta samarbeten mellan offentlig och privat sektor för att leverera innovativa lösningar. Under de år som projektet pågått har det varit fritt fram för olika aktörer att ansöka om stöd från Horizon 2020.

När projektet avslutas i år kommer det inte vara klart – utan bana väg för vidare utveckling.

Iborder ctrl är ett av flera projekt inom ramen för Horizon 2020 och har fått drygt 4,5 miljoner euro. Iborder ctrl  är enligt den egna hemsidan ett innovativt projekt som syftar till att testa och möjliggöra noggrannare gränskontroller för tredjelandsmedborgare vid EU:s och Schengen-
områdets gränser. Ett intelligent kontrollsystem. Iborder ctrl startade i september 2016 och testfasen avslutades i augusti 2019.

Iborder ctrl är framförallt en digital gränsvakt, en avatar, som ska analysera sanningshalten i resenärens svar. Resenären som frågas ut är en tredjelandsmedborgare – någon hemmahörande utanför EU och Schengen. Hemlandet kan vara Kina, Bolivia, Afghanistan, Nigeria, Ryssland eller Moldavien. Men inte Sverige, Frankrike eller Tyskland.

Sannolikt kommer ingen hemmahörande i EU eller Schengen bli utfrågad. I alla fall inte till att börja med, menar Evelien Brouwer, människorättsadvokat och forskare på Amsterdam Centre for migration and refugee law. Hon har i över tio år följt utvecklingen av EU:s databaser och informationssystem, migrationspolitik och hur mänskliga rättigheter påverkas av ny teknik.

– Tredjelandsmedborgare används som försökskaniner. Hur kan du säkert avgöra om någon ljuger genom att granska dennes psykologiska funktioner? säger hon till Syre och fortsätter:
– För mig är det fascinerande. Hur vågar de ens föreslå sådan teknik?

Frågas ut i förväg

Avataren intervjuar resenären före ankomsten till flygplatsen, gräns-korsningen eller hamnen. Den (vita) mannen i blå uniform som ställer frågorna heter Silent Talker och är en lögndetektor från Storbritannien. Silent Talker utvecklades av forskare på Manchester Metropolitan University under 2000-talets första år. Iborder ctrl är i sin tur ett samarbete mellan 13 olika företag och universitet inom EU.

I en reklamfilm från 2018 förklarar Keeley Crockett, forskare på Manchester Metropolitan University och en av dem som arbetat med Iborder ctrl, hur proceduren går till. Enligt Keeley Crockett tar avataren inte några självständiga beslut utan gör under utfrågningen av resenären en riskanalys som sedan vidarebefordras till en fysisk gränsvakt eller polis när personen anländer.

38 små, mikroskopiska ansiktsrörelser registreras av avataren för att se om personen som svarar på frågor om ålder, ursprung och syfte med inresan ljuger eller inte. Hur pupillerna rör sig, minimala förändringar i tonläget och uttryck så små att en mänsklig vakt aldrig skulle upptäcka dem registreras. Den som bedöms vara en lågriskresenär går igenom en kortare process än den som av den artificiella intelligensen bedöms vara en högriskresenär.

Stress kan ge fel svar

Under testperioden var det frivilligt för resenärer att delta. De som var ”villiga att samarbeta med myndigheterna” kunde under testperioden gå igenom en mer effektiv procedur vid gränsen. 
Antoinette Rouvroy, forskare på University of Namur i Belgien, pekar ut svagheter med testerna av Iborder ctrl på tre EU-gränser:

– Under sådana omständigheter ser jag inte vilka fakta som finns för att bedöma systemets robusthet, tillförlitlighet eller noggrannhet, och hur de relevanta algoritmerna kommer att utbildas för att upptäcka (bio)markörer på vilseledande beteende, sa hon till tidningen Euractiv och tillade:

– Eller så måste vi anta att olagliga invandrare och potentiella brottslingar frivilligt skulle välja att delta och upptäckas, vilket inte är troligt.
Det finns många anledningar för någon att korsa en gräns, menar Evelien Brouwer.

Den som redan är stressad, av anledningar som kan skifta, kommer sannolikt utmärka sig mer. Tekniken kan därmed komma att snedvridas ännu mer i sin uppfattning om vem som är trovärdig och inte.

– Informationen från intervjun med avataren kommer lagras och användas för vidare riskanalyser. Det kan leda till att flyktingar och migranter i framtiden exkluderas från området, efter analys av det lagrade materialet som ligger till grund för risk-analysen, säger Evelien Brouwer.

Teamet bakom Iborder ctrl menar att resenärernas lagliga rättigheter uppfylls både på europeisk och nationell nivå när tekniken testas. De som deltog i testerna fick skriva på ett papper om att de gjort det frivilligt. 
Gränskontrollerna ska med Iborder ctrl och de nya metoder som utvecklas både effektiviseras och förhindra kriminalitet och terrorism, skriver tidningen Euractiv.

– Vi använder både befintliga och beprövade tekniker – såväl som nya – för att ge gränsvakterna möjlighet att öka gränskontrollernas noggrannhet och effektivitet, sa Iborder ctrl:s projektkoordinator George Boultadakis från det luxemburgska företaget European Dynamics till EU-kommissionen efter att testerna presenterades.

Stora felmarginaler

En kvinnlig reporter från tidningen The Intercept testade Iborder ctrl. Reportern svarade enligt uppgift ärligt på alla frågor, men bedömdes trots det ljuga. Hon fick svara på vad som fanns i resväskan och vad syftet med resan var. Därefter fick hon en QR-kod som scannades vid ankomsten. 
Vid kontrollerna ser vakten till att bilden på ansiktet som avataren tagit överensstämmer med bilden i passet och tar fingeravtryck. När QR-koden har skannats syns en siffra upp till 100. Siffran indikerar hur trovärdig och sanningsenlig avataren bedömt att personen är.

The Intercepts reporter fick 48 poäng och hade enligt avataren, förkroppsligad av den vita mannen i blå uniform, inte svarat sanningsenligt på 4 av 16 frågor.

Den ungerska polisman som tittade på resultatet av reporterns lögndetektortest sa att systemet föreslog en vidare kontroll – något reportern slapp.

The New Scientist skriver att 76 procent av testerna var framgångsrika, medan 24 procent visade sig vara felaktiga under testfasen av tekniken. Teamet bakom Iborder ctrl menar att tillförlitligheten kan öka till 85 procent. 
 Kvinnor och minoriteter antas ljuga oftare än vita män under den här typen av tester. Tekniken, den artificiella intelligensen, har främst prövats på vita män. 

Kompetensen brister således när det gäller att analysera information som de individer som avviker från den normativa vita mannen sänder ut.

Ungern testade avatar

Iborder ctrl har testats på gränsen mellan Ungern och Serbien och mellan Grekland och Nordmakedonien. Under den så kallade flyktingkrisen var det här många migranter korsade gränsen på sin väg norrut. Utöver det kunde resenärer välja att delta på 31 platser i Lettland – flygplatser, hamnar och vägar inräknat. I Ungern testades Iborder ctrl på två platser med ”signifikant trafik”, enligt polisens uppgifter till Euractiv.

Tidningen skriver att fler länder redan 2018 uttryckte intresse för att testa den nya tekniken efter testperioden. Bland annat Cypern, Polen, Storbritannien, Tyskland och Spanien.

I Sverige är vi inte där ännu, menar Elena Pallard som är jurist på Datainspektionen. Hon kan inte sia om framtiden eller hur vi i Sverige kommer påverkas av ny teknik som Iborder ctrl. Men Datainspektionen hanterade nyligen ett fall där Polismyndigheten ville genomföra tester med biometrisk ansiktsverifiering på Skavsta flygplats.

Datainspektionen kom fram till att just testverksamhet saknar stöd i den relevanta lagen, utlänningsdatalagen, där användande av just känsliga personuppgifter som biometriska data är förbjudet. 
Datainspektionen ansåg dock att polisen bör ha möjlighet att göra tester i vissa fall och har skickat ett yttrande till Justitiedepartementet om att det behövs en lagändring.

Svensk lag behöver ändras

Målet är att EU:s medlemsländer ska ha så enhetlig lagstiftning som möjligt. Elena Pallard menar att den svenska lagstiftningen därför kommer behöva ändras i och med kommande EU-lagstiftning, där samarbetet mellan EU:s informationssystem ska öka och information delas i högre utsträckning än tidigare. Samtidigt måste den personliga integriteten skyddas. Programvara som utvecklas för att samla in data måste vara icke-diskriminerande och säker – felmarginalerna ska vara på miniminivå.
I Sverige har polisen vissa skyldigheter och möjligheter att genomföra biometriska tester redan idag. I och med kommande EU-lagstiftning blir de fler. Fördelar måste vägas mot nackdelar.

– Det är som alltid ett avvägande mot den personliga integriteten och syftet med gränskontrollen. Att det ska gå hand i hand, säger Elena Pallard till Syre.