I den kritikerroste tyske filmen De andres liv fra 2006 er det en scene hvor hovedpersonen, Stasi-agenten Gerdiwesler, har blitt degradert. I stedet for å være ledende etterforsker sitter han nå i et dårlig belyst rom i Stasi-hovedkvarteret i Berlin, med en leselampe og dampapparat og åpner konvolutter.
I det tidligere DDR overvåket departementet for Statssikkerhet, ellers kjent som Stasi, nemlig alle borgernes korrespondanse med familiemedlemmer og venner i Vesten. Alle brev som skulle ut av landet var innom Stasis sitt hovedkvarter, hvor de ble åpnet og lest av en medarbeider fra departementet, før de så ble sendt videre til mottakeren.
Men departmentet for Statssikkerhet ble oppløst i 1990, mens DDR senere samme år ble gjenforent med med den Føderale republikken Tyskland. Og scener i den Oscar-belønte filmen hørte nå utelukkende til i historiebøkene.
Naturligvis da denne formen for totalovervåkning som Stasi-agentene gjennomførte, var et eksempel på hva som ikke hører hjemme i vestlige demokratier, hvor brev beholdes hemmelige og privatlivets fred generelt er bevart.
For en god sak
Derfor EU-kommisjonens aktuelle forslag til et nytt direkt, som har mål å beskytte barn mot seksuelle overgrep, sjokkerende lesning.
Forslaget som ble offentliggjort den 11. mai har fått lite oppmerksomhet i Norden, til tross for at de nye reglene som EU-Kommisjonen ønsker er den største trusselen mot privatlivets fred i Europa, siden slutten av den statlige totalovervåkningen i DDR.
Forslaget er beskrevet med overskriften “Regulation of the European Parliament and of the Council laying down rules to prevent and combat child sexual abuse” og kan for øvrig leses her, sympatisk og nevneverdig.
Det deles enorme mengder bilder av seksuelt misbruk av barn under 18 via meldingsapper, i likhet med at de samme appene i stor grad brukes av voksne til grooming av mindreårige for å få dem til å deltra i seksuelle aktiviteter, påpeker EU-Kommisjonen. Derfor er det nødvendig med strenge regler om chat-kontroll, som skal gjelde for alle tjenester og apper som gjør det mulig for europeiske barn å kommunisere med andre på nett, uansett om det er på mobilen, datamaskinen, spillkonsollen eller nettbrettet.
Vil gjelde stort sett alle meldingsapper og sosiale medier
De foreslåtte reglene om chat-kontroll er omfattende, men essensen er som følger:
1) I samarbeid med myndighetene skal alle relevante tjenester – typisk sosiale medier og meldingsapper som Facebook MEssenger, Instagram, Snapchat, TikTok WhatsApp osv, men også spillplattformene Discord og Twitch – ta stilling til om de utgjør en risiko for barn.
Som utgangspunkt er det snakk om at en gitt tjeneste utgjør en risiko for barn hvis den kan brukes og typisk også blir brukt av barn. Kun tjenester som f.eks. kontrollerer brukernes identitet og ikke gir tilgang til mindreårige – eller som kun i ekstremt begrenset omfang brukes av barn, EU-kommisjonen nevner LinkedIn som eksempel – vil bli sett på som sikre.
Med andre ord vil et bredt spekter av sosiale medier og meldingsapper, som vi alle bruker til daglig til en stor del av våres kommunikasjon med andre, i praksis få risikostemplet og bli underlagt den nye EU-chat-kontrollen.
2) En tjeneste som utgjør en risiko vil motta et såkalt oppsporingspåbud. Påbudet forplikter tjenesten til å implementere teknologi med kunstig intelligens – nøyaktig hvilken er ikke definert, og noe av denne krevende teknologien eksisterer muligens heller ikke enda – som skal kunne overvåke alle meldinger i appen, med et formål om å scanne innholdet for barnepornografiske bilder samt samtaler hvor mindreårige blir utsatt for grooming.
Hvis den kunstige intelligensen registrerer en overtredelse vil funnet bli sendt videre til et nyopprettet EU-senter, som fysisk vil befinne seg sammen med Europol i den hollandske hovedstaden Haag.
Her gjennomgås alle anmeldelser, og hvis medarbeiderne ser på saken som straffbar blir den overtatt av Europol, som videre fordeler til de enkelte medlemslandenes politimyndigheter.
EU-Kommisjonen aksepterer en feilkvote på 10 prosent
Det tyske tech-mediet Netzpolitik har dekket saken om den foreslåtte chat-kontrollen intenst og har bl.a. avslørt at EU-kommisjonen forventer en feilkvote på 10 prosent.
Den tyske regjeringen er nemlig skeptisk ovenfor EU-Kommisjonens forslag og har sendt et dokument med hele 61 spørsmål om fortolkning, konsekvenser, implementering osv. til byråkratene i Brussel. Bl.a. har regjeringen spurt om hva og hvor mye som kan gjøres for å unngå falske positive treff.
Svarene er ikke offentlige, men kommer fra et lekket dokument som Netzpolitik har publisert den 29. juni. Her kan man lese at EU-kommisjonen vurderer at denne type chatkontroll-software, som skal være i stand til å gjenkjenne tegn på grooming av mindreårige, treffer riktig ni ut av ti ganger. Falske treff sorteres vekk når sakene gjennomgås manuelt av medarbeiderne fra det tidligere nevnte EU-senteret, meddeler Kommisjonen.
Med andre ord forventer og aksepterer de at hver tiende private chat som har blitt stemplet som mistenkelig og som skal gjennomleses av en EU-medarbeider, burde på ingen måte inneholde mistenkelig eller krenkende atferd.
Slik jeg ser det kan det være snakk om bilder eller samtaler som misforstås av den kunstige intelligensen.
Hva med kryptering?
Flere av de mest utbredte meldingsapper som f.eks. WhatsApp og Signal, garanterer at alle samtaler beskyttes ved hjelp av såkalt end-to-end kryptering. I korte trekk betyr det at alt innhold krypteres før det blir sendt, og først avkrypteres og kan leses når det når frem til mottakeren. Samtalepartnernes enheter utveksler krypteringsnøkler, slik at det er kun de to som har tilgang til samtalens innhold. Verken tjeneste- eller internettutbyder kan lese innholdet.
Hvis EU-kommisjonens chat-kontroll blir til virkelighet betyr det at vi nok må si farvel til end-to-end kryptering, som ellers har blitt innført av flere og flere tjenester gjennom de siste årene, i takt med at forbrukerne legger mer og mer vekt på sikkerhet. Ikke minst sett i lys av et økende trusselnivå i forbindelse cyberkriminalitet.
Hvis det blir en del av lovverket at en gitt tjeneste skal være i teknisk stand til å utføre chat-kontroll, og dermed scanne innhold av alle samtaler, er det vanskelig å se hvordan det skulle kunne la seg gjøre uten å slukke for krypteringen.
Ifølge Netzpolitik forestiller EU-kommisjonen seg at såkalt client-side-scanning kan være en mulig løsning. Her innebygges teknologi i appen, som scanner innholdet på mobilen eller datamaskinen, innen samtales krypteres og sendes til mottakeren – ganske likt teknologien som Apple planla å implementere i iOS 15 for litt over et år siden.
Stasi 2.0
Jeg skrev ovenfor at EU-kommisjonens forslag er sjokkerende lesning, og at hvis reglene blir gjennomført uten vesentlige endringer, er det den største trusselen mot privatlivets fred i Europa, siden slutten av statlige totalovervåkningen i DDR. I dette tilfellet takket være et felleseuropeisk «Departement for Barnesikkerhet».
Det er tross alt snakk om at all kommunikasjon via de mest kjente meldingsapper vil bli overvåket og konstant scannet. Noe som ikke er så langt fra at myndighetene i DDR-tiden åpnet samtlige brev og leste dem for å forhindre at noen skrev eller sendte noe ulovlig – i tillegg til avlytting av telefonsamtaler.
Tilbake til nåtiden har f.eks. Facebook og Google implementert screening-teknologi som scanner og analyserer alle brukernes bilder. Hvert bilde blir tildelt en unik hash-verdi som beregnes basert på data i bildet, videre sammenlignes alle hash-verdier med verdiene i en database over kjente barnepornobilder som opprettholdes av det amerikanske “National Center for Missing and Exploited Children” (NCMEC).
Men EU-kommisjonens forslag er langt mer omfattende. Det er ikke bare ulovlige bilder som det skal scannes etter, det er også forsøk på grooming og lokking i private samtaler. Dette er simpelthen ikke mulig uten at innholdet i alle samtaler blir lest og analysert av kunstig intelligens – og hvis det treffer, lest manuelt av medarbeidere fra det tidligere nevnte EU-senteret.
Monitoring private conversations is “intrusive” but this is an acceptable balance because the algorithms do not “understand” the conversations.
Am I losing my mind, did actual thinking human beings write this text? pic.twitter.com/nON5xzPJM7
— Matthew Green (@matthew_d_green) May 11, 2022
Fundamental krenkelse med vidstrakte konsekvenser
At EU-kommisjonen forsøker å forsikre om at dette ikke er et problem, da den kunstige intelligensen ikke «forstår» samtalene, gjør meg ikke mindre urolig (se Tweet ovenfor). Her er det snakk om en fundamental krenkelse av alle borgers rett til privatliv, og ikke minst overtredelse av menneskerettighetene.
Hvis du likt som den svenske EU-kommisøren Ylva Johansson, som er ansvarlig for interne saker, mener at reglerne er rimelige og nødvendige, tenk da over hva teknologien vil kunne brukes til i fremtiden.
I lyset av den økende polariseringen i samfunnet grunnet alvorlige kriser som koronapandemien og krigen i Ukraina, er det ikke vanskelig å forestille seg at politiske krefter fra ulike sider vil kunne ønske seg å overvåke borgernes samtaler etter andre kriterier. Og før man vet ordet av det, befinner vi oss samme sted som Kina og andre totalitære stater.
Uskyldige borgere i myndighetenes søkelys
Feilkvoten på ti prosent nevnt ovenfor er heller ikke til å spøke med. Det er omkring 450 millioner borgere i EU. 67 millioner av dem er barn. Det fører til millioner av samtaler hvert år – også mellom barn og voksne – hvorav hundretusenvis av dem vil være helt normale og uskyldige, og mange av disse private samtalene vil dukke opp som feilaktige treff på de chatkontrollerte EU-medarbeidernes bord, hvor de vil bli lest gjennom.
Om man mener at det er grunnlag for å gå gjennom tusenvis av samtaler mellom uskyldige borgere, så er man simpelthen naiv.
Lukket for mindreårige
En annen mulig konsekvens av EU-kommisjonens forslag er naturligvis at en stor andel sosiale medier og meldingsapper kan bli lukket for personer under 18 år.
Hvis en gitt tjeneste velger å kontrollere identiten til enhver bruker og på forhånd utelukke mindreårige, så kan appen unngå det inngripende risikostempelet og f.eks. holde på garantien om end-to-end kryptering. Det betyr samtidig også et farvel til enhver form for anonymitet, som kan være livssviktig for mennesker som lever under vanskelige forhold, det være seg politiske aktivister, journalister, mindreårige transpersoner, migranter, flyktninger eller andre som blir forfulgt.
This document is the most terrifying thing I’ve ever seen. It is proposing a new mass surveillance system that will read private text messages, not to detect CSAM, but to detect “grooming”. Read for yourself. pic.twitter.com/iYkRccq9ZP
— Matthew Green (@matthew_d_green) May 10, 2022
Totalovervåkning er ikke forenlig med demokratiske verdier
I en tid hvor EU-landene sammen med andre vestlige land viser solidaritet med Ukraina, fordi vi ser på det som nødvendig å forsvare fundamentale demokratiske verdier og menneskerettigheter, er det skremmende og oppriktig deprimerende at EU-Kommisjonen ønsker å innføre en form for totalovervåkning, som selv departementet for Statssikkerhet i det tidligere DDR neppe kunne ha forestilt seg.
La oss nå virkelig håpe at EU-byråkratene bare har blitt naive av sine egne gode hensikter, og at de kan forstå de alvorlige og vidstrakte negative konsekvensene dersom forslaget deres skulle bli til virkelighet.