Komisja Europejska chce kontroli czatów w sieci. Dlaczego krucjata komisarz Johansson jest groźna?

Propozycja Kontroli Czatów krytykowana jest szeroko: przez ekspertów w zakresie prywatności i bezpieczeństwa w Sieci, instytucje unijne, ONZ, nawet przez organizacje zajmujące się pomocą dzieciom, które doświadczyły przemocy seksualnej.

Z pomysłu wprowadzenia takiego systemu wycofało się Apple. W Wielkiej Brytanii, gdzie podobna propozycja była procedowana, odpowiedzialne instytucje przyznały, że niezbędne rozwiązania technologiczne nie istnieją. Mimo to europejska komisarz Ylva Johansson nie ustaje w swoich wysiłkach, by niebezpieczne i nieskuteczne regulacje wprowadzić.

Kontrola Czatów to – wydawać by się mogło – prosty pomysł na walkę z materiałami przedstawiającymi seksualne wykorzystywanie dzieci („CSAM”, od „child sexual abuse materials”) oraz groomingiem dzieci w Internecie. Ot, wystarczy nadzorować komunikację wszystkich osób korzystających z wszelkich komunikatorów. Nic prostszego!

Żeby jednak ominąć problemy z prywatnością (nikt przecież nie ma ochoty na to, by jakiś urzędnik przeglądał nasze prywatne, czasem intymne, rozmowy…), zamiast ludzi, treści będą przeglądane przez algorytmy i „sztuczną inteligencję”. I jak za dotknięciem czarodziejskiej różdżki, problem rozwiązany!

Jakże kusząca perspektywa, zwłaszcza w kontekście afery z polskimi jutuberami! Niestety, wbrew pobożnym życzeniom odpowiedzialnej za projekt komisarz Ylvy Johansson, nie tylko jest to technicznie niewykonalne, ale co ważniejsze – również nieskuteczne jako rozwiązanie ważkiego skądinąd problemu społecznego.

Technicznie niewykonalne

Jeśli spytamy ekspertów i ekspertek zajmujących się prywatnością i bezpieczeństwem w Internecie, dowiemy się, że skanowanie treści naszych rozmów przy zachowaniu ich prywatności i bezpieczeństwa nie jest technicznie wykonalne.

Skuteczność systemów automatycznego oznaczania obrazu po prostu nie jest wystarczająca do takich zastosowań, a nawet gdyby była, łatwo byłoby je obejść.

Jak pisałem szerzej w poprzednim tekście na temat Kontroli Czatów (wyjaśniam tam kwestie techniczne znacznie bardziej dogłębnie), to jest zasadnicza kwestia. By taki system był skuteczny, musi wykrywać jak najwięcej faktycznych przypadków CSAM, ale jednocześnie jak najrzadziej błędnie oznaczać materiały, które CSAM nie są.

Intuicyjnie: system, który oznaczałby wszelkie zdjęcia jako CSAM, miałby 100 proc. skuteczność wykrywania (wykryłby każdy przypadek CSAM), ale byłby faktycznie bezużyteczny ze względu na masowe błędne oznaczanie zupełnie niewinnych materiałów.

Podobnie bezużyteczny byłby system, który nie oznaczałby niczego jako CSAM – choć przecież perfekcyjnie unikałby błędnych oznaczeń. Projektując system wykrywania, trzeba to jakoś wypośrodkować. Nigdy nie osiągnie się jednak stu procent wykrycia i zera procent błędnego oznaczenia.

Zmodyfikowanie obrazu czy nagrania wideo jest trywialne. Można je przyciąć, można nieco obrócić, można zmodyfikować trochę kolory… Im dokładniej nasz system wykrywania CSAM porównuje dane zdjęcie z jakimś zestawem kryteriów (np. sumą kontrolną), tym mniejsze szanse na błędne oznaczenie niewinnego materiału, ale tym łatwiej uniknąć wykrycia modyfikując odrobinę dany materiał.

Z drugiej strony, jeśli zaprojektujemy nasz system tak, by trudniej było go oszukać, dostaniemy znacznie więcej błędnych oznaczeń niewinnych materiałów – a nawet potencjalnie możliwość fabrykowania niewinnych obrazów, które będą oznaczane przez system jako CSAM (dając świetne narzędzie do wykorzystania w złośliwych żartach).

I wreszcie: to, czy dane zdjęcie jest CSAM, czy nie, jest zasadniczo zależne od kontekstu. W kontekście rozmowy rodziców, wysyłających sobie zdjęcie swojego dziecka, zdjęcie to jest zupełnie niewinne. Jeśli jednak pojawi się (np. w wyniku włamania na telefon rodzica) na forach pedofilskich, to samo zdjęcie staje się materiałem pedofilskim.

Jak dotychczas nikt nie wyjaśnił, jak nasza czarodziejska różdżka miałaby sobie z problemem kontekstu poradzić.

Podobnie rzecz się ma z groomingiem, czyli nagabywaniem dzieci przez osoby dorosłe w celach seksualnych. „Nierzadko nastolatki między sobą rozmawiają, za obopólną zgodą eksplorując wzajemnie swoją seksualność" – mówi mi Anna Woźniak, psycholożka i psychotraumatolożka pracująca z osobami, które doświadczyły przemocy seksualnej.

„Trudno wyobrazić sobie program na tyle dobrze stworzony, aby umiał rozróżnić, kiedy w komunikacji występuje zgoda na jej kształt i treść, a kiedy jest to już nadużycie”.

Technosolucjonizm problemu nie rozwiąże

Jeśli spytamy o zdanie osoby zajmujące się pracą z ofiarami przemocy seksualnej lub które mają wiedzę na temat rozwoju seksualnego dzieci i młodzieży, okaże się, że niezależnie od technicznej (nie)wykonalności, propozycja Komisji Europejskiej może zwyczajnie nie być dobrym pomysłem na rozwiązanie problemu.

„Myślę, że jest to próba zapanowania nad czymś, co wymaga zwiększania świadomości, a nie ograniczania możliwości technicznych, bo takie zawsze się znajdą„ – zauważa Woźniak. – „Próbujemy uniknąć narażania dzieci na treści naszym zdaniem 'zdrożne' (m.in. poprzez eliminacje edukacji seksualnej ze szkół) jednocześnie zapominając, że jeśli dziecko nie dostanie informacji od uprawnionej do tego osoby dorosłej (rodzic, dobrze wyszkolony edukator), to będzie tych informacji szukało gdzie indziej”.

„Dzieci, nastolatki, szukają i będą szukały w internecie informacji na temat swojej seksualności, będą ja eksplorowały na różne sposoby – to jest naturalna potrzeba. Jeśli dziecko, które podejmuje próby eksploracji i poznania, czym ten seks właściwie jest, nie ma podstawowej wiedzy na temat tej seksualności, staje się możliwym obiektem ataku, bo wykorzystywana jest w pierwszej kolejności jego ciekawość i chęć eksploracji" – podkreśla ekspertka.

Arda Gerkens, była dyrektorka Offlimits, najstarszej europejskiej gorącej linii do zgłaszania materiałów pedofilskich online, podkreśla w wypowiedzi dla Balkan Insight, że „szyfrowanie jest kluczowe również dla ochrony dzieci: pedofile włamują się na konta dzieci w poszukiwaniu ich zdjęć".

Gerkens twierdzi, że wielokrotnie próbowała spotkać się z komisarz Johansson, nigdy się jej to jednak nie udało.

Zagrożenie dla praw podstawowych

Jednoznacznie krytycznie o regulacji wypowiedział się Europejski Inspektor Ochrony Danych, dr Wojciech Wiewiórowski. Jego zdaniem Kontrola Czatów ''nie może jest w żaden sposób uzasadniona na bazie Karty praw podstawowych UE".

Biuro Wysokiego komisarza Narodów Zjednoczonych do spraw praw człowieka opublikowało raport, w którym zgadza się z ekspertkami i ekspertami technicznymi w ocenie propozycji w rodzaju Kontroli Czatów, wprost wspominając, że żaden automatyczny system nie jest stuprocentowo skuteczny, a błędne posądzenia o rozpowszechnianie pornografii dziecięcej będzie miało poważne konsekwencje dla swobody prywatnej komunikacji.

Raport wskazuje też na zwiększone niebezpieczeństwo błędów oprogramowania i wycieków danych w przypadku wdrożenia takiego systemu. I ostrzega, że wdrożenie regulacji wymagających skanowania treści pod kątem pornografii dziecięcej w przyszłości może zostać rozszerzone na inne treści – zwłaszcza w krajach, w których praworządność pozostawia wiele do życzenia.

System mógłby w takim wypadku być użyty choćby przeciwko opozycji lub innym niewygodnym dla władzy środowiskom.

Europol chce dane

Jakby na potwierdzenie tych obaw, niedawno wyszło na jaw, że podczas spotkań z Komisją Europejską, Europol wysuwał propozycje, by automatyczne wykrywanie zostało rozszerzone również na inne nielegalne treści.

Agencja domagała się też, by dane wysyłane do organów ścigania (Europolu oraz organów ścigania w krajach członkowskich) zawierały nie tylko informacje dotyczące automatycznych oznaczeń CSAM, które zostały zweryfikowane przez osoby pracujące w powołanej w tym celu unijnej instytucji – lecz również dane powiązane z błędnymi oznaczeniami.

„Wszelkie dane są przydatne i powinny być przekazywane do organów ścigania, nie powinno być żadnego odsiewu na poziomie unijnego centrum, ponieważ nawet niewinny obraz może zawierać informacje, które w pewnym momencie będą przydatne organom ścigania" – czytamy w notatkach ze spotkania, do których dotarł portal Balkan Insight.

Innymi słowy, obawy i ostrzeżenia ekspertów i ekspertek, co do możliwego stopniowego rozszerzania zakresu tej regulacji, sprawdzają się już na etapie procesu legislacyjnego, zanim jeszcze propozycja została przyjęta!

Komisarz na krucjacie

Wszystkie te punkty widzenia, ostrzeżenia, i eksperckie opinie odpowiedzialna za tę propozycję komisarz Ylva Johansson ignoruje, kwitując (jak w listopadzie 2021): „Aktywiści prywatności są bardzo głośni, ale ktoś musi też mówić w imieniu dzieci".

To oczywiście bardzo wygodny wybieg. Kto nie jest za Kontrolą Czatów, zdaje się sugerować komisarz Johansson, ten broni pedofilii.

Komisarz spraw wewnętrznych nie opiera się jednak wyłącznie na sztuczkach retorycznych. Dzień po tym, gdy okazało się, że Kontrola Czatów może nie mieć wystarczającego wsparcia w Radzie Unii Europejskiej, komisarz zleciła płatną kampanię reklamową na portalu dawniej znanym pod nazwą Twitter (dziś X).

Kampania wykorzystywała różne zabiegi mające na celu manipulację emocjami odbiorców – mroczna muzyka, zdjęcia dziewczynek zestawione ze zdjęciami złowieszczo wyglądających dorosłych mężczyzn. Był też, rzecz jasna, szantaż emocjonalny, w postaci sugestii, że przeciwnikom propozycji nie zależy na bezpieczeństwie dzieci.

W kampanii zmanipulowano również informację dotyczącą wyników sondaży badających wsparcie propozycji: w badaniu sondażowym, na które się powołano, nie wspominano o problemach z propozycją Komisji. Natomiast badania sondażowe, które o nich wspominały, wskazywały znikome dla niej poparcie społeczne.

Kampania była uruchomiona wyłącznie dla krajów, których reprezentanci w Radzie Unii Europejskiej wydawali się nieskorzy do poparcia propozycji. Jakby tego było mało, wygląda na to, że reklamy były mikrotargetowane – celowo nie wyświetlały się osobom, które mogły mieć mocne przekonania dotyczące prywatności w Internecie.

W czyim imieniu?

Czemu komisarz Johansson tak nastawa na przyjęcie tej propozycji w tej konkretnej formie, przewidującej automatyczne skanowanie treści prywatnych rozmów?

Głosy krytyczne pojawiają się nie tylko ze strony środowisk technicznych czy organizacji zajmujących się prywatnością, ale również ze strony organizacji i osób zajmujących się ochroną dzieci w Internecie (i poza nim).

Czy w takim razie nie lepiej – w tym dla samych dzieci! – byłoby wsłuchać się w tę krytykę i propozycję odpowiednio zmodyfikować?

Niekoniecznie, jeśli ma się bliskie związki z organizacją tworzącą komercyjne systemy skanowania i oznaczania treści.

Jak wykazało śledztwo dziennikarskie Balkan Insight, komisarz Johansson od lat jest w bliskim kontakcie z organizacją Thorn.

„Dzieliliśmy wiele chwil w historii tej propozycji„ – portal cytuje maila komisarz Johansson, wysłanego do dyrektor wykonawczej tej organizacji, Julii Cordua. – ”Teraz zwracam się do Ciebie o pomoc w zapewnieniu udanej promocji [tej propozycji]".

Komercyjny interes

Choć Thorn zarejestrowana jest jako organizacja pozarządowa, zarabia miliony dolarów na licencjonowaniu swoich opartych o modele uczenia maszynowego systemów wykrywania CSAM.

Thorn bierze aktywny udział w pracach nad propozycją Kontroli Czatów. Nie dowiemy się jednak (przynajmniej na razie), co dokładnie znajduje się w dokumentach, które w tym celu organizacja wysłała Komisji. Czemu? Bo – jak uzasadniła odmowę ich udostępnienia sama Komisja – „naruszałoby to komercyjne interesy tej organizacji".

Wątpliwe, by system stworzony przez Thorn rozwiązywał wszystkie problemy, o których wspominają przeciwnicy Kontroli Czatów. Ale, nawet jeśli na chwilę założymy, że udało im się to osiągnąć – czy w takim razie w interesie dzieci na całym świecie nie byłoby, by dokumentacja i kod źródłowy tego systemu dostępne były publicznie? Tak, by każdy kraj mógł wdrożyć takie narzędzie?

Chciałoby się zapytać: czyżby „komercyjne interesy tej organizacji” były jednak ważniejsze, od dobra dzieci?

O ile wątpliwe jest, by skuteczność rozwiązań tworzonych przez Thorn była zadowalająca w kontekście systemu mającego skanować wszystkie prywatne wiadomości wysyłane za pomocą wszystkich szyfrowanych komunikatorów, o tyle niewątpliwa wydaje się intencja tej organizacji, by jej rozwiązania były (komercyjnie) wykorzystywane przy tym skanowaniu. Tym ważniejsze jest, by informacje o tym systemie były dostępne publicznie. By możliwa była niezależna weryfikacja tego, jak ten system działa, jego skuteczności, jego potencjalnych podatności.

Czy w celu lepszego dbania o bezpieczeństwo dzieci w Internecie, Thorn udostępni takie informacje, umożliwi taką niezależną weryfikację? Nie spodziewam się. To by wszak również naruszało „komercyjny interes tej organizacji”.

Problem społeczny

Wykorzystywanie seksualne dzieci to trudny problem społeczny. Sama technologia go nie rozwiąże. Dużo ważniejsze jest zadbanie o to, by dzieci miały odpowiednią wiedzę i wiedziały, że mogą zawsze bezpiecznie uzyskać pomoc.

"To, co jest istotą bezpieczeństwa, zarówno w internecie, jak i w kontakcie bezpośrednim, to świadomość swoich granic i potrzeb. Zwiększanie świadomości poprzez edukację seksualną przede wszystkim ma na celu naukę o granicach, o swojej cielesności, o tym, jakie zachowania mogą być przekroczeniem tych granic” – podkreśla Anna Woźniak.

„Wówczas jest szansa, że osoba, wobec której podejmowane są próby wykorzystania, po pierwsze szybciej oceni sytuację jako zagrażającą czy niekomfortową, po drugie, z większym prawdopodobieństwem zacznie stawiać granice, po trzecie, szybciej podejmie działania w celu zgłoszenia zdarzenia osobie dorosłej, której ufa".

Cykl „SOBOTA PRAWDĘ CI POWIE” to propozycja OKO.press na pierwszy dzień weekendu. Znajdziecie tu fact-checkingi (z OKO-wym fałszometrem) zarówno z polityki polskiej, jak i ze świata, bo nie tylko u nas politycy i polityczki kłamią, kręcą, konfabulują. Cofniemy się też w przeszłość, bo kłamstwo towarzyszyło całym dziejom. Rozbrajamy mity i popularne złudzenia krążące po sieci i ludzkich umysłach. I piszemy o błędach poznawczych, które sprawiają, że jesteśmy bezbronni wobec kłamstw. Tylko czy naprawdę jesteśmy? Nad tym też się zastanowimy.