"Chat Control". Komisja Europejska chce szukać pornografii dziecięcej w twoich wiadomościach

Rozpowszechnianie pornografii dziecięcej oraz nagabywanie dzieci w Internecie to problemy, których nie wolno lekceważyć. Jednak rozwiązania czysto technologiczne, opierające się na automatycznym filtrowaniu czy wykrywaniu treści, ich nie rozwiążą. Mogą za to spowodować wymierne szkody i stworzyć nowe zagrożenia. W tym dla dzieci, które próbują chronić.

Zamiast naiwnego technosolucjonizmu, próbującego narzucić technologiczne rozwiązania społecznych problemów, potrzebna jest rzeczowa edukacja seksualna, rzetelna edukacja medialna (w tym rodziców!), i instytucje godne zaufania dzieci i nastolatków na tyle, by nie bały się do nich zwrócić po poradę i pomoc.

Cykl „SOBOTA PRAWDĘ CI POWIE” to propozycja OKO.press na pierwszy dzień weekendu. Znajdziecie tu fact-checkingi (z OKO-wym fałszometrem) zarówno z polityki polskiej, jak i ze świata, bo nie tylko u nas politycy i polityczki kłamią, kręcą, konfabulują. Cofniemy się też w przeszłość, bo kłamstwo towarzyszyło całym dziejom. Rozbrajamy mity i popularne złudzenia krążące po sieci i ludzkich umysłach. I piszemy o błędach poznawczych, które sprawiają, że jesteśmy bezbronni wobec kłamstw. Tylko czy naprawdę jesteśmy? Nad tym też się zastanowimy.

Koncert życzeń Komisji

Propozycja Komisji Europejskiej przedstawiona w maju 2022 roku – nazywana przez jej przeciwników "Chat Control" (ang. "Nadzór nad Czatami") – skupia się na nakazaniu (Artykuł 7.) operatorom komunikatorów skanowania treści wysyłanych za ich pomocą w celu wykrywania "znanych i nowych" materiałów "przedstawiających niegodziwe traktowanie dzieci w celach seksualnych", oraz "przypadków nagabywania dzieci w celach seksualnych".

Projekt rozporządzenia nie określa, w jaki sposób operatorzy mieliby to robić, ani nie określa konkretnych rodzajów technologii, z których mieliby w tym celu skorzystać. Mają one być "skuteczne w wykrywaniu" problematycznych treści, "nie mogą pozwalać na pozyskiwanie żadnych informacji z istotnych komunikatów innych niż informacje absolutnie niezbędne do wykrywania".

Mają też być "zgodne z aktualnym stanem wiedzy w sektorze i w sposób najmniej inwazyjny pod względem wpływu na prawa użytkowników do życia prywatnego i rodzinnego, w tym do zachowania poufności komunikacji, oraz do ochrony danych osobowych".

I wreszcie, "muszą być wystarczająco wiarygodne, to znaczy ograniczają w jak największym stopniu poziom błędów dotyczących wykrywania" (Artykuł 10., punkt 3.).

Problem w tym, że narzędzia spełniające te wymogi wystarczająco dobrze dziś nie istnieją i raczej szybko nie powstaną. A wymieniane w projekcie jednym tchem wykrywanie "znanych i nowych" materiałów oraz "przypadków nagabywania" to trzy zasadniczo różne i trudne do skutecznego rozwiązania kwestie:

• wykrywanie "znanych materiałów" wymaga bazy danych tych materiałów i jakiejś metody sprawdzania, czy dane zdjęcie, czy nagranie wideo w tej bazie się znajdują;
• wykrywanie "nowych materiałów" to już zadanie dla jakiegoś modelu uczenia maszynowego na takiej bazie danych;
• wykrywanie "przypadków nagabywania" również wymagałoby jakiegoś modelu uczenia maszynowego (tekst propozycji zresztą o tym wspomina), przy czym jest jeszcze trudniejsze, bo bardzo zależy od kontekstu danej komunikacji.

Skuteczne wykrywanie

Najprostsze wydaje się rozpoznawanie znanych materiałów. Jak trudne może być porównanie dwóch obrazków czy filmów i określenie, czy są identyczne? To by jednak wymagało wysyłania każdego materiału, przesyłanego przez użytkowniczki i użytkowników danej usługi, do operatora takiej bazy danych (powiedzmy jakiejś instytucji unijnej) w celu porównania.

Lepiej, żeby operator sam mógł dokonać takiego porównania, w ramach swojej usługi, bez przesyłania tych materiałów gdziekolwiek indziej. To by jednak oznaczało konieczność udostępnienia bazy danych zawierających ogromne ilości pornografii dziecięcej każdemu operatorowi komunikatorów internetowych. Na to też przecież nie może być zgody.

Rozwiązaniem mogą być tak zwane funkcje haszujące. W pewnym uproszczeniu, funkcja haszująca przyporządkowuje dowolnemu plikowi dużą liczbę, zwaną skrótem kryptograficznym (ang. "cryptographic hash").

Dla danej funkcji haszującej dany plik będzie zawsze miał ten sam skrót. Co do zasady niemożliwe powinno być odtworzenie zawartości pliku tylko na podstawie skrótu. I choć różne pliki mogą mieć ten sam skrót (to tzw. kolizje), praktycznie niemożliwe powinno być wygenerowanie plików o zadanym skrócie.

Wystarczy więc zhaszować wszystkie materiały w bazie materiałów pornografii dziecięcej, wysłać listę uzyskanych w ten sposób skrótów do operatorów, a ci mogą dzięki temu szybko sprawdzić, czy przesyłany właśnie obrazek ma taki sam skrót jak jakiś znany materiał z bazy. Proste?

Nie ma drogi na skróty

Nie do końca. Jakakolwiek zmiana w zawartości pliku oznacza znaczną różnicę skrótu. Wystarczy więc, by obrazek został skompresowany (komunikatory często kompresują przesyłane materiały), przeskalowany, przycięty, lekko obrócony, czy trywialnie zmodyfikowany w jakikolwiek inny sposób, by jego skrót zmienił się diametralnie i nie pasował już do skrótu znanych materiałów. A zatem taki system nie byłby "skuteczny w wykrywaniu".

Istnieją funkcje haszujące bardziej odporne na takie trywialne modyfikacje. Duże korporacje od wielu lat stosują na przykład stworzony przez Microsoft system PhotoDNA. Microsoft zazdrośnie strzeże dostępu do kodu źródłowego i szczegółów tego, jak system działa, jednak wygląda na to, że w przypadku skrótów PhotoDNA, możliwe jest przy ich pomocy częściowe odtworzenie zawartości haszowanych plików.

Jeśli to prawda, każdy operator mający kopię bazy danych tych skrótów mógłby odtworzyć całą bazę pornografii dziecięcej, a właśnie tego próbowaliśmy przecież uniknąć stosując funkcje haszujące.

Apple stworzyło (i zamierzało wykorzystywać do skanowania danych w iCloud oraz na urządzeniach producenta) system NeuralHash. Miał on skuteczniej ignorować trywialne zmiany w haszowanych plikach. Badaczki i badacze szybko jednak ustalili, że NeuralHash podatny jest na kolizje. I choć Apple twierdzi, że nie jest to duży problem, jest to na tyle proste, że powstały strony internetowe pozwalające wygenerować pliki o znanych skrótach.

Wyobraźmy sobie, że NeuralHash jest używany do wykrywania pornografii dziecięcej na naszym urządzeniu i że ktoś postanowi zrobić nam dowcip wysłając nam niewinnie wyglądające zdjęcia mające taki sam skróty, jak znane materiały przedstawiające seksualne wykorzystywanie dzieci. Zgodnie z projektem rozporządzenia, powiadamiane zostają odpowiednie organa, a my musimy się tłumaczyć, dlaczego mamy "pornografię dziecięcą" na telefonie.

A teraz wyobraźmy sobie, że jesteśmy znaną polityczką opozycji lub tęczowym aktywistą, a służby tylko czekają na pretekst, by przeanalizować dane na naszych urządzeniach…

Zasadniczo niemożliwe jest stworzenie funkcji haszującej, która nie jest podatna na trywialne modyfikacje danego materiału, a jednocześnie ma niskie ryzyko kolizji. Trudno więc zbudować oparty o funkcje haszujące system, który jest "skuteczny w wykrywaniu" i jednocześnie "wystarczająco wiarygodny".

Mamy już też przykłady błędów popełnianych przez takie systemy – i ich bolesnych konsekwencji. System wykrywania pornografii dziecięcej wdrożony przez Google oflagował na przykład zdjęcia zrobione przez ojca swojemu dziecku w celu uzyskania zdalnej porady lekarskiej. Konto ojca zostało zablokowane. Z dnia na dzień, stracił on dostęp do skrzynki mailowej, kalendarza i plików w Google Drive.

Kontekst określa co to za obrazek

W dużej mierze to kontekst definiuje, co jest materiałem przedstawiającym "niegodne traktowanie dzieci", a co nim nie jest.

Zdjęcie zrobione dziecku przez rodzica jest zwykle niewinną pamiątką (kto nie widział swoich nagich zdjęć z wczesnego dzieciństwa?), może też być próbą uzyskania porady medycznej. Dokładnie to samo zdjęcie nagiego bobasa, np. wykradzione ze zgubionego urządzenia lub… skopiowane z publicznego profilu dumnego członka rodziny (niezdającego sobie sprawy z konsekwencji takiego udostępnienia), wrzucone na pornograficzne forum staje się pornografią dziecięcą.

Filmik, nagrany przez nieletnią osobę i wysłany do jej równie młodego partnera czy partnerki jest wprawdzie nierozważnym, ale dość niewinnym eksplorowaniem własnej seksualności. Dokładnie ten sam filmik staje się pornografią dziecięcą, gdy tylko zostanie udostępniony dalej, w zupełnie innym kontekście i zupełnie innym osobom.

Ten kluczowy kontekst jest niemożliwy do ustalenia wyłącznie na podstawie samego zdjęcia czy nagrania wideo. By móc ustalić, czy udostępnienie danego zdjęcia – nawet będącego "znanym materiałem"! – w danej sytuacji jest faktycznie udostępnianiem materiałów pedofilskich, konieczna jest wiedza o tym, kto się komunikuje, z kim, i jak ta komunikacja wygląda.

Zgodnie z projektem Komisji Europejskiej, operatorzy komunikatorów mieliby o wykryciu podejrzanych materiałów informować donosem zawierającym m.in. "wszystkie dane dotyczące treści, w tym zdjęć, nagrań wideo i tekstu", "informacje dotyczące lokalizacji geograficznej (…), takie jak adres IP", "informacje dotyczące tożsamości wszelkich użytkowników" (Artykuł 13., punkt 1.).

To dane, których operatorzy szyfrowanych komunikatorów takich, jak Signal czy WhatsApp, zwyczajnie nie mają. I mieć nie mogą, jeśli szyfrowane komunikatory mają spełniać swoje ważne funkcje społeczne – jak ochrona dziennikarzy i ich źródeł, czy po prostu ochrona prywatności codziennej komunikacji, z której potrzeby nikomu nie musimy się przecież tłumaczyć.

Nie ma to wiele wspólnego z postulowanym w projekcie "sposobem najmniej inwazyjnym pod względem wpływu na prawa użytkowników do życia prywatnego i rodzinnego, w tym do zachowania poufności komunikacji, oraz do ochrony danych osobowych".

Wykradzione z rodzicielskiego urządzenia i rozpowszechniane w grupach pedofilskich kopie zdjęcia dziecka zapewne ostatecznie trafią do zbioru danych, na bazie którego operatorzy mają wykrywać materiały pedofilskie u użytkowników komunikatorów. Czy od tego momentu ten rodzic oznaczany będzie jako osoba rozpowszechniająca materiały pedofilskie za każdym razem, gdy dzielić się będzie tymi zdjęciami z innymi członkami rodziny?

Jak konieczność tłumaczenia się z posiadania tych – domyślnie uznawanych za pedofilskie, choć przecież w tym kontekście całkiem niewinnych – zdjęć wpłynie na życie rodzinne i na kondycję psychiczną osób dotkniętych tą sytuacją?

Jak na nie wpłynie świadomość, że za każdym razem, gdy rodzinne zdjęcia są wysyłane członkom rodziny, niewykluczone jest, że urzędnik jakiejś unijnej instytucji dostanie donos i będzie się im dokładnie przyglądał w celu ustalenia, czy to pornografia dziecięca, czy nie? Co to ma wspólnego z ochroną dzieci?

Myślenie magiczne

Te problemy nie dotyczą wyłącznie systemów opartych o funkcje haszujące. Niezależnie od użytej technologii wykrywania, problemem zawsze będzie z jednej strony skuteczność wykrywania, a z drugiej błędne wykrycia.

Nawet jeśli byśmy maszynowo porównywali same obrazki (a nie tylko ich skróty), mielibyśmy przecież ten sam problem. Im bardziej rozluźnimy kryteria wykrycia, tym więcej treści będzie błędnie wykrytych. Im bardziej je zacieśnimy, tym więcej faktycznie problematycznych treści uniknie wykrycia.

Na to nakłada się niemożliwy do ustalenia - na bazie samych zdjęć czy filmów – kontekst ich udostępnienia, a co za tym idzie konieczność uwzględnienia kto, z kim i jak się komunikuje. Nie ma więc mowy o zachowaniu poufności komunikacji i prawa do prywatności. Nie zmienią tego żadne, nawet najbardziej górnolotne zapisy o poszanowaniu prywatności czy ochronie danych osobowych. To zaklinanie rzeczywistości i myślenie magiczne.

A przecież wciąż przyglądamy się wyłącznie najprostszej kwestii – wykrywaniu znanych materiałów! Problem komplikuje się jeszcze bardziej przy próbie znalezienia rozwiązań mających wykrywać "nowe", nieznane jeszcze materiały, czy "przypadki nagabywania".

Gdzie urzędnik nie może, tam AI pośle

W przypadku znanych materiałów wiadomo przynajmniej, że faktycznie pojawiły się kiedyś w kontekście niegodnego traktowania dzieci. W przypadku wykrywania "nowych" materiałów nawet tak podstawowej informacji nie mamy. Ale bez obaw: od czego jest "sztuczna inteligencja"!

Oparte o uczenie maszynowe narzędzia są nie tylko mniej dokładne, ale często również łatwiejsze do oszukania. Czyli dużo materiałów będzie błędnie oznaczonych i zadenuncjowanych jako pedofilskie oraz dużo materiałów faktycznie pedofilskich, uniknie wykrycia.

Sytuacja jest jednak gorsza, niż w przypadku systemów opartych np. o funkcje haszujące i skróty kryptograficzne: zdjęcie dziecka wysłane na rodzinną grupę, czy filmik poznającego swoją seksualność nastolatka udostępniony sympatii, będą mogły zostać oznaczone przez oparty o uczenie maszynowe system jako pedofilskie nawet wtedy, gdy nigdy nie wyciekły i nigdy nie pojawiły się w bazach danych, gromadzących znane już treści. Przecież chodzi o wykrywanie "nowych" materiałów!

Każde takie zgłoszenie – zawierające oznaczone zdjęcia czy filmiki – będzie musiało zostać przejrzane i ocenione przez urzędników pracujących w powołanej w tym celu instytucji ("Unijne Centrum ds. Niegodziwego Traktowania Dzieci w Celach Seksualnych"). Niewinne zdjęcia rodzinne czy filmiki nagrane przez nastolatki na własny użytek będą więc wyrywane z kontekstu, przeglądane i oceniane przez nieznane im (dorosłe) osoby.

Tymczasem osoby faktycznie chcące wymieniać się treściami pedofilskimi, zamiast wysyłać zdjęcia czy filmiki danym komunikatorem, wyślą je choćby spakowane w zaszyfrowanym archiwum, albo skorzystają z komunikatorów peer-to-peer (skądinąd ważnych, przydatnych narzędzi), w których kontekście trudno nawet określić, kto miałby być "operatorem".

Pole do nadużyć

Problemu rozpowszechniania treści pedofilskich to rozporządzenie więc nie rozwiąże. Stworzy jednak system skanowania rozmów i materiałów wysyłanych za pomocą komunikatorów (w tym szyfrowanych), i oznaczania ich (ułomnie, niewystarczająco skutecznie, niewystarczająco wiarygodnie do celów ścigania pedofilii) na podstawie pewnych kryteriów.

A jak już taki system powstanie, czemu ograniczać się tylko do treści pedofilskich?

W Wielkiej Brytanii trwają prace nad podobnymi regulacjami, również pod pretekstem walki z wykorzystywaniem seksualnym dzieci. Jednak wymienia również inne rodzaje "nielegalnych treści". Pojawił się nawet pomysł wykorzystania projektowanych regulacji w celu wyegzekwowania ewentualnego zakazu "pokazywania migrantów w dobrym świetle"!

Tego rodzaju systemy były, są i będą nadużywane. Nikogo, kto śledzi sagę Pegasusa, nie trzeba o tym przekonywać. Jeśli taka infrastruktura automatycznego skanowania powstanie, czy zostanie w Polsce wykorzystana do wykrywania memów z papieżem?

Czy na Węgrzech wykorzysta się ją do wykrywania "homopropagandy"? W takiej sytuacji niska skuteczność nie miałaby większego znaczenia, chodziłoby przecież o efekt mrożący wolność wypowiedzi.

Kluczowy byłby wtedy ścisły, publiczny nadzór nad bazą "znanych" materiałów, oraz nad danymi potencjalnie wykorzystywanymi do trenowania modeli uczenia maszynowego. Ale jak zapewnić publiczny nadzór nad zbiorami treści pedofilskich?

Kto chciałby się takiego zadania podjąć, a jeśli by chciał – czy na pewno jest to właściwa osoba?

Zarówno Signal jak i WhatsApp ogłosiły, że jeśli brytyjski projekt zostanie przyjęty, przestaną świadczyć swoje usługi użytkowniczkom i użytkownikom ze Zjednoczonego Królestwa, ze względu na zapisy, które de facto uniemożliwiłyby tym komunikatorom skuteczne szyfrowanie i ochronę prywatności osób z nich korzystających. Podobne zapisy znalazły się w projekcie unijnego rozporządzenia.

Na unijnym projekcie suchej nitki nie zostawił Europejski Inspektor Ochrony Danych, Dr Wojciech Wiewiórowski: jego zdaniem proponowane masowe skanowanie prywatnej komunikacji "nigdy nie będzie zgodne z Kartą praw podstawowych UE", a konkretne zapisy "tworzą iluzję legalności". A więc myślenie magiczne również pod względem prawnym.

Z tą oceną zgadzają się dziesiątki organizacji pozarządowych, które dołączyły do kampanii Stop Scanning Me (ang. "Przestań Mnie Skanować"). Jak na jej stronie pisze Emma Prest z OCCRP (organizacji zajmującej się dziennikarstwem śledczym, znanej m.in. z Panama Papers): "Prowadzimy śledztwa dziennikarskie dotyczące tych samych rządów, które miałyby dostęp do tego systemu skanowania. Dziennikarki i dziennikarze już dziś są atakowani. To rozporządzenie dałoby tylko więcej możliwości nadużyć władzy".

Kinderschutzbund Bundesverband, niemiecka organizacja zajmująca się ochroną dzieci, określiło wymóg skanowania wiadomości jako "nieproporcjonalny" i "nieefektywny".

Komisja Europejska wie o tych zastrzeżeniach. Wiedziała o nich od lat — już między lutym a kwietniem 2021 r. zorganizowała otwarte konsultacje społeczne projektu tego rozporządzenia.

Nawet Rada ds. Kontroli Regulacyjnej, wewnętrzny organ doradczy Komisji, ponad rok temu zwrócił uwagę, że "skuteczność i proporcjonalność preferowanego rozwiązania nie zostały wystarczająco wykazane".

Obecny tekst propozycji regulacji wspomina o zastrzeżeniach zgłaszanych w konsultacjach, ale je bagatelizuje.

Co zamiast?

Pornografia dziecięca i nagabywanie osób małoletnich są problemami społecznymi, istnieją również poza internetem. Rozwiązanie proponowane przez Komisję Europejską jest wąskim (bo skupionym tylko na internecie) i naiwnym technosolucjonizmem. Problemy społeczne wymagają społecznych rozwiązań.

Jeśli faktycznie chcielibyśmy się z nimi zmierzyć, potrzeba porządnej, rzetelnej, uczciwej edukacji seksualnej. Tak, by dzieci nie szukały odpowiedzi na nurtujące je pytania na portalach pornograficznych czy podejrzanych forach, gdzie mogą łatwo paść ofiarą osób mogących ich niewiedzę i brak doświadczenia wykorzystać.

By wiedziały, kiedy i jak postawić granice w pierwszych kontaktach seksualnych i podczas uczenia się swojej cielesności. I by czuły, że mają się do kogo zwrócić, jeśli potrzebują porady lub pomocy.

Konieczna byłaby też rozbudowana edukacja medialna, zarówno dla dzieci, jak i ich rodziców. Niezależnie od naszego wieku i pokolenia, często nie zdajemy sobie sprawy z konsekwencji wrzucenia niewinnie (dla nas) wyglądającego zdjęcia rodzinnego na profil społecznościowy. Nie rozumiemy, kto jeszcze może mieć do naszych wpisów czy wiadomości dostęp. I nie potrafimy zadbać o skuteczne ograniczenie tego dostępu.

I wreszcie: musimy poważnie porozmawiać o instytucjach, które mogą zaoferować pomoc zarówno dzieciom, jak i ich rodzicom. Potrzeba godnych zaufania, doświadczonych psychologów szkolnych.

Potrzebne jest wsparcie organizacji i instytucji, takich jak telefony zaufania, które notabene powinny udostępniać możliwość kontaktu za pomocą szyfrowanych komunikatorów, by dać osobom szukającym pomocy komfort i poczucie bezpieczeństwa.

Spytajmy samych zainteresowanych

Jednak zacząć należałoby przede wszystkim od spytania dzieci i młodzieży o zdanie. Dokładnie to zrobiła europejska organizacja EDRi (od ang. "European Digital Rights", "Europejskie Prawa Cyfrowe"; członkiem EDRi jest m.in. polski Panoptykon).

Wyniki są jednoznaczne: jeśli projektowane rozporządzenie wejdzie w życie w obecnym kształcie, będzie miało silny efekt mrożący w kontekście aktywności politycznej młodych ludzi i eksplorowania przez nich własnej cielesności. Nie zwiększy jednak ich poczucia bezpieczeństwa w Sieci.

Zamiast pokładać nadzieje w niesprawdzonych i nieskutecznych algorytmach sztucznej inteligencji, zaufajmy całkiem realnej inteligencji osób, które chcemy chronić, dajmy im wiedzę, narzędzia i wsparcie niezbędne do zadbania o ich bezpieczeństwo. W Sieci i poza nią.