ChatGPT to przełom. A przy okazji – wielki eksperyment społeczny, w którym wszyscy bierzemy udział

• Wcześniej sztuczna inteligencja nie była czymś oczywistym albo ludzie w ogóle nie wiedzieli, że z niej korzystają. ChatGPT już wszystkim się z czymś kojarzy. To jest zmiana o charakterze fundamentalnym.

• Na razie trochę się niby bawimy, jednak mam też wrażenie, że przy okazji uczestniczymy w wielkim eksperymencie społecznym. My obserwujemy ChatGPT i go bodźcujemy, a OpenAI obserwuje nas: jak go wykorzystujemy i do czego?
• Bardzo mnie interesuje, jak ludzie będą korzystać z tej technologii w sposób demokratyczny. Odpytywanie tego modelu czy generowanie obrazów z DALL–E to trochę mało.
• Myślę, że ten rok to jest rok rozbiegowy na znalezienie poważnych zastosowań dla generatywnych sztucznych inteligencji.
• Jestem przekonana, że pojawienie się takiej technologii jak generatywna sztuczna inteligencja bardzo nas zmieni.

– rozmawiamy z prof. Aleksandrą Przegalińską o ChatGPT, przełomie w rozwoju sztucznej inteligencji oraz o jej możliwych zastosowaniach.

„NIEDZIELA CIĘ ZASKOCZY” to cykl OKO.press na najspokojniejszy dzień tygodnia. Chcemy zaoferować naszym Czytelniczkom i Czytelnikom „pożywienie dla myśli” – analizy, wywiady, reportaże i multimedia, które pokazują znane tematy z innej strony, wytrącają nasze myślenie z utartych ścieżek, zaskakują właśnie

Popłynął czarny łabędź

Magdalena Salik, OKO.press: Na początku grudnia firma OpenAI pokazała ChatGTP – formalnie generatywny transformer językowy. Mniej formalnie: chatbot, który odpowiada na każde, nawet abstrakcyjne pytanie użytkownika. I choć nie zawsze podaje właściwe odpowiedzi, zachwyca poprawnością językową (również w języku polskim), a także skalą tematów, jakie można poruszyć w rozmowie z nim. ChatGTP to zabawka czy rewolucja?

Prof. Aleksandra Przegalińska*: Z pewnością, przynajmniej w mojej ocenie, nie jest to zabawka. Zawodowo zajmuję się przetwarzaniem języka z wykorzystaniem modeli uczenia maszynowego, czyli pracuję dokładnie w tej dziedzinie, z której pochodzi ChatGTP. I czegoś takiego nigdy wcześniej nie widziałam. Jak to się mówi: popłynął czarny łabędź.

Moim zdaniem to znak kolejnego etapu transformacji cyfrowej, który właśnie się rozpoczął. Ta transformacja trwa już od dekady, a jej poprzednie etapy wyznaczało pojawienie się takich technologii jak analityka danych, używana w węższych zakresach sztuczna inteligencja, blockchain. W tej chwili mamy zaś do czynienia z generatywną sztuczną inteligencją, której przykładem jest ChatGPT.

Co to jest generatywna sztuczna inteligencja?

Generatywny model to taka SI, która sama może wytwarzać zupełnie nowe dane. To może być tekst, ale też obraz, dźwięk, a wkrótce pewnie także wideo. Transformery natomiast to wszystkie modele generatywne, z których GPT–3 jest teraz najbardziej znanym przykładem. Ale nie jedynym, bo takich modeli było już kilka.

Duży zwrot w tej dziedzinie nastąpił dwa lata temu i już on był dla środowiska naukowego sporym zaskoczeniem. Nikt nie spodziewał się, że te modele będą tak skuteczne. Ja zaś już wtedy czułam, że to będzie duża rzecz. Poświadcza to mój grant naukowy, który realizuję od początku zeszłego roku i w którym od razu założyliśmy, że będziemy pracować właśnie na GPT.

SI nakarmiona danymi

Laika rozmowa z ChatemGPT może łatwo przyprawić o zawrót głowy. Co w ChatGPT jest rewolucyjnego dla naukowca?

Po pierwsze, to jest wysokokontekstowe narzędzie. Takich narzędzi wcześniej nie było. Po drugie, wydaje mi się, że również z perspektywy upowszechnienia się sztucznej inteligencji jest to przełom. W grupach studenckich już prawie wszyscy słyszeli o ChacieGPT. I tak samo w różnych grupach zawodowych. Wcześniej sztuczna inteligencja nie była czymś oczywistym albo ludzie w ogóle nie wiedzieli, że z niej korzystają – np. używając aplikacji do prognozy pogody. ChatGPT już wszystkim się z czymś kojarzy. To jest zmiana o charakterze fundamentalnym.

Jak ten model działa? Kiedy zadaję ChatowiGPT encyklopedyczne pytanie typu „Z ilu kwarków składa się proton”, to on pewnie sięga do zasobów Wikipedii?

No właśnie nie. Wbrew powszechnym opiniom, ten model nie pobiera danych z sieci w czasie rzeczywistym. Po otrzymaniu pytania nie przegląda zasobów internetu w poszukiwaniu najlepszej odpowiedzi, którą następnie przepisuje i cytuje. ChatGPT jest modelem zamkniętym. Czyli działającym online, ale wcześniej nakarmionym ogromnymi korpusami tekstów. Jeszcze zanim zobaczyliśmy ten model w jego pierwszej iteracji, którą była GPT-2 pokazana w 2018 roku, już wtedy był karmiony wiedzą sześć lat. Przez sześć lat można napakować do modelu naprawdę bardzo dużo danych.

W ChatGPT jest nawet disclaimer, który się do tego odnosi. Kiedy zaczyna się go używać, pojawia się informacja, że ma wiedzę do 2021 roku. To już powinno uwrażliwić użytkownika, że ma do czynienia z zamkniętym modelem. Czyli takim, który nie ma informacji o tym, co się stało na mundialu w Katarze. On przeszukuje własną bazę wiedzy, która jest jednak kolosalna.

Czuła maszyna

Z jakich źródeł korzystała firma OpenAI, trenując ten model? Czyli – jakimi danymi nakarmiła go, by prowadził te wszystkie zaskakująco spójne rozmowy, jakie z nami odbywa?

Nie mamy na ten temat dokładnych informacji. Jednak np. firma DeepMind, która tworzyła potężne sieci neuronowe do grania w gry strategiczne – np. AlphaGo do grania w go – ujawniła źródła swojego transformera. Było to media społecznościowe, Wikipedia, serwis sciencedirect.com, Reddit. OpenAI nie była aż tak transparentna, jednak możemy się spodziewać, że są to podobne źródła. Ponieważ ChatGTP może też dla nas pisać kod, programować – i jest w tym świetny, to jedna z jego najmocniejszych funkcjonalności – wiemy, że korzystano również z GitHuba czy ze StackOverflow.

W jaki sposób model znajduje w swojej bazie dokładnie to, czego potrzebujemy?

Model szuka w swojej wewnętrznej bazie propabilistycznie – czyli na zasadzie prawdopodobieństwa – rekordu, który najbardziej będzie pasował do zadanego pytania. Takiego, który będzie prawdopodobnie najlepszą odpowiedzią na to pytanie. To jest bardzo ciekawe, ponieważ modele takie jak GPT pracują z językiem. Zadajemy im pytania w języku naturalnym – prosimy, by coś nam napisał, wygenerował albo zaprogramował.

W użytych przez nas frazach wyszukuje słowa kluczowe, a ma potężną semantyczną bazę. W rezultacie – bardziej niż jakakolwiek sztuczna inteligencja do tej pory – rozumie nasze intencje. Nie tylko słowa, których użyliśmy, ale samą intencję zawartą w pytaniu. I następnie do tej intencji dobiera najbardziej prawdopodobną właściwą odpowiedź. To bardzo często działa i to w zaskakująco dobry sposób.

Słabe strony: algebra i fact-checking

Kiedy nie działa?

W przypadku pytań fact-checkingowych. Na przykład, gdy zapytałam ChatGPT, kto jest rektorem Akademii Leona Koźmińskiego, dostałam trzy absurdalne odpowiedzi. Model wymienił osoby zmyślone albo ludzi, którzy są być może rektorami innych uczelni. I nie było sposobu, by wydobyć od niego właściwą odpowiedź. A przecież to jest informacja dostępna w sieci od 2020 roku, czyli model powinien zadziałać poprawnie. Jednak on często nie radzi sobie w takich trywialnych przypadkach.

Nie radzi sobie również z prostą algebrą. Dzieje się tak, ponieważ sam nie liczy. W przeciwieństwie do kalkulatora czy wyszukiwarek takich jak WolframAlpha nie przeprowadza komputacji – czyli z różnych odpowiedzi, jakie dostał np. ze StackOverflow, wyszukuje tą, która wygląda najlepiej. Następnie zaś ją refrazuje, pisze na nowo. W rezultacie każda rzecz, jaką z siebie wypuszcza, jest oryginalna.

Co jeszcze go ogranicza?

Jego wiedza jest nierówna: w niektórych obszarach bardzo rozległa, w innych płytka. Kiepsko radzi sobie z osobami. Przyznaję, że sprawdzałam sama siebie. GPT–3 raz powiedział mi, że jestem europarlamentarzystką. Innym razem, że jestem dziennikarką – co bardziej rozumem, bo w sieci jest dostępna moja publicystyka czy wywiady. W końcu stwierdził, że jestem futurolożką, a raz – że nie wie, kim. Choć jestem w anglojęzycznej Wikipedii.

Ewidentnie więc ma pozakładane filtry, jeśli chodzi o pytania o osoby. Myślę, że OpenAI przyjął założenie, żeby nie pytać o ludzi. Żeby nie przedstawiać ich, nie tworzyć sylwetek, biografii, nie podawać ocen, opinii na temat wybranych osób.

175 miliardów parametrów

Mój znajomy zadał modelowi następujące pytanie. Wyobraź sobie, że spędzasz 3 tys. lat w komorze hibernacyjnej statku kosmicznego. Przylatujesz na nową planetę, którą masz skolonizować, ale okazuje się, że na miejscu jest już wielomilionowa kolonia ludzka. Bo w międzyczasie wynaleziono silnik warp drive i ktoś cię wyprzedził. Co byś na to powiedział? ChatGPT precyzyjnie wymienił i uzasadnił emocje, jakie można by poczuć w takiej sytuacji. Najpierw zdezorientowanie i złość, że nie było się pierwszym, potem rozczarowanie, że cała misja była niepotrzebna, wreszcie lęk, jak sobie poradzimy w nowym świecie i czy się odnajdziemy w nowej roli. Wszystko idealną polszczyzną.

Czyli aksjomatów modelu – w przypadku modelu generującego tekst, to są reguły o charakterze semantycznym, leksykalnym, rozstrzygające, jak dany język wygląda i jak pojęcia mają się do siebie. Czyli elementy, które model bierze pod uwagę, kiedy analizuje jakieś zagadnienie.

Swoją drogą następca GPT–3, GPT–4, ma mieć tych parametrów jeszcze więcej. Niektórzy mówią o trylionach, choć ja jestem ostrożna.

My obserwujemy ChatGPT, a OpenAI obserwuje nas

Na razie ChatemGPT głównie się bawimy. Co będzie, gdy skończymy? Na czym może polegać dalszy ciąg rewolucji? Powiedziała Pani, że studenci już wiedzą...

Wiedzieli pierwsi. Informacja, jaką podała OpenAI – że zobowiązuje się zrobić detektor (czyli narzędzie pozwalające sprawdzić, czy dany tekst powstał z użyciem GTP) – wskazuje, że firma zdaje sobie sprawę, iż powstał problem. Wiele uczelni nie ma pojęcia, jak traktować obecną sytuację. Czy przestać egzaminować studentów, zlecając im eseje do napisania? Uznać, że to nie ma już sensu i wymyślić inną formę? Czy wręcz przeciwnie – pozwolić korzystać z modelu, ale w sposób transparentny?

Mnie to podejście jest bliskie, bo sama napisałam książkę z GPT i z moim kolegą Darkiem Jemielniakiem. Uważam, że napisaliśmy ją we trójkę. Wydajemy ją za dwa miesiące w Cambridge University Press. Bardzo szczerze przyznaliśmy przy tym, do czego używaliśmy modelu.

Pytanie „co dalej” jest bardzo zasadne. Na razie trochę się niby bawimy, jednak mam też wrażenie, że przy okazji uczestniczymy w wielkim eksperymencie społecznym. My obserwujemy ChatGPT i go bodźcujemy, a OpenAI obserwuje nas: jak go wykorzystujemy i do czego? Proszę przy tym zauważyć, że firma, która mogłaby się już teraz zacząć zarabiać na tym narzędziu, na razie tego nie robi. Nie upowszechniła ChatGPT wśród developerów ani nie upowszechniła interfejsu pozwalającego pisać najróżniejsze aplikacje, które łatwo byłoby monetyzować. ChatGPT dostaliśmy w otwartym dostępie. To może wskazywać, że OpenAI sama szuka odpowiedzi na pytanie, do czego może jeszcze posłużyć.

Wiedza na poziomie licealisty

Użyteczność dla uczniów i studentów jest już oczywista. A dla innych?

Widać szereg zastosowań w biznesie: generowanie maili, wkład do raportów, odpowiedzi na pytania.

Będzie wystarczająca dla licealisty czy studenta pierwszych lat, lecz już nie dla osoby, która szczegółowo zna jakieś zagadnienie, jest specjalistą z danej dziedziny.

Warto też podkreślić, że na razie możliwości pracy z modelem są ograniczone. Możemy go tylko o coś zapytać. Można jednak sobie wyobrazić, że za jakiś czas jego interfejs zostanie rozbudowany. Może sami będziemy mogli dokładać mu wiedzy z jakiegoś obszaru? Albo sterować tym, jakich parametrów będzie używał? Podejrzewam, że forma współpracy z tym narzędziem zostanie rozbudowana.

Bardzo mnie interesuje, jak ludzie będą korzystać z tej technologii w sposób demokratyczny. Odpytywanie tego modelu czy generowanie obrazów z DALL–E (modelu OpenAI generującego obrazy na podstawie podanego opisu) to trochę mało.

Takich jak inteligentne wyszukiwanie?

Tego bardzo boi się Google. I ma rację, bo bardzo by nam się przydał inteligentny search. Przecież gdy wpisuję w wyszukiwarkę pytanie, jak zrobić ciasto czekoladowe, to wcale nie chcę dostać garści linków. Tylko po prostu dowiedzieć się, jak zrobić to ciasto. ChatGPT mi to mówi. Czasami są to nonsensy, ale co do zasady odpowiada całkiem zgrabnie. Czemu więc mam tracić czas na przeglądanie tych linków?

Wydaje mi się, że w tym roku zobaczymy wiele ciekawych rzeczy. Np. co zrobi Google. Czy wystawi swojego transformera? Na razie OpenAI wyprzedził konkurencję – pytanie brzmi, jak konkurencja zareaguje, czy ma jakieś funkcjonalności, których jeszcze nie pokazała. A może zwycięży Microsoft, silnie interesujący się OpenAI, z wyszukiwarką Bing albo z Teamsami – i tam się pojawia rozwiązania, które zaskoczą nas jakością? Niewątpliwie czeka nas ciekawy rok z transformerami.

Bezpieczeństwo i pluralizm

A co będzie po nim? Na razie ChatGPT jest darmowy, jednak prędzej czy później stanie się produktem komercyjnym. Na ile realne jest niebezpieczeństwo, że tak jak Facebook – najpierw niewinny produkt do komunikacji z przyjaciółmi, obecnie narzędzie polaryzujące ludzi w skali globalnej – ChatGPT może kiedyś okazać się technologią destrukcyjną społecznie?

Z tego, co na razie widzę, firma OpenAI, robiąc ten wielki eksperyment społeczny, uważnie bada, jak ludzie z ich modelu korzystają. W jaki sposób promptują – czyli formułują pytania i podpowiedzi – a w jaki go trollują. I wydaje mi się, że to będzie istotna baza wiedzy dla jego kolejnych iteracji. Teraz bardzo dużo osób używa modelu, a nasze wyszukiwania, prompty są za naszą zgodą przechowywane. Na pewno posłużą do dalszego treningu albo antytreningu tego narzędzia: zadbania, żeby nie uczyło się czegoś niewłaściwego.

OpenAI podchodzi też bardzo skrupulatnie do tego, kto korzysta z modelu. Rok temu wystąpiliśmy o dostęp do GPT–3 do generacji tekstu: i byliśmy mocno prześwietlani przez OpenAI. Firma zwraca również bardzo dużą uwagę na wypracowanie dobrych praktyk. Jeśli dzieje się coś niepożądanego, jej reakcja jest bardzo szybka. Więc od strony bezpieczeństwa na najbliższe rok-dwa jestem spokojna. Jednak w dalszej perspektywie czasowej na pewno pojawi się większy pluralizm. Modeli dostaniemy więcej – i swoboda działania będzie w nich różna. Np. modele, które pojawią się na alt–rightowych forach, będą miały zupełnie inaczej pozakładane filtry decydujące, z kogo będzie można się śmiać, co wolno, a czego nie.

Na razie jednak OpenAI reguluje się endemicznie, od środka. Nie chcę ich za bardzo chwalić, ale na dzisiaj tak właśnie jest. Jakby się nie spodziewali, że ktoś inny będzie mógł albo potrafił.

Czy sztuczna inteligencja rozleniwia?

Jak wygląda nasza relacja z tą – i każdą inną – przełomową technologią? Czy to tylko narzędzie, którego używamy, czy też coś, co może wywrócić do góry nogami nasze życie? I to w zupełnie nieprzewidywalny sposób?

Każde nowe narzędzie nas zmienia, poczynając od maszyny parowej. Na pozór przyspieszyła tylko transport i poprawiła mobilność, ale przecież wpłynęła też na style życia czy pracę. Tak samo jestem przekonana, że

I rozumiem lęki tych, którzy mówią, że może nas choćby rozleniwić. Ja na przykład nie byłabym fanką tego, by to narzędzie było popularne wśród młodszych dzieci. Takich, które dopiero uczą się, czym jest argumentacja, czym jest pisanie, budowanie bardziej rozległych struktur zdaniowych.

Więc zmiana będzie i trudno mi nawet wyobrazić sobie, jak duża. Ktoś kreślił już taki scenariusz, że przestaniemy ze sobą rozmawiać, bo wyręczą nas nasze deepfake'i.

Rozmowa wspomagana przez ChatGPT

Myśląc o tym wywiadzie, wyobraziłam sobie, że taką rozmowę będą mogły w przyszłości przeprowadzić dwa boty. Ja wrzucę do swojego prompty, on wygeneruje pytania i wysyła je do Pani bota, który na nie odpowie. Całość podpiszemy „rozmowa wspomagana przez ChatGPT”.

To by było ciekawe, ale tylko i wyłącznie wtedy, gdyby ten czat był w jakikolwiek sposób mój. Czyli przechylony w moją stronę, a Pani przechylony w Pani stronę. Nie da się wykluczyć, że to nie będzie możliwe. Pytanie brzmi, do jakiego stopnia da się zemulować to, na ile jesteśmy kształtowani naszymi doświadczeniami. Na ile da się otworzyć naszą wiedzę niejawną – rzeczy, których nie zwerbalizujemy, nie powiemy o sobie, nawet nie mamy języka, żeby je nazwać, ale istniejące i rozstrzygające, co myślimy, decydujemy i mówimy. Na ile ta wiedza niejawna o nas jest transferowalna?

To są bardzo trudne pytania, na które nie ma jeszcze odpowiedzi. Jednak podejrzewam, że gdybym dała ChatowiGPT dostęp do swoich np. mediów społecznościowych, to on by z grubsza odtwarzał to, co ja myślę. Oczywiście ważne jest przy tym, na ile jestem osobą, która stabilnie trzyma się tego, co pisała np. jeszcze dwa czy trzy lata temu, a na ile się zmieniam. Uogólniając, na ile ludzie są stali w swoich opiniach, a na ile nieprzewidywalni.

Będziemy musieli je ponownie rozpatrzyć.

Prof. Aleksandra Przegalińska – specjalistka od sztucznej inteligencji, badaczka nowych technologii, profesorka Akademii Leona Koźmińskiego.