Ivan Bratko / »Politična zloraba umetne inteligence bi lahko porušila temelje demokratičnih procesov, kot jih poznamo«

Ivan Bratko, profesor računalništva na Fakulteti za računalništvo in informatiko Univerze v Ljubljani, je slovenski pionir raziskovanja umetne inteligence, v svetu pa velja za enega od utemeljiteljev strojnega učenja. Prve analize medicinskih podatkov z uporabo strojnega učenja je izvajal med prvimi v svetu že na začetku osemdesetih let prejšnjega stoletja, ko je bilo strojno učenje še izrazito robna, eksperimentalna veja računalniške znanosti. Čeprav ko razmišlja o potencialih umetne inteligence, še zdaleč ni pesimist, ki bi opozarjal le na pogubno moč novih tehnologij, ga že dobro desetletje močno skrbi možnost zlorabe umetne inteligence, posebej v politične namene. Ta bojazen je z vzponom naprednih jezikovnih modelov dobila popolnoma nove razsežnosti.

Kakšen potek razvoja umetne inteligence ste predvidevali v osemdesetih letih, ko je bila ta tehnologija še v povojih? Ste takrat slutili, da bo umetna inteligenca postala tako zmogljiva, kot je danes?

Pravzaprav nismo vedeli, niti nismo mogli vedeti, a vseeno lahko rečem, da zadeva zdaj deluje bolj posrečeno in uspešno, kot smo sprva predvidevali. Izraz umetna inteligenca zajema ogromno področij, a če govoriva specifično o strojnem učenju, lahko povem, da je bilo v času, ko sem se začel ukvarjati s tem, to v znanstveni skupnosti videno bolj kot nekakšna eksotika, kot neka zanimiva zamisel. Dobršen del največjih avtoritet v znanosti ni zares verjel v moč strojnega učenja.

Ko sem prišel v stik s prvim uporabnim programom za strojno učenje, sem z njim začel eksperimentirati in ga uporabljati med drugim za medicinsko diagnostiko. Imeli smo srečo, da smo sodelovali z zdravniki iz Kliničnega centra v Ljubljani, prek katerih smo prišli do konkretnih podatkov. Prve poskuse analize medicinskih podatkov z uporabo strojnega učenja smo izvajali že ob koncu sedemdesetih let. Prepričan sem, da je bila to prva aplikacija strojnega učenja na realnih medicinskih podatkih v svetu. Bili smo popolnoma fascinirani in osupli, ko smo ugotovili, da je ta naš preprosti program za strojno učenje, ki je bil sestavljen le iz kakšnih dveh, treh strani programske kode, že takrat diagnosticiral točneje kot zdravniki specialisti. Že kakšni dve leti kasneje se je pojavila vrsta laboratorijev, ki so poročali o podobnih rezultatih. Danes ni več nobena novica, da je umetna inteligenca na nekaterih področjih prekosila človeško, za tiste čase pa je bil to tako prelomen dosežek, da je bil skorajda nezaslišan: predvidevali smo, da bo že na začetku osemdesetih let mogoča množična raba umetne inteligence v medicini, a pravzaprav se to dogaja šele zdaj.

Kako si razlagate tako dolg odlog? Kako se je na vaše eksperimente takrat odzvala stroka? 

Na naše veliko presenečenje zdravniki nad tem niso bili navdušeni: sprva so z nami z veseljem sodelovali in nam pošiljali podatke, ko pa je bilo iz številk jasno, da računalnik doseže večjo točnost kot oni, jim to ni ustrezalo, v njihovih očeh se je pojavila senca dvoma in njihovo navdušenje nad našim projektom je splahnelo. Zdravniki bi morali biti prepričani o uporabnosti te tehnologije, klima bi morala biti drugačna, vendar smo bili tisti, ki smo se ukvarjali s strojnim učenjem, res dolgo na obrobju znanstvene skupnosti. Tudi nekateri raziskovalci s področja računalništva in umetne inteligence so bili izjemno skeptični. Številni vodilni laboratoriji, recimo Stanford in MIT, so umetno inteligenco razvijali v druge smeri in celo njihov odziv na naše delo, torej na strojno učenje, je bil odklonilen, češ da je to le simpatična zamisel, ne pa nekaj, kar ima potencial za resno praktično rabo.

Spomnim se, kako so leta 1985 na neki ugledni konferenci sodelujoče povabili, naj predstavimo tisto, kar se nam pri umetni inteligenci zdi najzanimivejše. Ko sem predstavil izsledke naših raziskav uporabe strojnega učenja v medicini, je neki ugledni nemški matematik rekel, da takšne neumnosti, kot je naša zgodba, še ni slišal. To je bila raven bontona, kakršne na tovrstnih konferencah ni bil nihče vajen, vsi prisotni v dvorani so obnemeli, mene pa je kar zmrazilo. Odločil sem se, da bo najbolje, če se le lepo nasmejem, kolikor lepo se je bilo mogoče v tistem trenutku sploh nasmejati. Nato je predstavil svoje argumente, zakaj naj bi bilo to matematično nemogoče, jaz pa sem predstavil svoje. Povedal sem, da je treba upoštevati, da številne kombinacije, ki so matematično mogoče, niso mogoče biološko. Nekateri so verjeli meni, nekateri njemu in trajalo je še zelo dolgo, več kot desetletje, da je stroka začela strojno učenje jemati resno. No, nazadnje je sledil popoln preobrat in strojno učenje je postalo paradna komponenta umetne inteligence.

Ko sem se začel ukvarjati s strojnim učenjem, je bilo to v znanstveni skupnosti videno kot nekakšna eksotika, le kot neka zanimiva zamisel. Dobršen del avtoritet v umetni inteligenci ni zares verjel v moč strojnega učenja.

Danes se je ta miselnost že popolnoma spremenila, kajne? Tudi medicina veliko upov polaga v umetno inteligenco, še posebej se poudarja njena zmogljivost pri pospeševanju razvoja novih zdravil. 

V reviji Nature sem leta 2020 naletel na članek, v katerem neki newyorški onkolog razlaga o primeru mlade pacientke, ki ji je postavil diagnozo in predpisal neko zdravljenje. Potem je svoje odločitve preveril še z računalnikom oziroma umetno inteligenco, ta pa je ugotovila, da to zdravljenje v tem primeru ne bo prava izbira, da bo lahko za pacientko celo usodno, zato je spremenil postopek in izbiro zdravil. Pacientka je nazadnje ozdravela – konec dober, vse dobro. Skratka, nauk zgodbe je, da lahko do najboljših rezultatov pridemo s sodelovanjem med stroko in umetno inteligenco: stroj v znanosti ne more izpodriniti človeka, lahko pa je v človeških rokah to zares koristno orodje. Kombinacija človeške in umetne inteligence doseže najboljše rezultate. Imate prav, da se zdaj že resno upošteva potencial umetne inteligence na vseh področjih, tudi v medicini, a pravzaprav ima to že nasprotni učinek: zdaj je zaupanje v to, kaj vse bodo za nas rešili računalniki, že preveliko. Zadeva je zanihala v drugo skrajnost.

Menite, da so bili zdravniki do izsledkov vaših zgodnjih raziskav zadržani zaradi strahu pred tem, da bi jih lahko na dolgi rok izpodrinil računalnik, ali je šlo preprosto za nezaupanje v nove tehnologije? 

Šlo je za mešanico obojega. Računalniki nasploh še niso bili tako razširjeni, splošna populacija in tudi zdravniki jih še niso znali množično uporabljati, infrastruktura še ni bila pripravljena za tako radikalne premike. V igro so tukaj vstopili tudi močni čustveni odzivi: po nekem mojem predavanju je k meni pristopila znana zdravnica in mi v zelo čustvenem tonu razložila, da je zanjo preprosto nesprejemljivo, da bo njenemu pacientu neki bedasti računalnik postavil slabo diagnozo, saj morajo biti takšne zadeve stvar medčloveških odnosov oziroma odnosa med zdravnikom in pacientom. Seveda so bili ključni tudi drugi razlogi: zdravniki so izhajali iz prepričanja, da sta pri njihovem poklicu potrebni kreativnost in intuitivnost, s katerima pridejo do diagnoze. Ko pa računalnik postavi točno in pravilno diagnozo, to nekako izpodbije tezo, da je postavljanje diagnoze stvar dobre intuicije, ki na neki ravni izhaja iz nečesa skorajda podzavestnega in nerazložljivega. Ko do točnejšega rezultata prideš z računskim postopkom, to pomeni, da delo zdravnikov ni več nekaj magičnega, to pa je bilo za nekatere seveda neprivlačno.

A tudi če lahko intuitivno in kreativno odločanje skrčimo na računske postopke, s tem zares ne razblinimo »magije«, o kateri govorite. Merim na to, da so sistemi umetne inteligence tako zapleteni, da celo vi, največji strokovnjaki, preprosto ne morete razumeti, kako delujejo. Nimate namreč vpogleda v to, zakaj se je sistem v nekem trenutku odločil točno tako, kot se je, saj se ti sistemi učijo naloge opravljati sami. 

To drži. Temu pravimo »problem črne škatle«. Poznamo več metod strojnega učenja, najbolj črne škatle med njimi pa so tako imenovane nevronske mreže. Večja ko je ta mreža, manj nam je razumljiva, bolj črna je torej škatla. Glavna težava nevronskih mrež je v tem, da se učijo prek kombiniranja neizmerno velikih števil numeričnih vrednosti. Govorimo o stotinah milijard, pri najnovejši verziji jezikovnega modela ChatGPT celo o več tisoč milijardah, torej o bilijonih parametrov, čeprav je res, da različni viri navajajo različne ocene. Če bi vse te številke, ki poganjajo tako velike jezikovne modele, kot je nova različica modela ChatGPT, natisnili na list formata A4 in te liste zložili drugega ob drugega, bi s tem kupom papirja prišli od Zemlje do Lune in nazaj. To je zgovorna metafora, ki nam pomaga dojeti, da je pravzaprav nemogoče razumeti, zakaj se ti veliki jezikovni modeli odločijo, kot se.

Govoriva o tem, da se računalniki odločajo, da se sami učijo, da postavljajo hipoteze in podobno – kot bi imeli razvito zavest. Zakaj se pri razmišljanju o teh strojih nagibamo k temu, da jim pripisujemo človeške lastnosti? 

Tako je predvsem zaradi naše rabe jezika. Ko se neki izračun opravi na računalniku, to formuliramo tako, da je računalnik nekaj izračunal. K tovrstni antropomorfizaciji strojev smo nagnjeni preprosto zato, ker njihovo delovanje razlagamo z izposojo izrazov, ki jih sicer uporabljamo pri opisovanju delovanja človeka in medčloveških odnosov. Ko rečemo, da je računalnik nekaj začutil, s tem mislimo, da je s tipali zaznal neko informacijo. Izposodili smo si besedo, ki ima jasen pomen v človeški komunikaciji, njen pomen smo prenesli na stroje, še vedno pa je jasno, da so ti stroji vseeno le stroji, ki seveda ne čutijo. Ko recimo pri šahu rečemo, da je računalnik z neko potezo zmagal, to vsekakor ne pomeni, da računalnik občuti kakršnokoli zmagoslavje.

Pri strahovih pred tem, da bi umetna inteligenca razvila lastno zavest, gre torej za popolnoma nestvarne zamisli, ki izhajajo predvsem iz znanstvenofantastičnih konceptov?

Vsekakor. Tudi sama zavest je dokaj ohlapno definiran pojem, ki se ves čas spreminja. O tem filozofi razglabljajo že stoletja in svojih idej niso poenotili v neko splošno sprejeto definicijo. Zavest je koncept, ki različnim ljudem pomeni različne stvari. Pri vprašanju umetne inteligence bi to kompleksno vprašanje omejil kar na to, da imajo lahko zavest le živa bitja, stroji pa enostavno ne.

Do najboljših rezultatov pridemo s sodelovanjem med človeškim strokovnjakom in umetno inteligenco. Stroj v znanosti ne more izpodriniti človeka, lahko pa je v človeških rokah to zares koristno orodje.

Kljub temu številni strokovnjaki opozarjajo na poguben potencial teh tehnologij, pri čemer pogosto izhajajo iz strahov, da bo umetna inteligenca človeku ušla izpod nadzora.

Ljudi bremeni prastrah pred novimi tehnologijami. Zgodovina je večkrat pokazala, da se nagonsko bojimo novih izumov, hkrati pa namiguje na to, da se vsi ti strahovi tako ali tako rešijo sami od sebe, a v tem preti velika nevarnost. Pri umetni inteligenci se ne smemo zanašati, da se bo to uredilo samo od sebe. Prizadevati si moramo za nadzorovanje in neko omejevanje teh tehnologij, saj so lahko izjemno nevarno in učinkovito orodje, ki ga je mogoče zlorabiti, na primer pri vplivanju na demokratične procese: z uporabo teh tehnologij se lahko normalni demokratični procesi popolnoma izrodijo. Tukaj moramo biti izjemno pazljivi ter s strogimi protokoli in omejitvami zagotoviti, da se to ne bo zgodilo.

Uničujoči potencial umetne inteligence je torej predvsem v možnosti, da jo ljudje zlorabijo v politične namene?

Zloraba v politične namene je le ena možnost. Zelo enostavno si je predstavljati, kako ljudje to tehnologijo izkoristimo v namene, ki so nelegitimni, nezakoniti ali etično in moralno nesprejemljivi. Zelo verjeten scenarij je tudi, da umetna inteligenca prevzame oblast spontano, ko človek meni, da to tehnologijo uporablja v dobro človeštva, zaradi netransparentnosti delovanja umetne inteligence pa se to popolnoma izrodi in vse skupaj privede do delovanja, ki je človeštvu v izrazito škodo.

Umetna inteligenca je dolgo veljala za področje, kjer se dogaja ogromno zanimivih in vznemirljivih stvari, vendar nič usodnega. Spomnim se večerje z nekaj kolegi iz stroke pred točno desetimi leti, na kateri je Stuart Russell, eden od britanskih pionirjev raziskovanja umetne inteligence, izrazil skrb, da je umetna inteligenca postala tako sposobna, da že posega v naše življenje in v tolikšnem obsegu spreminja našo resničnost, da se moramo spraševati o tveganjih in etičnih vprašanjih, ki jih lahko prinese ta tehnologija. Kot najbolj kočljiv problem je poudaril vprašanje avtonomnega orožja, torej orožja, ki se samo odloči, ali bo napadlo ali ne, pri čemer naj bi človeka razbremenilo krivde, ko tovrstno orožje denimo ubije koga nedolžnega. Skratka, najbolj ga je skrbela militaristična zloraba teh tehnologij, v meni pa so se že takrat rojevali strahovi pred politično zlorabo umetne inteligence, ki bi lahko porušila temelje demokratičnih procesov, kot jih poznamo. Ko me je to skrbelo pred desetimi leti, sem bil še v manjšini, danes je to postalo vroča tema.

Zdaj je resno upoštevan potencial umetne inteligence tudi v medicini, vendar ima to že nasproten učinek. Zaupanje v to, kaj vse bodo za nas rešili računalniki, je postalo preprosto preveliko.

Kako konkretno bi lahko umetna inteligenca ogrozila demokracijo? Gre tukaj predvsem za nevarnost hiperprodukcije prepričljivih propagandnih vsebin in zmogljivost jezikovnih modelov pri širjenju dezinformacij? 

V povezavi z umetno inteligenco poznamo veliko različnih strahov, tudi na primer strah, da bodo roboti z vojaško silo prevzeli oblast, a resnično menim, da to ni prav verjeten scenarij. Prisoten je denimo strah pred pojavitvijo neke superinteligence, pri katerem strokovnjaki pogosto govorijo o pojavu »tehnološke singularnosti«, ki označuje točko, ko umetna inteligenca preseže človeško. Nekateri so spekulirali, da bo ta točka pomenila katastrofo, da bo to začetek konca človeštva, a tudi ti strahovi so slabo utemeljeni. Nobeden od teh prerokov namreč ni definiral, kako bomo sploh vedeli, da je napočil trenutek, ko je umetna inteligenca presegla človeško. Inteligenca je sestavljena iz mnogih komponent in v nekaterih je umetna inteligenca že presegla človeško, v nekaterih je še ni, v nekaterih ni videti, da bi jo bila kadarkoli sploh zmožna preseči. Navsezadnje se tukaj pojavi tudi vprašanje, zakaj bi bilo za človeštvo pravzaprav usodno, če bi umetni inteligenci uspelo v vseh komponentah preseči človeško. Sam menim, da to sploh niso tako ključna vprašanja: ena od resnih nevarnosti preti v tem, da se bodo morali politiki pri odločanju zanašati na umetno inteligenco, ki pa pri doseganju nekaterih ciljev nima dovolj učinkovitih etičnih načel ali varoval. Pri tem njenih odločitev ljudje – uporabniki – ne bodo dobro razumeli in jih ne bodo mogli preveriti.

Zakaj je to tako nevarno? Gre za skrb, ki ste jo izrazili v nedavnem intervjuju za Radio Slovenija, ko ste rekli, da bo »na volitvah zmagal tisti, ki bo imel boljši jezikovni model«? Kako konkretno bodo lahko jezikovni modeli in umetna inteligenca pravzaprav vplivali na izide volitev? 

Leta 2015 sem imel na SAZU predavanje o tem, razmišljanje pa sem ponazoril z izmišljeno zgodbo, v kateri nastopa neki čisto benigen strokovnjak po imenu Wilson, ki ima čisto dobre namene in nevprašljive cilje. Zavzema se na primer za bolj ekološko ravnanje, za povečanje ekološke pridelave hrane in podobno, hitro pa spozna, da se bo za dosego teh ciljev moral začeti ukvarjati s političnimi vprašanji. Pri tem se začne zanašati na program umetne inteligence, v tej zgodbi imenovan Watson. Watson mu svetuje, kako naj skrbi za odnose z javnostmi, za priljubljenost, za imidž in tako naprej. Svetuje mu, da bo najbolje, če ustanovi politično stranko, saj bo tako najhitreje prišel do cilja. Wilson sprejme nasvet in Watson vodi njegovo volilno kampanjo. Watson pri tem uporablja nerazložljivo umetno inteligenco, torej črno škatlo, ki se odloča, a ne zna razložiti, zakaj se je odločila tako. Računalnik Wilsonu svetuje, naj, če želi zmagati na volitvah, spremeni politični program svoje stranke, med drugim tako, da program postane bolj nestrpen do tujcev, saj si bo s tem na volitvah lažje zagotovil zmago. Čeprav je takšna drža v nasprotju z Wilsonovimi ideološkimi načeli, je zaradi tega v precepu, saj si na dolgi rok želi uresničiti svoje cilje, dosegel pa jih bo zgolj z zmago na volitvah, zato začne računalniku sčasoma popuščati. Nazadnje na volitvah dejansko zmaga, a v vmesnem času je na pobudo računalnika popolnoma spremenil politiko stranke, ta je zdaj v velikem nasprotju s prvotnimi cilji, vendar vseeno uspešno deluje. To je scenarij, v katerem umetna inteligenca na neki mehek način de facto prevzame oblast. Ključna nevarnost v tem scenariju je ravno ta nerazložljivost, torej problem črne škatle. Računalniku slepo zaupamo in odločitve prilagajamo njegovim ugotovitvam, čeprav ne vemo, kako točno je do njih prišel.

Bi morala zakonodaja, ki bo to urejala, denimo akt o umetni inteligenci, ki ga pripravlja evropski parlament, skušati preprečevati, da se te tehnologije uporabljajo za doseganje kakršnihkoli političnih ciljev? 

Tukaj je ključno vprašanje zlorabe osebnih podatkov, na podlagi katerih lahko računalnik v neki volilni kampanji vsakemu volivcu tarčno pove le tisti delček zgodbe, ki ga bo najbolj prepričal, to pa je pravzaprav izkrivljanje dejstev in čista manipulacija. Možnosti manipulacije ljudi v družbenih medijih z uporabo umetne inteligence postanejo neskončne, saj so ljudje izredno vodljivi. Sem član ekspertne skupine v organizaciji GPAI, General Partnership for Artificial Intelligence, kjer se ukvarjamo tudi s temi vprašanji. Eden izmed naših predlogov za regulacijo, ki bi te težave vsaj malo omilil, je detekcijski mehanizem, z rabo katerega bi bilo popolnoma transparentno, ali je neko vsebino ustvaril človek ali računalnik. To bi moral biti prvi korak k regulaciji umetne inteligence, ki res ni tehnično preprost, a je zelo bistven, saj bo sicer informacijsko okolje zasuto z vsebinami, za katere ne bomo vedeli, ali so resnične ali ne, ali jim lahko zaupamo ali ne. Čisto mogoč je scenarij, v katerem je recimo 99 odstotkov vsebin, ki so na spletu, računalniško generiranih, kar pomeni popolno informacijsko onesnaženje, zaradi katerega si nenehno bombardiran z informacijami, v katerih se enostavno ne moreš znajti, saj ne veš več, čemu sploh lahko zaupaš.

Skratka, ta detekcijski mehanizem v našem predlogu je kot nekakšen digitalni pečat, vgrajen v neko vsebino, ki je nastala z uporabo umetne inteligence. Tako lahko takoj prepoznamo, ali jo je ustvaril človek ali stroj. Tehnična izvedba tega je sicer zelo kompleksna in veliko vprašanje je, kako to izpeljati v praksi, vseeno pa me veseli, da je zahteva po tovrstnem mehanizmu zdaj zaradi naše pobude dejansko našla mesto v najnovejši različici predloga akta o umetni inteligenci.

Če bi vse te številke, ki poganjajo velike jezikovne modele, kot je ChatGPT, natisnili na liste formata A4 in te liste zložili drugega ob drugega v vrsto, bi z njimi prišli od Zemlje do Lune in nazaj.

Se vam zdi, da veliki jezikovni modeli in podobni sistemi generativne umetne inteligence že zdaj proizvajajo tako prepričljive vsebine, da vas brez takšnega pečatnega mehanizma zlahka pretentajo o svoji pristnosti?

S tem imam kar nekaj slabih izkušenj. Pogosto opravljam vlogo strokovnega recenzenta pri ocenjevanju člankov za znanstvene revije in konference in tudi pri najuglednejših revijah in konferencah v mojih rokah zadnje čase pristane kakšen članek, pri katerem se pojavi sum, da gre za ponaredek, ustvarjen z jezikovnim modelom. Potem si belim glavo, kako naj ugotovim, ali gre za potegavščino oziroma ponaredek, namesto da bi članek strokovno ocenjeval. Takšen članek sem dejansko že zavrnil, čeprav nisem imel jasnega dokaza, da gre za ponaredek, le občutek mi je ob nekaj zelo pretanjenih indikacijah govoril, da članek ni pristen. Pri vsem skupaj me najbolj jezi prav to, da moramo toliko časa in energije izgubljati le za razmišljanje, ali je nekaj ustvaril stroj ali človek. Bralec bi moral imeti pravico do informacije, ali komunicira s človekom ali z računalnikom. Močno upam, da bo direktiva o umetni inteligenci vsebovala to določilo, čeprav pot do tehnične izvedbe še ni jasna.

Ko sem preizkušal ChatGPT, ga ni bilo težko zmesti. Hitro je začel pretirano samozavestno nakladati in prodajati popolne izmišljotine, kot bi bile neizpodbitna dejstva. 

Verjetno ste preizkušali tisto osnovno verzijo, ki se je pojavila novembra lani. Ta je bila sicer zelo impresivna, a na neki točki je navadno naredila kakšno neumnost. Nova verzija, imenovana GPT-4, je bistveno boljša: med drugim je opravila vrsto strokovnih izpitov in sprejemnih izpitov na pomembnih univerzah. Tudi največji poznavalci in razvijalci teh tehnologij, ki so bistveno prispevali k razvoju globokega učenja, so še lani vztrajno ponavljali, da so jezikovni modeli zelo omejeni, saj niso zmožni logičnega ali zdravorazumskega sklepanja, zato hitro naredijo kakšno neumnost in se izdajo. No, to je veljalo le do letošnje pomladi, do dneva, ko se je pojavil GPT-4. Takrat smo vsi, tudi največji skeptiki, lahko le osuplo strmeli. GPT-4 morda res nima vgrajenega nekega eksplicitnega mehanizma sklepanja, a v tej črni škatli v sodelovanju tega bilijona parametrov pride do nečesa, kar je enakovredno zmožnosti sklepanja. Razvili smo nekaj, kar je videti kot visoka oblika inteligence, pri čemer pa je seveda malce neprijetno in strašljivo, da ne vemo, kako in zakaj ta stvar tako dobro dela.