»Odločitev ne smemo prepustiti algoritmom in demagogom, temveč moramo razmišljati sami«

»Niti zavedamo se ne, kako zelo načeta je zadnja meja naše osebnosti«

Globalne korporacije izkoriščajo splet za preučevanje in usmerjanje našega razmišljanja in vedenja. Algoritmi analizirajo navade potrošnikov in oblikujejo potrebe po novih produktih. Socialna omrežja izpopolnjujejo tehnike, s katerimi nas priklepajo nase in odvračajo od resničnega sveta. Kapitalizem je razširil vsemogočni trg prek mej oprijemljivega sveta, zdaj pa išče načine za širitev prek zadnje neosvojene meje, v posameznikov um. Pravice, ki so bile še včeraj tako samoumevne, da se jih sploh nismo zavedali, so ogrožene. Prva med njimi je pravica do kognitivne svobode in avtonomije razmišljanja, pojasnjuje dekanja mariborske Pravne fakultete dr. Vesna Rijavec.

George Orwell je v romanu 1984 zapisal: »Nič ni bilo zares tvoje, razen tistih nekaj kubičnih centimetrov znotraj lobanje.« Je uporaba preteklika upravičena, smo z najnovejšimi tehnologijami, s katerimi korporacije vplivajo na naše razmišljanje in vedenje, že izgubili avtonomijo nad lastnim umom?

Zelo dober citat, ki ga moramo osmisliti. Kajti naš um mora ostati čim bolj zaščiten, da bomo lahko ostali razumni posamezniki, ki se lahko uresničimo pri svojem delovanju in s tem v povezavi z drugimi prispevamo k splošnemu napredku človeštva. Če ni osnovne odgovornosti in tudi čustvene inteligence, pa bo še tako briljanten um prej ali slej zašel.

Še posebej, če mu pri tem »pomagajo« elite in multinacionalke, ki razvijajo tehnologije za proučevanje in usmerjanje potrošniškega vedenja, kot so všečkanje, oglaševalski algoritmi in hekanje možganov.

Drži. Na žalost je že toliko možnosti za manipulacijo s posameznikovim umom, da zgolj najbolj ozaveščenim uspe ohraniti zdravo perspektivo. Povečini pa se že niti ne zavedamo več, kako zelo smo indoktrinirani. Kajti na naše misli vpliva toliko dejavnikov, da jih ne zmoremo nadzirati. Človeštvo je doseglo neverjeten napredek. Sama si v mladosti tudi v najbolj divjih sanjah nisem zmogla zamisliti, kako skokovit bo razvoj. Na področju preučevanja možganov smo sicer na začetku, pa vendar že neprimerno dlje, kot smo bili še pred nekaj leti. Že zdaj obstaja brez primere možnosti za dostop, zbiranje, izmenjavo in manipulacijo informacij iz človeških možganov. Posameznik se ne more več zanesti, da ne bo nihče vdrl v njegove misli. Naša zasebnost je že nekaj časa ogrožena, zdaj pa izgubljamo še zadnje nedotakljivo zatočišče, to je naš um. Zato so varovalke nujno potrebne, in to precej drastične.

Facebook razvija tehnologijo, s katero naj bi izločili tipkanje in neposredno povezali možgane z računalnikom, ki bi tako prejemal ukaze neprimerno hitreje. Algoritmi ugotavljajo vzorce našega mišljenja in oblikujejo oglase, s katerimi nam vzbujajo lažne potrebe. Nekdanji Googlov razvijalec Tristan Harris je razkril, da so iPhoni načrtovani tako, da spodbujajo odvisnost svojih uporabnikov. Katera od teh tehnologij četrte industrijske revolucije vas najbolj skrbi?

Vse, ki ste jih našteli, so po svoje nevarne. V prvi vrsti je najbolj sporno že samo dejstvo, da z njimi kdo posega v naš um brez naše vednosti in privoljenja. Vsak tovrsten poseg je problematičen in vprašanje je, kje je meja dopustnega. Ravno to je tisto, kar skuša razčistiti pravo. Ki pa mora najprej opredeliti, kaj točno sploh posameznik je in koliko ga določajo zunanji dejavniki, torej okolje in vzgoja, koliko pa je produkt genov in koliko ga vodi svobodna volja. Da slednjo premoremo, seveda ni dvoma. In če ti kdo odvzame to sposobnost samoodločanja, je gotovo zelo narobe. Zato je zelo pomembno, da se zavemo, da imamo pravico do nedotakljivosti lastnega notranjega sveta. Celotno pravo danes temelji na konceptu svobodne volje. Od tega je odvisna tudi krivda, ki jo lahko pripisujemo za določeno ravnanje. Če šibimo to predpostavko, postane vprašljivo celotno pravo, kot ga poznamo, s človekovimi pravicami vred.

To zajema znameniti pojem »kognitivne svobode«, ki bi jo po mnenju švicarskih znanstvenikov Marcella Ience in Roberta Adorna omorali vključiti v nabor temeljnih človekovih pravic.

Tako je. Poleg kognitivne svobode sta predlagala še določitev treh novih pravic, ki pa so pravzaprav že od nekdaj naše, vendar se jih doslej niti nismo zavedali. To so mentalna zasebnost, pravica do mentalne integritete in psihološka kontinuiteta. Pri tem sta avtorja nakazala dve možni usmeritvi. Po prvi je treba posamezniku zagotoviti svobodno ustvarjanje njegovega notranjega sveta. Torej tudi brez manipulacij in usmerjanja. Po drugi pa je dovolj že, da preprečimo vdore v njegovo mentalno integriteto.

Kakšne pa so lahko posledice tovrstnih vdorov?

V skrajnih primerih tudi izguba občutka za realnost. Ob poplavi vseh dražljajev in različnih podatkov se vse pogosteje dogaja, da ne moremo več ločiti pravih informacij od lažnih, preverjenih od nepreverjenih. Zato lahko ponotranjimo vsebine, ki sicer ne bi vzdržale kritične presoje. S tem je posamezniku in njegovi integriteti povzročena neizmerna škoda.

Potemtakem so tudi lažne novice in politične manipulacije resna kršitev pravice do avtonomije mišljenja?

Nedvomno. Zavedati se moramo, da imajo elite zmožnosti in seveda tudi motiv, da obvladujejo množico z manipulacijami. Pri čemer se tisti, ki so na tak način nadvladani, tega niti ne zavedajo.

Toda ta pojav je star toliko kot civilizacija sama. Manipulirali so že voditelji v antiki, manipulirali so machiavellisti v srednjem veku, v 20. stoletju pa je s pomočjo psihoanalize tehnike obvladovanja in usmerjanja množice elitam predstavil Edward Bernays.

Res je, toda tehnologija se je v zadnjih letih tako drastično izboljšala, da resno ogroža poslednjo mejo posameznikove svobode. Še vedno sem pod vtisom knjige ruskega misleca Sergeja Kara Murze, ki dokazuje, da poti nazaj pravzaprav več ni. In da razumen človek danes že težko verjame, da je svoboden. Vdor v njegove misli ni več nobena težava in to je tisto, kar nas mora skrbeti. Pa ne govorim zgolj o socialnem inženiringu. Na trgu je mogoče dobiti cel kup naprav za skeniranje možganov, ki pa so odprte za vdore in zlorabe. Obenem farmacevtska industrija ponuja vse več snovi, ki vplivajo na človekov intelekt in so lahko predpisane tudi proti njegovi volji. Takšen človek ni več svoboden, saj ne oblikuje več sam svojega notranjega sveta. Morda je res lahko koristno, če lahko pri nekom tako odpravimo določene patologije, lahko pa ga po krivici povsem uničimo in razčlovečimo.

Gre za določitev novih pravic, ki pa so pravzaprav že od nekdaj naše, vendar se jih doslej niti nismo zavedali. To so mentalna zasebnost, pravica do mentalne integritete in psihološka kontinuiteta.

Kaj konkretno torej pomeni, da imamo zagotovljeno kognitivno svobodo?

Na to vprašanje še ni enoznačnega odgovora. Pri vzpostavljanju pravnih standardov tehtamo med posameznimi pravicami in na podlagi realnih primerov sklepamo, v katerih primerih je ena nadrejena drugi. Pri tem se je treba zavedati, da je pravo vedno v zaostanku za tehnološkim razvojem. Šele ko pride do nekega preboja, ga lahko preuči in odloči, kakšne so njegove posledice ter ali jih je treba omejiti. To pa traja nekaj časa. Pri resnično velikih spremembah pa se lahko celo zgodi, da pravo spozna, da bo moralo spremeniti svojo osnovno paradigmo in da bo treba začeti razmišljati povsem drugače. Morda bomo že v bližnji prihodnosti spoznali, da so koncepti, ki so nekdaj veljali za nedotakljive, zastareli in neuporabni, in bomo prisiljeni na novo premisliti in opredeliti tako posameznika kot sistem, predvsem pa bomo redefinirali razvojne cilje naše skupnosti. Ti so lahko skupni, lahko pa so cilji nekih privilegiranih družbenih skupin, ki imajo moč in denar.

Saj prav to je zdaj težava – globalne multinacionalke, ki uvajajo tehnologije skeniranja in hekanja možganov, usmerjajo potrošniške potrebe in razvijajo umetno inteligenco in nanotehnologije, imajo več kot dovolj moči, da ugrabijo družbo. Imate pravniki dovolj moči in integritete, da se jim postavite po robu in omejite njihov vpliv?

Ne smemo biti naivni in verjeti, da je pravo nekaj, kar je nad sistemom in neodvisno od politike. Dejstvo je, da pravo ustvarja politika in zamejuje morala. Tisti, ki imajo oblast, bodo imeli več besede pri oblikovanju predpisov. Če imamo na čelu družbe absolutista, bo uvedel oktroirano ustavo in razpustil parlament. Če imamo demokracijo, pa se lahko izoblikujejo rešitve, ki so bolj pravične. Vsekakor je pravni ideal oblikovanje predpisov, ki bi služili čim večjemu številu ljudi in ne določenim izbrancem.

Bojim se, da je odvzem posameznikove kognitivne svobode zdaj postal osrednja tendenca kapitalizma. Zdi se, da je ta z globalizacijo izčrpal fizične meje trga, zato se širi nad meje uma. Znotraj teh pa so možnosti za izkoriščanje praktično neomejene. In bojim se, da ga pravo kot dogmatična, na trdnih definicijah opredeljena veda tukaj ne bo zmoglo omejiti.

Vsaka oblika napredka prinaša s seboj svetli in črni scenarij. Sama verjamem, da na koncu prevlada želja po preživetju vrste in da nas ta vodi, da se poenotimo v skladu z neko osnovno moralo in etiko. Zato verjamem, da se bo organizirala celotna mednarodna skupnost in dosegla uveljavitev pravic, ki jih predlagata Ienca in Adorno – seveda na čelu s pravico do kognitivne svobode. Treba jih je na novo jasno opredeliti in sprejeti zaveze o spoštovanju, ki bodo veljale za vse ali pa vsaj za večino svetovnih držav. Pri vrsti vprašanj, ki jih porajajo nove tehnologije, se ti procesi že odvijajo – na primer pri dilemah glede umetne inteligence, ki se poskušajo obravnavati na globalni ravni. Evropska unija pri tem igra pomembno vlogo, saj so določeni izmed njenih voditeljev prepoznali tako izzive kot potenciale četrte industrijske revolucije. Je pa res, da je odločevalski proces v evropski integraciji v veliki meri prepreden z lobisti korporacij in industrijskih združenj. Sploh pa je zamejevanje moči nekega subjekta v družbi primarno politično in ne pravno vprašanje. Državljani morajo biti tisti, ki morajo v razmerah demokratične politične ureditve prevzeti pobudo. Pričakovati zaščito od nekih zunanjih dejavnikov, v tem primeru pravne stroke, je nekoliko naivno.

Pri čemer bi bilo seveda krivično trditi, da nove tehnologije ne prinašajo tudi splošnega napredka in izboljšanja življenjskega standarda. Kako torej oblikovati predpise, ki nam bodo zagotavljali varnost pred posegi v našo duševnost, obenem pa ne bodo omejevali napredka in kreativnosti?

Treba je najti ravnotežje med vrednotami napredka in dobrobitjo posameznika. To ravnotežje je ključnega pomena. Kajti nikakor ne smemo izpustiti priložnosti za razvoj, nemara celo kar rešitev človeške vrste. Kljub vsemu moramo v tehologiji najprej videti zaveznika, ki lahko skrajša delovni čas in obremenitve delavcev, zmanjša porabo energije, olajša izbiro optimalnega produkta in pomembno izboljša naše zdravje in splošni življenjski standard. Dober primer je dogajanje okoli genetskega inženiringa, s katerim lahko izkoreninimo vrsto hudih bolezni, obenem pa odpira polje za zelo nevarne zlorabe. Pri določanju mej med enim in drugim polom se pravo naslanja na celo vrsto drugih znanosti, ki mu pomagajo opredeliti osnovne standarde. V konkretnih primerih zato sodelujemo na primer z medicinskimi izvedenci, ki lahko povedo, kakšna škoda ali korist je bila povzročena nekomu.

Kaj pa, ko se posameznik sam odpove svoji avtonomiji? Ko bodisi zaradi mentalne lenobe ali užitka prepusti tehnologiji svoj miselni proces, kot se to dogaja na primer pri virtualnem seksu ali pretiranem igranju računalniških iger?

V pravu poznamo načelo »Volenti non fit injuria« – torej, če si sam tako hotel, potem se ne moreš pritoževati. Kljub temu so nekatere temeljne pravice nedotakljive in se jim ne moremo docela odpovedati. V vsaj nekaterih primerih, o katerih govorite, verjetno lahko govorimo o vsiljeni odpovedi pravice do kognitivne svobode. Vprašanje pa je, ali je to dopustno ali ne. Od posameznika do posameznika je drugače; nekateri so bolj stabilni, drugi so bolj nagnjeni k manipulaciji in odvisnostim. Imamo pa tudi produktno odgovornost, ki pomeni, da podjetja odgovarjajo za posledice, ki jih ljudem in družbi povzročijo njihovi produkti. Če korporacija vnaprej ve, da bo s svojo tehnologijo povzročila odvisnost in druge zdravstvene ali mentalne težave, je za to pred zakonom odgovorna. Po teh načelih so bile izterjane velike odškodnine na primer od tobačne industrije. Verjetno bi podobno lahko veljalo tudi za druge industrije, ki bi dokazano škodile potrošnikom.

Bi v primerih dolgotrajne in velike izpostavljenosti kršitvam kognitivne svobode lahko že govorili o zmanjšani prištevnosti? Oziroma – koliko sem še jaz sam in samostojno sprejemam odločitve, ko surfam po spletu, prebiram Facebook, gledam YouTube in igram igrice, koliko pa me usmerjajo algoritmi?

Prag prištevnosti je precej težko določiti. Saj vidite, da se ob odmevnih sodnih primerih izvedenci pogosto ne morejo zediniti o tem; za enega je bil storilec popolnoma prišteven, za drugega pa sploh ne. Kdo je tisti, ki se v zadostni meri zaveda zunanjega sveta? In kolikšna je ta mera? Imamo neko povprečje, neke splošne standarde, na podlagi katerih se presoja, a končni odgovor je drugačen od primera do primera. Razumem, da nas je strah, da se bomo izgubili v Matrici. Oziroma, še huje, da smo se že. Obenem nove tehnologije korenito spreminjajo tisto, kar smo včasih pojmovali kot »jaz«. Na nezavedni ravni smo vsakodnevno tarče različnih vplivov, ki jih omogočajo zlasti informacijske tehnologije in psihološki prijemi. Naloga prava pa je, da preprečuje morebitne zlorabe, ki bi jih v lovu za dobičkom zagrešila podjetja. Bojim pa se, da bo izhodišče, ki ga bodo uporabili za določanje te meje, neki standard povprečnosti v družbi. Torej, koliko odstopamo od ustaljenih vzorcev obnašanja.

Na žalost je že toliko možnosti za manipulacijo s posameznikovim umom, da zgolj najbolj ozaveščenim uspe ohraniti zdravo perspektivo.

Kot ste rekli sami, pravo še zmeraj caplja za tehnologijo.

Že, vendar zamuda ni tako usodna. Sama ocenjujem, da so nove človekove pravice, ki jih predlagata Ienca in Adorno, že nekoliko zajete v klasičnem naboru, ki smo ga uporabljali doslej. Tudi slovenska ustava zagotavlja pravico do zasebnosti in do osebne integritete; slednjo sicer predpisuje predvsem kot nedotakljivost telesa, toda vendarle že naš pravni sistem očitno vsebuje neke nastavke za sankcioniranje posegov v posameznikove meje.

Torej je kognitivna svoboda po vašem že ustrezno opredeljena v slovenskih predpisih?

Ne povsem, ker se venomer pojavljajo nove možnosti za njene kršitve, ki pa še niso zajete v zakonih. Vendarle pa imamo opredeljene osnovne pravice, na primer do svobode mišljenja, ki deloma sovpadajo s kognitivno svobodo. Imamo nedotakljivost posameznika, imamo enakost pred zakoni, varstvo osebne integritete pred posegi ... In to bi se že dalo razlagati v smislu standardov, o katerih govorita Ienca in Adorno. Seveda bi bilo smiselno konkretneje opredeliti nekatere pravice. Ni pa tako zelo kritično, kot se morda zdi na prvi pogled. Pomembno je, kako se bodo obstoječe pravice v prihodnje interpretirale. Tu ima zelo veliko vlogo ustavno sodišče.

Ampak kako lahko sploh neka država s svojimi zakoni omeji globalne igralce in globalne trende, ki jih je za nameček težko zaznati in opredeliti? Kako lahko mala Slovenija stopi na prste neulovljivi korporaciji, za katero se sploh ne ve točno, kje ima sedež in kaj natančno počne s potrošniki?

To je povsem mogoče že na podlagi obstoječih predpisov. Poglejmo samo tožbe proti Googlu in Facebooku na sodišču EU v Strasbourgu ter tudi na različnih nacionalnih sodiščih po Evropi. Tudi multinacionalke niso nedotakljive. In kršitve kognitivne svobode niso zunaj dosega našega pravnega sistema.

Zakaj pa potem ne preganja širjenja lažnih novic, ki so preplavile slovenski splet in za katero ste sami dejali, da pomeni poseg v avtonomijo posameznikovega razmišljanja?

Ker ni dovolj, da vsi vemo, da je nekaj v neskladju s predpisi. Treba je spremljati te reči in določiti, kako je bila ljudem povzročena škoda in kolikšna sploh je. To pa v teh primerih še zdaleč ni preprosto. Se pa da. Tudi na spletu se manipulatorji ne morejo povsem skriti. Jih je pa naporno odkrivati, ker je internet tako ogromen, njihovo delovanje pa zakrito. Toda kjer je volja, je tudi pot.

Potemtakem slovenski potrošniki z vidika naše pravne ureditve že lahko tožimo na primer Facebook zaradi manipulacij z všečkanjem in analiziranja našega mišljenja?

Seveda. Vse se da, ne pa nujno tudi brez težav. Kot rečeno, posameznik s svojimi sredstvi in časom zelo težko nastopa proti korporacijam, ki imajo na volje ogromne vsote denarja, vrhunsko tehnologijo in cele vojske najboljših odvetnikov. Zato še enkrat poudarjam, da je, kljub temu da imamo dobro ustavo, posodobitev predpisov vendarle potrebna. Slovenski zakonodajalci še zmeraj kolebajo med hitrim odzivom, s katerim bi med prvimi v svetu postavili neke standarde, ter čakanjem na druge. Vlada je med drugim imenovala digitalnega glasnika, dr. Marka Grobelnika, ki smo ga že gostili tudi pri nas v Mariboru, in oblikovala medresorsko skupino za vprašanja sodelovalnega gospodarstva. Nekaj se torej na področju novih praks že dogaja, še veliko pa se mora postoriti. Tukaj mislim predvsem na uzakonjanje kognitivne svobode, po kateri me sprašujete.

Kaj pa fakulteta, kako opremljate študente za reševanje teh dilem?

Naša fakulteta ima na tem področju jasno strategijo, v skladu s katero pravzaprav vsi pedagogi raziskujejo nove tehnologije, ki jih tudi v največji meri vključujejo v sam izobraževalni proces. Skupaj s fakulteto za elektrotehniko in računalništvo razvijamo nove programe, s katerimi bomo študentom omogočili razumevanje sodobnih procesov, v študij vključujemo tudi umetno inteligenco. Tako bomo vzgojili generacije pravnikov, ki bodo zmogle odgovoriti na izzive četrte industrijske revolucije.

Še eno področje je s pravnega vidika posebej občutljivo – umetna inteligenca. Kako jo sploh opredeliti, kakšne pravice naj uživa, kako jo omejiti?

Umetna inteligenca oziroma njena predstopnja je v pravu že prisotna pri sestavljanju pogodb, razvoju procesnega prava in delovanja sodišč – na primer elektronsko vročanje in elektronski dokazi ...

Sedaj pa pravosodno ministrstvo razmišlja še, da bi algoritmi pomagali razsojati pri kazenskih zadevah. Bo umetna inteligenca po sodiščih nadomestila vaše študente?

Ne. Na trgu delovne sile lahko resda pričakujemo prerazporeditev poklicev – nekateri bodo izginili, nekateri bodo izgubili pomen, drugi ga bodo pridobili in tretji bodo nastali na novo. A vsaj v pravu strah pred izgubo delovnih mest ni utemeljen. Sojenje je namreč večplastna operacija, ki jo lahko izvede le človek. Ker je poleg logičnega sklepanja sposoben tudi empatije in spremljanja in vrednotenja čustvenih odzivov, česar stroj ne zmore. Sodnik mora v tridesetih dneh spisati obrazložitev sodbe, v kateri mora razkriti svoj miselni proces in potek sprejemanja odločitve. Algoritem tega ni sposoben. Umetna inteligenca je zato lahko zgolj dobrodošel pripomoček tistemu, ki razsoja. Več kot to pa ne.

Odločitev ne smemo prepustiti algoritmom in demagogom, temveč moramo sami razmišljati in ustvarjati najprej notranji, zatem pa tudi zunanji svet.

Torej nove tehnologije še zdaleč niso vsemogočne glede na človeški um. Tudi ko gre za vdiranje v naše misli in poseganje prek zadnje meje posameznikove svobode.

Tako je. Vendar verjamem, da je človeški um še zmeraj tisto zatočišče, v katerem smo varni in kjer se lahko osmislimo. Lahko rečemo, da so meje ogrožene, niso pa še prestopljene, vsaj ne dokončno. Moramo pa biti zelo previdni in pozorni na zunanje vdore, ki se jim ne smemo prepustiti. Niti zavedamo se ne, kako zelo načeta je zadnja meja naše osebnosti.

Kaj pa preventiva? Kako doseči, da narod ne bo iskal izpolnitve v virtualnem, temveč realnem svetu – če pa slednji na videz postaja vse bolj kompleksen, nerazumljiv in zmešan?

To pa je tudi naloga nas, pedagogo v. Ljudem je treba pokazati druge možnosti dojemanja sveta. Ter kako pomembno je, da ga dojemaš sam na sebi, brez zunanjih vplivov. Kajti le tako si lahko sam oblikuješ svoje življenje, kar je temelj svobode. Seveda v sedanji družbi ne moremo več doseči popolne svobode, saj smo se z družbeno pogodbo odpovedali njenemu delu v zameno za varnost in udobje. Kljub temu pa si lahko vsakdo vsaj v neki meri zastavi svojo pot, razen če se odpravi na pot neke težke odvisnosti.

Če se torej naveževa na Orwellovo misel, s katero sva začela – od posameznika je torej odvisno, ali bo tistih nekaj kubičnih centimetrov znotraj lobanje zapolnil z nepomembnimi dražljaji ali pa s kakovostnimi vsebinami, odnosi in umetnostjo.

Natanko tako. V tem kontekstu pa je zelo pomembna tudi vloga izobraževalnega sistema, ki iz mladih ljudi ne sme delati tehnicistov in birokratov, temveč jim pomagati, da se oblikujejo v celovite, avtonomne in odgovorne subjekte. Da jim pokažemo, da je pot, ki se sprva zdi najlažja, dostikrat dejansko potem najtežja. Ter da zato odločitev ne smemo prepustiti algoritmom in demagogom, temveč moramo sami razmišljati in ustvarjati najprej notranji, zatem pa tudi zunanji svet. To je osrednji izziv našega časa, določiti meje in smeri napredka. Če parafraziram izraelskega avtorja Juvala Hararija – kaj zdaj, ko je nepomembna živalska vrsta postala bog, ki v resnici ne ve, kaj bi rad in kaj naj počne z vso to močjo? To je vprašanje, na katero še vedno nimamo odgovora.