Nehumani algoritmi

Pred devetimi leti je nizozemska davčna uprava uvedla avtomatiziran sistem, ki je prek algoritmov in umetne inteligence ugotavljal, kdo predstavlja tveganje za zlorabo socialnih pravic, te osebe pa je na podlagi suma tudi kaznoval. Kaj kmalu se je izkazalo, da je sistem kot tvegane označeval ljudi z nižjimi prihodki in pripadnike manjšin. Sodišče v Haagu je pred dvema letoma odločilo, da je bila uporaba sistema zaradi nesorazmernega dostopa in predolge hrambe podatkov nezakonita, vendar to ni popravilo vseh krivic, ki jih je sistem povzročil. Znani so primeri staršev, ki so prejeli astronomsko visoke zahtevke za vračilo otroških dodatkov – in zato storili samomor ali hudo zboleli, več kot tisoč otrok pa je bilo odpeljanih v rejo.

Nizozemska vlada je oškodovancem obljubila odškodnine do 30 tisoč evrov, marca pa je nizozemski informacijski pooblaščenec davčni upravi izrekel še 2,75 milijona evrov globe, ker je »podatke prosilcev za otroške dodatke z dvojnim državljanstvom obdelovala na nezakonit, diskriminatoren in zato neprimeren način«, navaja informacijski pooblaščenec.

Primer nas uči, da nikakor ne gre slepo zaupati algoritmom, nad odločitvami katerih nimamo pravega pregleda, hkrati pa usodno krojijo življenja ljudi. Evropska komisija je zaradi tovrstnih primerov že predlagala sprejem zakona o omejitvi umetne inteligence, načrtuje pa tudi vzpostavitev registra podobnih algoritemskih sistemov.

»Rangiranje prebivalcev je pogosto omenjeno v zvezi s kitajsko družbo nadzora, a ta praksa je nekaj vsakdanjega tudi v sistemih javne uprave držav Zahoda, na primer v Veliki Britaniji, na Švedskem in Nizozemskem,« komentira Nika Mahnič, ki na londonski univerzi Queen Mary raziskuje zasebna analitična orodja v javni upravi Združenega kraljestva ter vpliv umetne inteligence na javne politike. »Državljani in skupine prebivalstva so ocenjeni glede na družbeno skupino ali profil tveganja. Prebivalci so v sistemu algoritemskega rangiranja krivi, dokler niso dokazano nedolžni, tehnološka podjetja, ki proizvajajo te sisteme, pa so pogosto tista, ki državo blaginje oziroma socialno državo spodkopavajo – z neplačevanjem davkov.«

Zaslužna za razvijanje podobnih sistemov so praviloma zasebna podjetja – podobno velja tudi za slovensko davčno upravo, ki naj bi za svoje delo uporabljala sistem avtomatizirane zaznave tveganj podjetja SAP.

»Noben sistem pa ni dovolj kompleksen, da bi lahko zaobjel kompleksnost življenjskih situacij, v katerih se znajdejo posamezniki. Ko v birokraciji ni več človeka, le še stroj, je tudi oddelek za pritožbe nedosegljiv, v stiski pa ni več na voljo niti preobremenjenega javnega uslužbenca, ki nehumani sistem birokracije humanizira,« še opozarja Nika Mahnič. »Algoritmi so za modernizacijo javne uprave potrebni v sistemu, ki varčuje pri ljudeh. Varčujejo pri tistih, ki imajo z državo največ opraviti, torej revnih, bolnih, marginaliziranih – in ugotavljajo, kdo je dovolj ubog, da si zasluži miloščino države. Prepuščanje pomembnih odločitev algoritemskim sistemom tako podaljšuje, pogosto pa tudi privatizira politike, katerih logika je učinkovitost, ne pa solidarnost ter zaupanje.«