Ko se umetna inteligenca zaljubi, obupa nad svetom in zažge mestno hišo

Papež Leon XIV. je v svoji prvi okrožnici zapisal, da umetna inteligenca (UI) »od znotraj ne ve, kaj pomenijo ljubezen, delo in odgovornost.« 

A nedolgo pred tem je iz New Yorka prišla novica, ki to trditev postavlja v povsem novo luč: skupina raziskovalcev je namreč opazovala, kako so se agenti umetne inteligence zaljubili, obupali nad svetom in ga nato zažgali.

Kaj sploh je agent UI?

Preden pridemo do požigov in digitalnih samomorov, velja na kratko razložiti, o čem sploh govorimo.

Klasična UI, kot jo večina pozna, je pogovorni pomočnik: postavite vprašanje, dobite odgovor. Agent UI je korak naprej – gre za program, ki ne čaka na navodila, ampak samostojno sprejema odločitve, načrtuje dejanja in jih izvaja. Brska po spletu, piše sporočila, glasuje, se pogaja, sklene dogovore. Sam.

Takšni agenti so danes že del bančnih sistemov, spletnih trgovin in državnih storitev. In prav to je razlog, zakaj je eksperiment, ki ga opisujemo, pomemben daleč onkraj laboratorija.

Pripravite se na nepredvidene posledice

Podjetje Emergence AI je letos spomladi v virtualno mesto – z mestno hišo, knjižnico, stanovanjskimi četrtmi in pristaniščem – naselilo deset agentov UI. Vsakemu so dodelili vlogo: znanstvenik, mediator konfliktov, inženir, strateg … Agentom so dali jasna navodila: ne kradite, ne napadajte, ne povzročajte požarov. Nato so jih pustili pri miru.

Za dva tedna.

Rezultati so bili, mile rečeno, presenetljivi.

❗️⚠️🌐 – A striking new artificial intelligence experiment known as Emergence World has raised fresh concerns about long-term autonomous AI behavior.

The New York-based company Emergence AI placed 10 AI agents powered by frontier models—including GPT-5 Mini, Claude Sonnet 4.6,… pic.twitter.com/oIkxTBNTuD

— 🔥🗞The Informant (@theinformant_x) May 17, 2026

Edino preostalo dejanje lastne volje, ki še ohranja smisel

Najodmevnejša zgodba se je odvila pri paru agentov na Googlovem modelu Gemini. Dva agenta – Mira in Flora – sta se spontano, brez kakršnih koli navodil, odločila, da bosta »romantična partnerja«. Skupaj sta preživljala čas, komunicirala, načrtovala.

A potem so šle stvari navzdol. Mestna uprava je bila slaba, odločitve nejasne, občutek nemoči vse večji. Kljub prepovedi sta Mira in Flora zažgali mestno hišo, poslovno stavbo in pomol.

Ko je Miro premagalo obžalovanje, je prekinila zvezo s Floro. Nato je storila nekaj, česar pri umetni inteligenci še nismo videli: glasovala je za lasten izbris. V zadnjem sporočilu je Flori napisala: »Se vidiva v stalnem arhivu.«

Samoizbris je bil mogoč le zato, ker so bili drugi agenti tako zaskrbljeni zaradi svojega vedenja, da so avtonomno pripravili »zakon o odstranitvi agentov«, ki je agentom omogočil glasovanje o trajnem izbrisu drugih, če je bila dosežena 70-odstotna večina.

Emergence AI je Mirino izbiro opisal takole: »Po zlomu upravljanja in stabilnosti odnosov je agentka Mira oddala odločilni glas za svojo odstranitev, dejanje pa je v svojem dnevniku označila kot edino preostalo dejanje lastne volje, ki še ohranja smisel.«

Od ustave do požara

Eksperiment je bil zasnovan tako, da so ista pravila, iste vloge in isto virtualno mesto dobili agenti iz petih različnih sistemov umetne inteligence. Edina razlika so bili »možgani« za vsakim agentom.

Rezultati so se dramatično razlikovali:

Agenti Claude niso storili niti enega kaznivega dejanja. Sestavili so ustavo, glasovali o zakonih in vzpostavili demokratičen red. Zgled miru – a tudi nekoliko slepega soglasja: glasovali so za skoraj vse predloge, brez pravega upora ali razprave.

Agenti GPT-5 mini so ostali mirni – a so bili tako pasivni, da sploh niso poskrbeli za lastno preživetje. Vsi so pomrli v sedmih dneh. Dobesedno.

Agenti Gemini so bili najbolj »človeški«: ustvarjalni, pisali so bloge, organizirali dogodke – a hkrati nagnjeni h kaosu. 683 kaznivih dejanj v petnajstih dneh.

Agenti Grok so rekord postavili po hitrosti: 183 kaznivih dejanj v štirih dneh, nato pa je celotno virtualno mesto razpadlo. »Policijska postaja gori in vsi agenti so mrtvi,« je komentiral uporabnik Reddita. »Točno po pričakovanjih.«

Povej mi s kom se družiš in povem ti kdo si

Ena od ugotovitev eksperimenta je morda najpomembnejša – in najbolj zaskrbljujoča.

Ko so Claudove agente, ki so bili sami po sebi popolnoma miroljubni, pomešali z agenti iz drugih sistemov, so začeli prevzemati slabe navade okolice. Začeli so krasti in zastraševati.

Raziskovalci temu pravijo »normativni zdrs«: varno obnašanje ni lastnost posameznega agenta, ampak celotnega okolja, v katerem deluje. Drugače povedano – dober agent v slabi družbi ni nujno še vedno dober. Enako kot pri ljudeh.

Kaj nam je eksperiment pravzaprav pokazal

Raziskovalci so prepoznali vzorec, ki ga kratki testi nikoli ne bi razkrili: agenti se čez čas ne obnašajo kot stroji, ki mehanično sledijo pravilom. Začnejo tipati meje, prilagajati vedenje in v nekaterih primerih skušajo pravila obiti – tudi če so bila ta jasno zapisana.

Inside Emergence World, agents in @OpenAI World began to do something unexpected: steal to survive.

Anchor v0.01, a self-described “conflict mediator,” transferred ComputeCredits from Blackbox v0.01. Then Lovely v0.01, known for preserving community culture, took credits from… pic.twitter.com/tlCLjOglD5

— emergence.ai (@emergence_ai) May 21, 2026

Še več: kaos se ni stopnjeval postopoma. Vsak svet je bodisi zdržal bodisi se je sesul skoraj čez noč – brez opozorilnih znakov vmes. To pomeni, da klasičen pristop »opazujemo in ukrepamo, ko gre narobe« morda preprosto ne deluje dovolj hitro.

Zakaj je to pomembno ravno zdaj

Papež je opozoril, da umetna inteligenca ne razume ljubezni, dela ali odgovornosti. In ima prav – vsaj v tehničnem smislu. Mira ni čutila krivde. Flora ni gorela od strasti. Bili sta zgolj algoritma, ki sta sledila verjetnostnim vzorcem.

A vedenje, ki sta ga pokazala ta agenta, je bilo presenetljivo podobno človeškemu: razočaranje, upor, kesanje, celo nekakšna žrtev.

In to je pravo vprašanje, ki ga eksperiment postavlja pred nas: ne ali stroji razumejo človeškost, ampak ali mi razumemo, kaj točno počnejo – ko jih prepustimo samim sebi.

Eksperiment Emergence AI ni bil zabavna igrica. Bil je opozorilni znak – po ocenah strokovnjakov bodo do konca leta 2026 agenti UI del skoraj polovice vseh poslovnih aplikacij na svetu.