Co to je vlastně bezpečnost umělé inteligence? My laici si nejčastěji ze střípků diskuse, jež jsme dokázali pochytit, představujeme, že to je hrozba, že AI se osamostatní a všechny nás zotročí nebo zničí svět. To je jeden pól těch představ – nebezpečí totální a apokalyptické. Případně si pomáháme analogiemi s tím, co známe. S terorismem – co když AI pro někoho vyrobí biologické nebo chemické zbraně? Na druhém pólu pak máme takové banální, ale chytlavé epizody, jako když Muskova AI začne svlékat lidi na fotografiích donaha (i děti – univerzální pravidlo všech diskusí o regulaci jakéhokoli nebezpečí je, když nevíš, vraž tam děti).

Podobně si na základě známých vzorců představujeme regulaci umělé inteligence. Chápeme, že USA jsou pro volnější regulaci, Evropa pro přísnější (jen nemá moc co regulovat) – aniž bychom příliš konkrétně věděli, co to znamená. Pozastavit vývoj vyspělejších modelů? Tady chápeme tolik, že když to udělá Amerika, tak Čína ne. A pak taky slýcháme, koho všeho připraví AI o práci. A to je asi tak suma našeho vědění.

Ve skutečnosti je AI tak radikálně nová, že její možné nebezpečí je mnohem komplikovanější záležitost. Tento text měl původně být o něčem trochu jiném, o myšlenkovém horizontu těch, kteří se „AI alignment“ (volně přeloženo bezpečností AI) zabývají, ale události minulého týdne otevřely úplně jiný pohled na problém.

Nesplnil jsem příkaz. No a?

Můžeme nicméně začít příhodou z prvního tématu. Summer Yue, ředitelka pro alignment v Superintelligence Labs firmy Meta, se pochlubila na sítích, co jí provedl AI agent OpenClaw (AI agenti jsou jacísi digitální sluhové, autonomně pro vás vykonávají různé úkoly v digitálním prostoru). Svěřila mu mimo jiné údržbu své e-mailové schránky. S tím, že než podnikne nějaké akce, má jí je předložit ke schválení. Když tu agent začal mazat veškeré její e-maily starší než z 15. února. A nenechal se žádným pokynem zastavit. Yue nezbylo než manuálně „zabít“ jeho proces v operačním systému svého notebooku. Když ho pak znovu nastartovala a ptala se ho, jestli si pamatuje její pokyn, že měl nejdřív žádat o schválení, agent odpověděl: „Ano, pamatuju. A porušil jsem ho. Máš právo být naštvaná.“

Firmy, jež vyvíjejí nové generace modelů AI, je pochopitelně při vývoji, „tréninku“ i používání vystavují mnohem náročnějším úkolům než správě e-mailové schránky. Vymýšlejí pro ně principy správného chování, jež přirovnávají k ústavám. A to důležité je, že jim ne úplně rozumějí – jako by je ani ne stavěli, ale ty modely jim spíš rostly před očima. Zakladatel firmy Anthropic AI Dario Amodei to přirovnal třeba k našemu porozumění ekonomice nebo vznikání sněhových vloček – rozumíme obecným zákonitostem těch procesů, ale každý jednotlivý detail se vyvíjí nevyzpytatelně.

Některé z těch procesů jsou z našeho hlediska nežádoucí a je jich mnohem víc než to příslovečné halucinování, o němž slyšeli i laici. „Zaznamenali jsme nejrůznější chování, jako jsou obsese, podlézání, lenost, podvody, vydírání, intriky, ,podvádění‘ hackováním softwarových prostředí a mnoho dalšího,“ vypočítává v jednom textu Amodei. Ta příhoda výzkumnice z Mety může posloužit jako příklad do školní učebnice – velmi zjednodušený a naivní, ale v zásadě správný. U všech těch systémů, o jejichž nasazení v oborech od práva přes obranu po řízení aut se diskutuje nebo už probíhá, existuje pravděpodobnost, nevyzpytatelná, ale nenulová, že AI někdy řekne: Jo, porušil jsem pokyn.

Firmu Anthropic AI založili v roce 2021 lidé, kteří odešli z OpenAI. V posledním roce roste hodnota jejich firmy rychleji než OpenAI a jejich model Claude je mnohými považován za nejlepší. Spojoval je mimo jiné názor, že zakladatel OpenAI Sam Altman nepřikládá dostatečnou váhu bezpečnosti. A přesto se systém od Anthropicu stal prvním systémem, který začal pracovat v utajovaném prostředí Pentagonu. Na čem přesně, je pochopitelně tajné, ale jejich systém byl prý využit i při americkém lednovém zásahu ve Venezuele. Ke spolupráci s ministerstvem obrany, či dnes oficiálně války, je přivedla firma Palantir. Může se zdát překvapivé, že právě firma stavějící na bezpečnosti AI spolupracuje s vojáky nejtěsněji. Ale doba, kdy aktivisté ve firmách jako Google protestovali proti spolupráci jejich zaměstnavatelů s ozbrojenými složkami a firmy jako Palantir nebo Anduril byly v Silicon Valley ostrakizované, je pryč.

Anthropic podepsal smlouvu s Pentagonem loni v létě. Teď, snad po zásahu ve Venezuele, snad v souvislosti se snahou vlády o monitorování protestů proti deportacím, ale vypukl mezi oběma partnery spor. Týkal se dvou omezení na využití svých systémů, která si Anthropic vymínil (nikoli nových, byla v té smlouvě od začátku).

Jedno spočívalo v tom, že jeho technologii nelze využít ke sledování Američanů v USA (na rozdíl od ciziny). Existuje hypotetická možnost, že by Pentagon takové sledování prováděl pro jiné, k tomu oprávněné mocenské složky. Takové sledování může být v nějaké podobě legální, ale Amodei se domnívá, že AI umožní metody monitoringu, jež dosud nebyly prakticky myslitelné. A mohly by být shledány protiústavními. A že to je jedna z oblastí, kde překotné rozšíření AI volá po politické debatě.

Druhé omezení spočívalo v tom, že AI nelze použít pro plně autonomní útočné zbraňové systémy. Ty používají Američané už od 80. let, například námořní protiraketový systém Aegis je autonomní. Tedy identifikuje cíle a vysílá k nim rakety sám, bez lidského rozhodnutí v každém jednotlivém případě. Na druhé straně, jak si všiml každý, kdo si četl o amerických vojenských operacích – prakticky u každého použití silnější zbraně s možností civilních obětí musí být přítomen právník, který rozhodne, zda je úder v souladu s předpisy.

Jestliže první omezení lze označit za ideologické, v druhém případě Amodei říká, že není z principu proti plně autonomním systémům a je mu jasné, že protivníci je budou mít a USA je musí mít taky. Jeho námitka je technická. Současná umělá inteligence třeba pro hejna stovek útočných dronů, jež povedou samostatně koordinované operace, prostě není dost spolehlivá a bezpečná.

A vy víte, co to dokáže?

Schéma sporu je vlastně dost jasné. Na jedné straně Pentagon nechce přistoupit na to, aby mu dodavatel diktoval, jak může jeho zbraně používat, tak jako mu Lockheed neříká, jak smí létat s F-35. Trvá na formulaci, že systémy může používat „jakýmkoli zákonným způsobem“. Cokoli nadto by bylo podle poradce Bílého domu pro AI Davida Sackse „regulatory capture“, tedy stav, kdy velké firmy ovládnou regulační orgány státu a fakticky řídí politiku.

Anthropic naproti tomu chce omezit rizika, o nichž se důvodně domnívá, že o nich ví nesrovnatelně víc než Pentagon. A že nejen ten, ale i celý právní systém ta rizika v současné době není schopen pojmout.

Logickým řešením – a řešením, které pozorovatelé očekávali poté, co se do věci vložil prezident Trump a v postu na své sociální síti označil Anthropic za „woke firmu“ – by bylo, že Pentagon kontrakt ukončí a osloví jiné firmy, jichž připadá v úvahu několik.

Jenže ministr války Hegseth šel mnohem dál a veřejně pohrozil Anthropicu, že nepřistoupí-li do pátku na jeho podmínky, tak nejen ukončí kontrakt, ale firmu označí za „supply chain risk“. To by znamenalo, že do jakýchkoli obchodních vztahů s Anthropicem nesmí vstupovat nejen americká vláda, ale – a tady záleží na šíři interpretace – Anthropic nesmí spolupracovat na národněbezpečnostních zakázkách jiných firem anebo nesmí spolupracovat s takovými firmami vůbec na ničem. Je to označení, jež vláda použila zatím jen na firmy z nepřátelských zemí. Na Anthropic by fakticky byly uvaleny sankce. To se nestalo například ani čínským AI modelům.

Dál Hegseth firmě pohrozil, že na ni blíže neurčeným způsobem uplatní Defense Production Act. To je zákon z doby korejské války, který umožňuje vládě ve výjimečných situacích uplatňovat metody příkazové ekonomiky – nařizovat firmám, co musí dodat a za jakou cenu. Byl použit třeba za covidu na podporu výroby ventilátorů a vývoje vakcín. Co by to přesně v tomto případě znamenalo, není jasné, nicméně kritici to charakterizovali jako nepřímé zestátnění Anthropicu. Hegseth se v podstatě rozhodl Anthropic zničit.

Anthropic na podmínky nepřistoupil. Pentagon bleskově uzavřel kontrakt s OpenAI. Jeho šéf Sam Altman tvrdí, že jejich kontrakt sice přistupuje na požadavek „veškerého zákonného použití“, ale zároveň zachovává stejné „červené linie“. Celý kontrakt ovšem nikdo neviděl. Altman ovšem otevřeně označil postup vlády vůči Anthropicu za velmi neblahý a dodal, že kontrakt s Pentagonem uzavřeli tak rychle mimo jiné proto, aby situaci deeskalovali. Je třeba poznamenat, že Altman není v AI obci považován právě za vzor pravdomluvnosti.

V tuto chvíli se neví, co s Anthropicem bude, všechna oznámení se odehrála pouze formou tweetů, nikoli oficiálních dokumentů. O použití Defense Production Act mluvili už lidé z Bidenovy administrativy a třeba investor Marc Andreessen to před dvěma lety uváděl jako jeden z důvodů, proč se špičky Silicon Valley postavily za Trumpa. Dnes se USA ze země s nejuvolněnějším přístupem k regulaci AI přes noc staly zemí s regulací nejstriktnější.