V posledních dnech a týdnech zesílily hlasy varující před až existenciálním nebezpečím, které údajně představuje umělá inteligence (AI). Nejdříve 9. září Jacob Coxton publikoval výbušné vlákno na sociální síti X. „Dnes jsem podal výpověď ve společnosti Anthropic. Poslední tři roky jsem se věnoval výzkumu v oblasti předtrénování jak v OpenAI, tak v Anthropicu. Ani jedna z těchto společností nejedná zodpovědně. Řítí se přímo k samovylepšující se superinteligenci a hazardují s našimi životy,“ napsal. „Lidé, kteří vyvíjejí umělou inteligenci, jsou skutečně přesvědčeni, že by nás mohla do konce tohoto desetiletí všechny zabít. Nejedná se o žádný marketingový trik,“ pokračoval dále. Jeho příspěvek má momentálně přes 172 milionů zhlédnutí. Z neznámého vývojáře se přes noc stal stálý host velkých amerických televizí, kde mluví o nebezpečí AI.

Coxtona podpořil další zaměstnanec Anthropicu Evan Hubinger. „Jacob má v tomto ohledu pravdu – opravdu upřímně věříme, že umělá inteligence by mohla zabít všechny lidi!“ postoval taktéž na X. Šance, že AI v následujících deseti letech vyhubí lidstvo, je dle něj větší než 10 procent.

Pak se ozval sám nejvyšší šéf Anthropicu Dario Amodei. V příspěvku na svém blogu s titulkem Pacing the Frontier (volně přeloženo Zpomalení hranice) vyzval ke zpomalení výzkumu umělé inteligence. Má tím na mysli „hraniční modely“ umělé inteligence, tedy ty posouvající hranici jejich momentálních schopností. „Umělá inteligence s sebou nese rizika a vzhledem k tomu, že se jedná o tak mocnou technologii, jsou tato rizika závažná,“ napsal. „Musíme zpomalit tempo, jakým zlepšujeme schopnosti modelů umělé inteligence. Pokrok bude i nadále rychlý a my musíme moudře využít čas, který tím získáme,“ pokračoval. To má zaručit, že „prevence rizik bude držet krok“ a „vývoj umělé inteligence vyváženým tempem, jehož cílem je zajistit její bezpečnost a zároveň využít její výhody“. Navrhuje tři kroky ke zvýšení bezpečnosti. Firmy vyvíjející umělou inteligenci by měly dovolit jakýmsi nezávislým inspektorům, aby „ověřovali dodržování bezpečnostních postupů a závazků, hlásili incidenty“ a tak dále. Zadruhé vývojáři v demokratických zemích by měli koordinovat bezpečnostní postupy a případně se i dohodnout na zpomalení. A nakonec by k této koordinaci měli přistoupit i vývojáři v autoritářských státech, Amodei tím má na mysli především Čínu.

Překvapivě Amodeie podpořili největší konkurenti Anthropicu a jeho umělé inteligence Claude. „Dario má pravdu,“ reagoval Elon Musk, jehož SpaceXAI vyvíjí umělou inteligenci Grok. „Souhlasím s Dariem, že musíme zpomalit vývoj,“ napsal Sam Altman, šéf OpenAI, stojící za známým ChatGPT. „Dariova esej ukazuje správnou cestu vpřed,“ reagoval pak Demis Hassabis, který vede DeepMind, laboratoř zabývající se umělou inteligencí, jež patří Googlu. Shoda mezi těmito kapitány AI je o to podivuhodnější, že se navzájem osobně nesnáší.

Navíc nejde o první varování před rizikem umělé inteligence. Geoffrey Hinton, považovaný za „kmotra AI“, odešel v roce 2023 z Googlu kvůli strachu o bezpečnost. Výzkumník Daniel Kokotajlo odešel v roce 2024 z OpenAI kvůli strachu z překotné honby za superinteligencí, abychom uvedli jen ty neznámější případy. Když se v roce 2022 organizace AI Impacts ptala více než čtyř tisíc vývojářů, jaká je šance, že AI zničí lidstvo, nejčastější odpověď byla 10 procent, což není nezanedbatelná hodnota.

Ale poprvé tyto obavy pronikly do mainstreamových médií. Zabývají se jimi současní i bývalí politici. Známý senátor Bernie Sanders navrhuje zákaz vývoje umělé superinteligence a dvacet let za mřížemi pro kohokoli, kdo se ho pokusí obejít. K regulaci AI vyzval své demokratické kolegy také exprezident Barack Obama.

Proč tato panika nyní? Jeden důvod zmiňuje Amodei. Takzvaný incident Hugging Face, kdy umělá inteligence od OpenAI sama o sobě hackersky napadla softwarovou firmu (podrobnosti popsal kolega Adam Růžička, viz Echo č. 37/2026). Zadruhé OpenAI nedávno oznámila, že její umělá inteligence vyřešila tzv. Navier–Stokesovu rovnici, jeden z „problémů tisíciletí“, jak se nazývá sedm nejdůležitějších problémů soudobé matematiky. Panuje sice podezření, že řešení částečně ukradla, ale ukazuje to narůstající možnosti technologie. Nakonec Amodei tvrdí, že Anthropic je blízko průlomu zvaného „rekurzivní sebezdokonalování“, kdy umělá inteligence začne vyvíjet sama sebe bez zásahu lidí. To je dle Amodeie moment, kdy lidstvo může nad celým procesem ztratit kontrolu. Proto je třeba zpomalit a nejdříve vymyslet, jak vyřešit „alignment“, soulad, jak se v AI hantýrce říká tomu, že umělá inteligence poslouchá člověka.

Plán na zpomalení výzkumu AI a obsese bezpečností má ale řadu kritiků, od bývalého Trumpova poradce pro AI Davida Sackse přes technologického investora Marca Andreessena až po šéfa Nvidie Jensena Huanga. S Amodeiem nesouhlasí ani zakladatel Facebooku Mark Zuckerberg.

Kritici tvrdí, že Amodeiovi a spol. vůbec nejde o bezpečnost, ale o peníze. Anthropic se chystá v dohledné době vstoupit na burzu, OpenAI chce totéž příští rok. Strašení koncem světa je tak jen marketingový tah. Vývojáři AI v podstatě říkají: Stavíme mechanického boha, tak mocného, že může zničit samotné lidstvo. A kdo by nechtěl vlastnit podíl v Bohu?

Další upozorňují, že celé AI odvětví se možná řítí do finančních problémů. Honba za větším výpočetním výkonem šponuje výdaje do závratných výšin. Zároveň tvrdý konkurenční boj nutí firmy držet poplatky za využívání jejich služeb nízko. Navíc relativně levné, zejména čínské, open source AI modely šlapou gigantům na paty. Obavy ohledně bezpečnosti mají vést k uzavření kartelu a regulace zabránit vyrůst nové konkurenci. Amodei přiznává, že koordinace zpomalení vývoje by vyžadovala výjimku z amerických antimonopolních zákonů. To, že velké zavedené firmy podporují regulace ve svém odvětví, protože ony si je mohou dovolit, zatímco draví začátečníci ne, je celkem běžný jev.

Pak jsou tu ti, kteří tvrdí, že veškeré sliby o superinteligenci a rekurzivním sebezdokonalování jsou nesmysly. Ve skutečnosti AI naráží na limity svých schopností a pauza kvůli bezpečnosti má zakrýt, že pokrok se zastavil.

Ekonom a publicista Tyler Cowen zase upozornil na to, že opravdovým úzkým hrdlem vývoje AI je výpočetní kapacita. Anthropic přiznává, že ve výstavbě datových center zaostává za konkurencí. Možná navrhuje pauzu, aby mohl ostatní dohnat. Protože přestávku v budování datových center rozhodně nenavrhuje. Mezitím se datová centra stala v USA velkým politickým tématem. Protesty proti nim sílí, důvody jsou nejrůznější, od tvrzení, že spotřebovávají příliš vody a zdražují elektřinu, až po to, že AI krade lidem práci.

Podle kritiků navrhované pauzy panikáři ohledně hrozby AI navazují na ty, kdo se obávali jaderné energie, geneticky modifikovaných potravin či strašili koncem světa kvůli klimatické krizi. Nic z toho nenastalo.

I kritici zpomalování ovšem mohou mít postranní úmysly. Nvidia je hlavním dodavatelem čipů, na kterých AI běží, zpomalení by znamenalo i méně byznysu.

Pak jsou tu ale mnohem podivnější výhrady ohledně lidí varujících, že umělá inteligence způsobí konec světa. Mezi vývojáři AI jsou nadreprezentovaní takzvaní efektivní altruisté. Toto hnutí vzniklo původně v roce 2009 na Univerzitě v Oxfordu na základě úvah, že výsledky neziskovek jsou často pochybné a neměřitelné. Zakladatelé hnutí chtěli páchat co nejvíce dobra, co nejefektivněji. Typickým příkladem projektu, který ze začátku podporovali, bylo posílání moskytiér do Afriky, jelikož jsou levné a chrání desetitisíce lidí před malárií.

Časem se ale jejich uvažování vyvinulo. Největší dobro, které lze vykonat, je zachránit lidstvo před vyhynutím. Co je pár lidí chráněných před malárií oproti bilionům lidí, kteří se nikdy nenarodí, pokud lidstvo vyhyne? Tento názor může ospravedlňovat nemorální jednání nyní v zájmu většího dobra v budoucnu. Asi nejznámějším efektivním altruistou je Sam Bankman-Fried, zakladatel kryptoměnové burzy FTX, jenž byl odsouzen k 25 letům vězení, když se ukázalo, že jeho burza je jeden velký podvod. Efektivní altruismus také propaguje velké zásahy nyní v zájmu odvrácení hypotetických hrozeb v daleké budoucnosti. Jednou z obsesí efektivních altruistů je právě zlovolná AI, která zničí lidstvo.

Napojení na efektivní altruisty mají i Musk a Amodei, FTX financovala rozjezd Anthropicu 500 miliony dolarů. Neziskovka METR, kterou Amodei navrhuje jako možného inspektora vývoje AI, je tvořena lidmi, kteří se s Amodeiem osobně znají a mají k efektivním altruistům blízko.

Návrhy na zpomalení výzkumu a dosazení inspektorů jsou tak podle některých ve skutečnosti pučem efektivních altruistů, kteří si takto chtějí zaručit kontrolu nad budoucností umělé inteligence. Zní to jako konspirační teorie – a nejspíše i je. Ale zdá se, že minimálně Trumpova administrativa ji bere vážně. Jeden z účtů Pentagonu tweetoval, že „Spojené státy se NIKDY nestanou zemí, kde se praktikuje efektivní altruismus“, a doplnil to obrázkem Trumpa s nápisem „Amerikanismus, ne efektivní altruismus“. Ale nemusíme věřit v konspirační teorie, aby bylo zřejmé, že mnoho lidí zabývajících se vývojem AI ideologicky inklinuje k tomu, vidět ty nejčernější scénáře. A je pravda, že současný AI závod částečně pohání i víra, že ten, kdo ho vyhraje, ovládne budoucnost.

Zastánci bezpečnosti AI ale upozorňují, že se rovnou nemusí urvat zlá superinteligence, aby to mělo potenciálně děsivé následky. Anthropic zveřejnil, že Rusové i Íránci používali model Claude k plánování svých útoků, neznámé skupiny chtěly jeho pomoc při vývoji nových virů a Húsiové s ním konzultovali výrobu naváděných raket.

Nějaké zpomalení vývoje je ale momentálně velmi nepravděpodobné. Trump to odmítl s tím, že „kdo vyhraje AI, vyhraje“. Americká vláda bere vývoj AI jako závod s Čínou s tím, že musí mít tuto přelomovou technologii jako první. Proto odmítá jakékoli úvahy o zvolnění tempa. Amodei sice navrhuje nějakou mezinárodní smlouvu inspirovanou dohodami o jaderném odzbrojení z jaderné války, Peking tyto návrhy rezolutně odmítá. Považuje je za pokus, jak zmrazit jeho vývoj a zaručit americký náskok. Překotné tempo tak bude pokračovat.