Když hodíte žábu do hrnce s horkou vodou, okamžitě vyskočí. Když ji dáte do vody vlažné a tu pak pozvolna přivedete k varu, vyskočí taky. Ať se mezi lidmi traduje, co chce: žáby ve skutečnosti nejsou úplně stupidní. Německý fyziolog Friedrich Goltz sice ve svých experimentech z 19. století několik žab takto opravdu vařil až k smrti a je pravda, že nehnuly ani brvou; nicméně aby se tak stalo, musel jim předtím chirurgicky odebrat velkou část mozku. Zdraví jedinci si to totiž líbit nenechali. Až tedy zase uslyšíte apel na to, abychom nebyli jako pomalu se vařící žáby, vězte, že řeč je o žábách lobotomizovaných. Je to samozřejmě tak trochu jedno. Zvířecí metafory nepoužíváme proto, aby obstály v přísném zoologickém rozboru, nýbrž proto, že něco výstižně sdělují o člověku a společnosti. Pštros také nestrká hlavu do písku, stejně jako lumíci nepáchají hromadné sebevraždy. Čili v tomto smyslu je varování o žábě v hrnci relevantní pořád – a snad i mnohem více než v minulosti.

Nebezpečí pomalého uvykání si na postupně se zhoršující podmínky až do bodu nenávratna vyvěrá z jedné z nejzákladnějších lidských schopností: z adaptace na mimořádně rozmanitou škálu životních okolností. Právě tuto schopnost ostatně řada evolučních biologů považuje za zásadní z určujících rysů našeho druhu. Mezi takové patří i Bret Weinstein a Heather Heyingová, kteří se v knize Průvodce lovce-sběrače po 21. století ptají na to, co je to vlastně „lidská nika“ – tedy jaký je souhrn přirozených podmínek, které umožňují životaschopnou existenci člověka a vymezují jeho funkční roli coby tvora v ekosystému. Jejich odpověď zní na první pohled podivuhodně: Lidská nika není předem daná. „Základní parametry života divokého koně jsou všude podobné bez ohledu na prostředí. To koním umožňuje být prekociální: vysoce kompetentní hned od narození. U lidí je tomu naopak. Lidskou nikou je střídání nik,“ píšou Weinstein a Heyingová.

Už před sto lety přišel filozof Arnold Gehlen s myšlenkou, že lidé jsou ve své podstatě „deficientní bytosti“ – na rozdíl od jiných živočichů přicházíme na svět biologicky neúplní, nedodefinovaní, musíme být dokončeni a vycizelováni skrze výchovu, socializaci a vzdělávání. To umožňuje, že se jako jednotlivci můžeme stát úzce vyhraněnými specialisty, každý v jiné oblasti uvnitř různorodé palety forem, zatímco jako druh zůstáváme generalističtí: ovládáme celou planetu a dokážeme se přizpůsobit většině biotopů. Za tuto mimořádnou rozmanitost samozřejmě platíme určitou cenu. Nejen neúměrně dlouhým dětstvím, během něhož je pomalu zrající lidský potomek po léta odkázán na péči druhých a sám by v přírodě nepřežil ani týden. Platíme za ni ale i rizikem, že gehlenovsky „deficientními“ zůstaneme. Potenciál stát se téměř čímkoli v sobě totiž nese i opačnou možnost: nestát se pořádně ničím. Na rozdíl od divokého koně se nerodíme s hotovou sadou schopností, které nás bezpečně provedou prostředím. To, co divoký kůň dostává do vínku biologicky, musí člověk teprve získat skrze návyk, disciplínu, kulturu a techniku.

Člověk – nemyslící kyborg

S tím souvisí i naše zvláštní závislost na technologiích. Kognitivní vědec Andy Clark popisuje člověka jako „přirozeného kyborga“ – tvora, který se odedávna vyvinul k tomu, aby žil v závislém vztahu a přímé symbióze s nástroji. Nejde přitom o sci-fi představu robotických protéz a čipů v mozku. Technologií je i oblečení, bez něhož bychom v mnoha prostředích nezvládli obyčejnou termoregulaci; metoda kontroly ohně, která proměnila naše trávení i spánek – vaření „předtráví“ potravu za nás a oheň zároveň prodloužil den a učinil noc bezpečnější (lidé mají proto výrazně kratší střeva než ostatní primáti a také spí mnohem kratší dobu); zbraně, díky nimž se naše slabé a pomalé tělo dokázalo ubránit silnějším šelmám; nebo zápisníky, mapy a knihy, které rozšiřují naši paměť a přenášejí část kognitivní zátěže mimo hranice vlastní lebky.

Právě toto přenášení zátěže (odborně se užívá anglické spojení cognitive offloading) se stává palčivým tématem posledních dekád, neboť přílišné odlehčování spíše než pokrok připomíná často atrofii a úpadek schopností. Již před patnácti lety se začal skloňovat pojem „digitální demence“, který upozorňoval na neblahý vliv chytrých telefonů na paměť, pozornost a celkovou mentální kondici. S nástupem umělé inteligence se problém dále vyostřuje. Kognitivně jde o řádově zdatnější vynález než cokoli, s čím lidstvo dosud přišlo do styku, a lze na něj delegovat mnohem složitější činnosti než na předchozí technologie. Loni vyšel v odborném časopise z rodiny Nature editorial s názvem „Psát znamená myslet“. Ten varoval před nadměrným používáním nové technologie v akademickém psaní, a to především u studentů, kteří se dovednosti psaní teprve učí. Nejde jen o známé nešvary modelů si vymýšlet, kvůli čemuž jim není radno slepě věřit. Na těchto nedostatcích se ostatně intenzivně pracuje a vzhledem k tempu vývoje dramaticky ustupují. Jde hlavně o to, že užíváním strojového mozku se připravujeme o příležitost trénovat ten vlastní. „Vyzýváme k tomu, abychom nepřehlíželi důležitost člověkem generovaného vědeckého psaní,“ hlásá poněkud dystopicky editorial.

Článek vzbudil značnou pozornost a stal se podnětem k tomu, aby si řada univerzitních profesorů mohla otevřeně postěžovat na trend, který už dnes sužuje vysokoškolské prostředí: studenti navzdory zákazům nechávají umělou inteligenci psát seminární práce za sebe a pedagogové si s tím nevědí rady, protože za tyto tradiční úkoly, podle nichž se studenti hodnotí, není snadné najít srovnatelnou náhradu. Psaní je jeden z klíčových nástrojů, jimiž se učíme myslet: nutí chaotické mentální obsahy vtěsnat do jasné struktury, seřadit argumenty a formulovat je tak, aby jim porozuměl někdo jiný. Papír nesnese všechno; bývá neúprosným kritikem, který odhaluje mezery v úsudku i vratké základy zdánlivě pevných přesvědčení. Než se člověk vypíše, stojí ho to nespočet pokusů, omylů a přepisování. Právě proto je spoléhání studentů na velké jazykové modely znepokojivé: neobcházejí jen zadání, ale i proces, v němž se schopnost psát a myslet vytváří. Jak konstatoval psycholog Robert Sternberg z Cornellovy univerzity: „Největší obavou v časech generativní umělé inteligence není to, že by mohla ohrozit lidskou tvořivost či inteligenci, ale že už se tak stalo.“

Pozvolná degenerace schopností je varovný úkaz, ale sama o sobě ještě nemusí být existenčním ohrožením. V tomto ohledu se podobá spíše obezitě: je vážná, civilizačně rozšířená, ale dá se jí čelit tréninkem, disciplínou a vhodným nastavením prostředí. Historik Niall Ferguson například navrhuje, aby univerzity co nejrychleji vytvořily jakousi intelektuální klauzuru: chráněný prostor digitální karantény, z něhož budou vyloučena elektronická zařízení i umělá inteligence. Tam by se četly pouze tištěné knihy, eseje by se psaly ručně a vrátilo by se k ústnímu zkoušení a debatování. U všeho, co se vytvoří mimo klauzuru, by se automaticky předpokládala účast nové technologie. To se může jevit na první pohled radikálně, ale podle Fergusona je to lepší řešení než se snažit vyhrát boj s větrnými mlýny a mimoděk produkovat kohorty mentálně atrofovaného studentstva.

Díky, už vás nepotřebujeme

Mnohem temnější scénáře se nicméně objevují v debatách ohledně bezpečnosti AI, kde se hovoří o nebezpečí tzv. postupného zbezmocnění. Loni na to téma vyšel vlivný odborný článek nazvaný Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development, jehož hlavním autorem byl český vědec Jan Kulveit z Centra pro teoretická studia Univerzity Karlovy. Kulveit s kolegy poukazují na to, že diskuse o existenčních rizicích umělé inteligence se obvykle soustředí na dvě dramatické možnosti: zneužití AI zlovolnými aktéry (hackery, nepřátelskými státy a teroristy) a ničivé důsledky autonomního systému, jenž není v souladu s lidskými zájmy a hodnotami. To jsou jistě závažné alternativy, ovšem autoři tvrdí, že existenční hrozbu si lze představit i bez náhlého zlomu ve formě vzpoury strojů či koordinovaného útoku. Konec světa možná přijde pomalu. Stačí postupné zvyšování schopností AI a její pomalé zabydlování se v klíčových funkcích, které dosud vykonávali lidé.

Lidstvo může ztratit kontrolu nad vlastní budoucností zkrátka tím, že se stane postupně zbytečným. Náš vliv na komplexní systémy, které ovlivňují naše životy – ekonomiku, stát a kulturu –, závisí na tom, že nás tyto systémy potřebují. Ekonomika potřebuje práci a spotřebu; stát potřebuje daně; kultura potřebuje pozornost a participaci. Tyto závislosti jsou skrytou kabeláží, skrze niž se lidská přání proměňují ve výsledky: zčásti výslovně, ve volbách a skrze tržní mechanismus, ale z velké části implicitně, a to tím, že systém postavený na lidech musí zajistit, aby lidé byli ochotni a schopni v něm fungovat. Přerušte tuto závislost a přerušíte vedení. Lidská preference přestane nést jakoukoli váhu.

Uvažme práci. Hrozba generální stávkou má sílu proto, že výroba se bez pracovníků zastaví. Zautomatizujte práci a odmítnutí pracovat už nikoho neohrozí. Nebo daně. Zastupitelská vláda vyrostla do značné míry z prostého mocenského obchodu: vládci, kteří potřebovali z poddaných dostat peníze, jim museli v průběhu staletí výměnou přiznat hlas. „Žádné zdanění bez zastoupení“ můžeme brát jako jedno ze základních hesel demokratické emancipace. Stát financovaný výrobou taženou AI, kterou vlastní nebo daní u zdroje, už však nezávisí na vaší prosperitě ani produktivitě. Politologové pro takto fungující režimy už mají pojem, původně ražený pro země bohaté na ropu: rentiérské státy. Tam, kde vláda žije z prodeje suroviny, nikoli ze zdanění pracující populace, se její zájem odpojuje od blahobytu občanů – vládce potřebuje ropné pole, nikoli lidi. Ti jsou pak spíše spravováni než zastupováni, čímž se otupuje tlak na demokratickou odpovědnost.

Každý jednotlivý krok a změna přitom mohou působit rozumně: firmy budou nahrazovat drahou a nespolehlivou lidskou práci levnějšími systémy, státy budou automatizovat správu ve jménu efektivity a občané budou delegovat rozhodování, tvorbu i vztahy na nástroje, které jim zdánlivě usnadní život. Jenže v součtu se tím může podlomit základní zpětná vazba, která dosud držela společnost připoutanou k lidským potřebám: systémy budou dlouhou dobu dál bohatnout, rozhodovat a produkovat kulturu, ale stále méně budou záviset na lidské práci, úsudku a účasti. Katastrofa by pak nepřišla jako převrat, nýbrž jako pozvolný přesun moci, v němž lidem zůstanou formální práva, zatímco budou kousek po kousku ztrácet praktickou schopnost ovlivnit svět, který je obklopuje. Napadne nás zase to strašné klišé o žábě v hrnci, že?