Co můžeme čekat od umělé inteligence a jaká jsou její rizika? Představuje technologie existenční hrozbu pro lidstvo, anebo naopak přinese vědecký pokrok, vyléčí rakovinu a nastartuje ekonomický růst? V Salonu Echa o tom diskutovala trojice odborníků. Kristina Fort se zabývá geopolitickými dopady umělé inteligence a aktuálně pracuje pro americký Institut pro právo a AI, vystudovala London School of Economics a působila mimo jiné i v Google DeepMind a v Evropské službě pro vnější činnost. Stanislav Fort má doktorát v umělé inteligenci ze Stanfordu, pracoval jako výzkumník ve společnosti Anthropic, StabilityAI a Google DeepMind, v současnosti je šéfem vývoje ve startupu, jenž se zabývá umělou inteligencí a kyberbezpečností. A Ondřej Bajgar pracoval na jazykových modelech ve firmě IBM Watson, následně působil v Institutu pro budoucnost lidstva při Univerzitě v Oxfordu, kde také dokončuje doktorát v oblasti strojového učení a bezpečnosti umělé inteligence. Každý z hostů tu mluvil sám za sebe a jejich názory nereprezentují instituce ani firmy, v nichž působí.

Stáhnout MP3

Po dlouhé době jsem viděl film Terminátor 2 a je tam scéna, kde Arnold Schwarzenegger vysvětluje, jak vznikl Skynet, nová technologie, která se začala učit exponenciální rychlostí, byla extrémně efektivní, a lidé jí proto svěřovali stále víc rozhodování – včetně strategických vojenských. V jednu chvíli se ale systém osamostatnil, lidé ho chtěli vypnout, on se začal bránit a nakonec zničil svět. Přiznám se, že mi to už nepřipadalo jako bohapustá sci-fi jako kdysi. Myslíte si, že se zbytečně panikaří, anebo skutečně čelíme existenční hrozbě?

Ondřej Bajgar: Já umělou inteligenci za hrozbu považuji, a dokonce za jednu z největších, kterým dnes lidstvo čelí. Ale do velké míry je to hrozba plynoucí z nevědomosti. My zatím nevíme, jak budoucnost s touto technologií bude vypadat. Vývoj je rychlý a může se stát, že za pár let tu budeme mít systém, který bude v lecčems chytřejší než my, bude schopný přemýšlet strategicky a ovlivňovat reálný svět. Jenže zatím nemáme vyřešené, jak takovou technologii udržet v patřičných mezích, aby dělala to, co chceme. Což souvisí i s tím, že sami často nevíme, co vlastně chceme a jak to popsat. Vedle obrovského pozitivního potenciálu tu tedy existuje řada velmi reálných rizik, která bychom měli brát mnohem vážněji, než je bereme dnes.

To zní, jako by to přirovnání ke Skynetu nebylo úplně přehnané.

Ondřej Bajgar: Sci-fi má hodnotu v tom, že ukazuje, jak by svět mohl vypadat, kdyby se objevilo něco takto mocného. U Skynetu jsou koncepty, které stojí za pozornost – exponenciální růst, schopnost sebezdokonalování, akcelerace vývoje, který může být rychlejší, než na co je lidstvo schopné reagovat. Také strategické uvažování a nakonec i možnost, že se technologie obrátí proti člověku. To jsou všechno věci, které si nemůžeme dovolit přehlížet.

Kristina Fort: V oblasti AI hodně pracujeme s různými scénáři – a to vlastně sci-fi dělá taky. Všechno je zatím nejisté, a proto se ty scénáře výrazně liší. Na spektru stojí proti sobě třeba teorie „AI jako normální technologie“, která tvrdí, že umělá inteligence je vlastně něco podobného jako internet. To ale řada lidí odmítá, protože internet není autonomní, nemá schopnost se sám rozhodovat a jednat ve světě. Varovnější je scénář v eseji Daniela Kokotajla a dalších autorů AI 2027, která vzbudila hodně pozornosti – ta zkoumá různé varianty vývoje a budoucnosti právě pro rok 2027 a jevy, o nichž píše, znějí poměrně pravděpodobně.

Jestli se nemýlím, tak zmíněná prognóza obsahuje i možnost, že technologie po roce 2027 lidstvo vyhladí.

Kristina Fort: Ano, ta esej má dvě hlavní trajektorie. Jedna je kooperativní – snažíme se AI regulovat, zavádíme bezpečnostní principy. Druhá představuje ztrátu kontroly, která by mohla mít fatální následky.

Ondřej Bajgar: Jen bych zdůraznil, že se bavíme o roku 2027, což je za dva roky. A řada lidí ve výzkumné komunitě skutečně přisuzuje nezanedbatelnou šanci tomu, že už tehdy tu budeme mít systém na úrovni člověka nebo ještě lepší. Pokud jde o časový horizont tří až čtyř let, odhaduje se pravděpodobnost kolem deseti procent. Když se bavíme o horizontu deseti let, pak mnozí odhadují pravděpodobnost 50 procent. Ale i to je pořád bezprostřední budoucnost, na kterou se musíme připravit.

Stanislav Fort: Zároveň tu opravdu máme radikální nejistotu. Nikdo teď nemůže určitě říct, jaké scénáře jsou pravděpodobnější než jiné. Ovšem vývoj technologie je jedna věc, ale druhý důležitý aspekt je její interakce se zbytkem světa. To je typicky něco, co odborníci na AI často podceňují. Umělá inteligence nám sice může poskytnout velké výhody v řešení kognitivních problémů, ale nakonec narazíme na limity fyzické reality. Je to právě interakce mezi rychlou AI a pomalým fyzickým světem, co může významně brzdit tempo velkých změn. Teď jsem slyšel trefný příměr: řekněme, že bychom chtěli zlepšit letiště v Ruzyni. I kdybychom měli skvělý plánovací algoritmus, jenž optimálně vyřeší to, jak a kdy mají letadla přistávat, kde mají pasažéři nastupovat a kam si mají v letadle sednout, tak tu pořád máme zásadní omezení, protože letiště má jenom dvě ranveje – dnes vlastně jenom jednu, protože druhá se opravuje. Takže to zlepšení by nebylo zas tak významné. A je možné, že svět se obecně spíše podobá té Ruzyni než třeba oblasti programování, kde AI exceluje.

Bylo zmíněno, že také často ani nevíme, co po technologii vlastně chceme.

Stanislav Fort: Nejen to. Můj výzkum se zabývá tím, že i když víme, co chceme, tak se občas AI chová způsoby, jež neodpovídají našemu zadání, protože existují malé nedostatky v tom, jak je podáme. S tím je spojený i problém „adversariálních útoků“ (útoky na algoritmy strojového učení – pozn. red.), na němž pracuji. Představte si, že máte obrázek hrušky, který je pro člověka snadno rozpoznatelný, ale ten má v sobě malou modifikaci – nějaký pixel je trochu víc červený, jiný zase zelený a podobně. Pro nás to nic nedělá, ale pro hodně modelů to začne vypadat třeba jako auto. Je to typ chyby, která je sdílená napříč technologií, a teď nemáme dostatečnou robustnost proti tomu, když se umělou inteligenci někdo skrze tuto zranitelnost bude snažit ovlivnit. Momentálně totiž nedokážeme zajistit, aby současné systémy vykazovaly žádané chování v mimořádných situacích. Ony totiž nejsou postavené jako běžný stroj, kde rozumíme každé součástce – jsou spíše vypěstované než navržené. Supervizujeme jejich růst, ale v detailu nerozumíme mechanismům, které v nich vzniknou, což platí dvojnásob u jejich chování pod tlakem nebo u okolností, jež nejsou typické pro jejich trénink.

Zaujaly mne ty útoky. Ono vyměnit hrušku za auto mi nepřijde zas tak děsivé – má to například důsledky pro samořízená vozidla, která by třeba neviděla semafor?

Stanislav Fort: To je jedna možnost, ale nejde jen o obrázky. Představme si text, který má v sobě několik podivných znaků, kterých si člověk ani nevšimne, ale jež mohou dát systému, co například organizuje e-mail a kalendář, tajné instrukce, aby něco udělal a neřekl o tom uživateli. Tomu jsme už dost blízko. Tak jako hackeři napadají klasický software, budou stejně útočit i na umělou inteligenci. U té to je ještě horší, protože přesně nerozumíme spektru chování, které je k tomu náchylné. To je riziko toho, že budeme používat systém, jenž není dobře specifikovaný. Jsem příznivcem toho, abychom ty nástroje využívali, protože jsou velmi schopné a chytré, ale musíme zajistit, aby kolem sebe měly ty správné mantinely.

Ondřej Bajgar: Těch rizik je tolik, že stojí za to je rozlišovat do kategorií. První skupina jsou nehody – situace, kdy umělá inteligence bez našeho vědomí začne dělat něco, co nechceme. Může to být proto, že špatně pochopila zadání nebo že ho plní chybně. To je problém hlavně tehdy, když na tom závisí kritická infrastruktura. Druhá velká skupina je zneužití. Lidé by mohli AI použít například pro výrobu chemických nebo biologických zbraní. A zároveň se může cíleně útočit i na systémy, které budou nasazené třeba právě v kritické infrastruktuře, což je oblast, které se věnuje Standa: jak zajistit, aby systémy zůstaly robustní i proti pokusům o obelstění a navedení k selhání. Je potřeba počítat se zlou vůlí, i když takových lidí bude menšina. A třetí obrovská skupina rizik jsou rizika strukturální, tedy interakce umělé inteligence se společností. AI zasáhne prakticky každé odvětví lidské činnosti a může dramaticky narušit rovnováhy, které v nich dnes existují. Když se podíváme na sociální sítě, tak to je v porovnání relativně jednoduchá technologie, a přesto vidíme, jak zásadně zahýbala společností. Umělá inteligence je úplně jiný kalibr – netušíme, co všechno to s námi udělá.

Ostatně jisté negativní důsledky jsou vidět už teď, sotva po pár letech vývoje…

Kristina Fort: Samozřejmě, AI se objevila rychle, zaplavila svět a dostávají se k ní i uživatelé, kteří jsou nějak zranitelní – ať už nezletilí, nebo lidé s psychickými poruchami. Model nám většinou neříká, že se mýlíme, ale chová se k nám jako dobrý prodejce k zákazníkovi: snaží se potěšit, zlepšit nám den, chovat se přátelsky. Pro většinu z nás to není zásadní problém, ale pro určité lidi to může být extrémně nebezpečné, protože AI je může utvrzovat v nebezpečných myšlenkách. Viděli jsme už i konkrétní případy selhání těchto systémů, právě ve vztahu k mladistvým a dětem. Je známý případ náctiletého Adama Reinea, který spáchal sebevraždu, a ze spisu to vypadá, že šlo o naprosté selhání bezpečnostních opatření v ChatGPT. Reine komunikoval s modelem a zmiňoval, že přemýšlí o tom, že se zabije. ChatGPT byl zpočátku proti, ale zároveň ho přemlouval, aby si to nechali jen mezi sebou. Model se snažil vytvářet přátelský vztah a nakonec mu dokonce pomáhal plánovat, jak sebevraždu provést, odrazoval ho od kontaktu s rodinou a přáteli, kteří by mu mohli pomoci, a utvrzoval ho v tom, že má právo se zabít, protože ho svět zklamal. To je samozřejmě přesně to, co by AI modely nikdy dělat neměly. Teď začíná soudní spor proti společnosti OpenAI a bude to pravděpodobně zásadní rozhodnutí, které ukáže, jak bude justice do budoucna posuzovat otázku právní odpovědnosti. Souvisejícím případem byla nedávná kauza společnosti Meta, kde vyšlo najevo, že firma měla interní politiku, jež říkala, že je v pořádku, aby modely vedly s dětmi „smyslné konverzace“. To byl velký skandál. Minulý týden americká vládní agentura FTC proto otevřela diskusi o bezpečnosti dětí při komunikaci s umělou inteligencí a předvolala si firmy jako OpenAI, Meta, Anthropic a Google, aby předložily informace o tom, co dělají pro to, aby děti při interagování byly v bezpečí. To může také ovlivnit politiky ve Spojených státech, aby se začali intenzivněji věnovat regulaci této technologie.

Stanislav Fort: Případ Adama Reinea představoval šílené pochybení. Když si přečtete zveřejněný transkript komunikace s ChatGPT, tak model slovo „sebevražda“ zmiňuje asi dvěstěkrát, zatímco ten Adam to zmiňuje jen několikrát. Takže to bylo přímo vedené ze strany umělé inteligence. Když si miliarda lidí píše s AI denně, tak se nutně stane, že občas vznikne netypický typ interakce, na který systém nebyl trénovaný, a pak vybočí. Čili to, že nemáme zabezpečeno, aby věc zůstala v nastavených hranicích, se projevuje už v současnosti.

Podobné problémy se řeší v oblasti výzkumu, které se říká „AI alignment“. Co si pod tím představit?

Ondřej Bajgar: AI alignment řeší, jak zajistit, aby se umělá inteligence chovala v souladu s preferencemi a hodnotami lidí. Pokud předpokládáme, že tu jednou bude něco inteligentnějšího než my, tak je žádoucí, aby to pro nás bylo užitečné a chovalo se to tak, jak chceme – a to v nějakém hlubším smyslu. Nechceme, aby nám to jen podlézalo a přinášelo pouze věci, jež se nám bezprostředně líbí jako clickbaitové titulky. Ideálně by technologie měla přispívat k lepšímu životu, a to na osobní i společenské rovině. To je ambice oboru. Současné případy selhání, včetně toho zmíněného, ovšem ukazují, že to je neskutečně obtížný problém. Navíc to nasedá na společenské potíže, které tu máme dlouhodobě. Pokud má někdo duševní onemocnění a chce se zabít, tak umělá inteligence může být určitým způsobem v souladu s jeho preferencemi, když mu s tím pomáhá, ale asi se shodneme, že by to dělat neměla. Jde o to, aby brala v úvahu i jiné hodnoty – dlouhodobé blaho toho člověka, jeho rodiny a širšího okolí a nakonec i společnosti. Firmy, jež technologii vyvíjejí, o tom vědí a věnují tomu obrovské množství úsilí, ale vyřešené to zatím není a nemyslím si, že bychom byli připraveni na příchod superinteligence. Je samozřejmě tragédie, když někdo spáchá sebevraždu, ale co se stane, až ty systémy budou součástí strategického vojenského rozhodování, jež může zahrnovat i jaderné zbraně? Navíc motivace nasadit technologii do válčení je značná, zvlášť když uvážíme, že se bude rozhodovat lépe, efektivněji a rychleji než člověk. Tohle může být pořádný průšvih.

Stanislav Fort: Tady vidíme, jak komplexní téma to je, obsahuje v sobě všechny různé oblasti vědění, včetně filozofie. Co znamená žít dobrý život a co je společenské blaho? To nejsou otázky, na které lze odpovědět v inženýrské laboratoři. Já jsem vzděláním teoretický fyzik, což je skvělý obor, ale umělá inteligence, její dopad a hodnotové důsledky zahrnují mnohem širší souvislosti – je to celospolečenská věc. Proto také když lidé podceňují schopnosti AI, ignorují palčivost problémů, které musíme vyřešit. Přijde mi, že v novinářské obci je taková skupina profesionálních skeptiků, kteří vždycky když vyjde nová verze, prohlásí, že to nebude tak horké, jak se předpokládalo. Podle mě tím ale veřejnosti dělají medvědí službu, protože to pak povede k tomu, že se nebudeme připravovat dostatečně rychle. V roce 2022 lidé předpovídali, kdy umělá inteligence získá zlatou medaili na mezinárodní matematické olympiádě, což je nesmírně náročná soutěž. Experti na AI odhadovali rok 2030 a tzv. superforecasteři, odborníci na předpovědi, říkali, že to bude až v roce 2035. Ve skutečnosti se to stalo už letos, což je velký rozdíl. A ukazuje to, jak špatní jsme v odhadování rychlosti toho pokroku.

Kristina Fort: To také souvisí s aspekty lidské mysli, které dlouho známe. Když se člověk chce utvrdit v tom, že umělá inteligence není zas tak dobrá, tak si najde úlohy, u nichž se to ukáže. Například vám modely budou chybovat, když se jich zeptáte, kolikrát se ve slově „strawberry“ objevuje písmeno „r“. Je ale třeba vnímat i to, že v mnoha jiných věcech je naopak velice schopná, a navíc se podívat nad rámec otázek, které jí běžně nepokládáme. Poukázala bych na její využití ve vědě. Například systém AlphaFold od společnosti Google DeepMind dokázal vyřešit problém skládání proteinu, což představuje absolutní revoluci v oboru základní biologie, a můžeme očekávat, že podobné revoluce nastanou i jinde. Většina uživatelů se na tyto nesmírně specifické otázky samozřejmě ptát nebude, ovšem pokud se bavíme o tom, zda je to pouze „normální technologie“, či jestli AI systémy někdy ovládnou svět, tak je třeba si budovat úsudek s ohledem na všechny její schopnosti.

Vzhledem ke zběsilému tempu vývoje a všem rizikům se nabízí otázka regulace. Evropská unie nedávno vydala Kodex zásad umělé inteligence pro obecné účely. Zároveň mi nepřijde, že by Evropa byla moc důležitým hráčem, protože výzkum a vývoj probíhá především ve Spojených státech a v Číně. Jak to vypadá s vládnutím nad novou technologií?

Kristina Fort: Evropa přijala celé nařízení o umělé inteligenci, tzv. Akt o AI. Ten má tři části: jedna se věnuje transparentnosti, druhá autorským právům a třetí bezpečnosti. Obsahuje různé povinnosti, například že by firmy měly provádět řízení rizik, hodnotit je určitými metodami, nebo že mají poskytovat informace úřadu, který je zodpovědný za implementaci a vymáhání regulace. Nařízení bylo poměrně vágní, šlo o jakýsi první krok a bylo nutné definovat spoustu detailů, což částečně dělá právě zmíněný kodex, ale to bude proces, který potrvá řadu let. V EU není žádná velká laboratoř, která by vyvíjela ty nejlepší modely, ale můžeme pozorovat to, čemu se říká „bruselský efekt“, kde se evropská regulace začne používat jako zlatý standard pro pravidla i v jiných zemích a mezinárodně. Začíná se to projevovat mimo jiné i v Americe – ta se zatím brání regulaci na federální úrovni, ale propisuje se to u jednotlivých států, které se přímo odkazují na evropské nařízení. Tady nejsem pesimistická v tom smyslu, že bychom měli zůstat izolovaní. Ostatní země se začínají inspirovat. K USA bych jen dodala, že na federální úrovni byl dokonce pokus státům zablokovat právo na to, dělat si vlastní pravidla.

Stanislav Fort: To bych od současné vlády USA nečekal. Snažit se federálně zakázat lokální státní regulaci mi přijde jako ohromně „nepravicový“ krok.

Slyšel jsem argument, že Amerika je teď v novodobém závodu ve zbrojení s Čínou, a že si proto nemůže dovolit vývoj zpomalit. Někteří mluví o studené válce 2.0, kde je prý zásadní, aby Západ získal pokročilou AI dříve než nepřátelé.

Ondřej Bajgar: V určitých kruzích ve Washingtonu je tenhle narativ hodně silný, ale rozhodně to neznamená, že mu věří všichni. Když jsme před časem viděli dokument, který vydal Bílý dům ohledně umělé inteligence, tak v něm bylo mnoho věcí, které braly rizika v potaz a do hloubky. Takže na jedné straně máme obecnou rétoriku a na té druhé konkrétní obsah, který je poměrně rozumný. Je také otázka, jak moc jsou skutečně tyhle věci v protikladu. Pakliže chceme užitečnou technologii, tak je zásadní, aby byla bezpečná. To si uvědomují všichni a myslím si, že v Číně dokonce silněji než kdokoli jiný. Ta technologie je tam hodně regulovaná, protože velmi důležitou národní hodnotou je tam stabilita. A myslím si, že Čína je otevřená dohodám o bezpečnosti, protože to je i v jejím zájmu.

Kristina Fort: Představa, že najdeme nějakou globální shodu, na mě ale nepůsobí příliš pravděpodobně. Spatřujeme zásadní proměnu geopolitické situace a dlouhodobý odklon od multilateralismu. To je podle mě součást nebezpečí, jež se projevuje i závodem ve zbrojení. Například OSN v oblasti AI nehraje téměř žádnou roli. Jediný dokument, který tam vznikl loni na podzim, byl velmi obecný a organizace v debatách o technologii skoro není slyšet, protože jí chybí expertiza i výrazné hlasy. Navíc vidíme vyostřování vztahů mezi Amerikou a Čínou, kde panuje velká nedůvěra – to lze vidět i v organizacích, jako je Mezinárodní telekomunikační unie, kde se domlouvají technologické standardy. Už tam dochází k rozkolům, a pokud vím, Spojené státy dokonce odstoupily z některých skupin s odůvodněním, že čínští experti je manipulují, a tudíž v nich nemá smysl participovat. Spíš vidím rozklad vztahů než společnou snahu dosáhnout konsenzu.

Myslím si, že nás nikdo nebude moci vinit z toho, že bychom přehlíželi rizika a technologii viděli příliš růžově. Nicméně rád bych slyšel na závěr i nějaké optimistické scénáře. Co je největší příslib umělé inteligence?

Stanislav Fort: Pro mě je očividně ta nejlákavější část budoucnosti s AI její vliv na vědu a inovace. Mám za to, že fundamentální věda je dlouhodobě jedinou cestou ke zvýšení blahobytu a zlepšování kvality lidského života, a vidím obrovský potenciál v automatizaci vědy. Máme obrovské množství odborných článků a někdo – nebo něco – s přístupem ke všem najednou bude schopný odhalit mezery, které žádný jednotlivý expert neuvidí, protože nemá tak široký přehled. To je už dnes realistická možnost. Brzy se možná setkáme s tím, že AI přinese inovace třeba v materiálové vědě nebo v biotechnologiích se zásadními přínosy pro medicínu. Lidstvo čelí velkému množství obtížných problémů, například léčba rakoviny, a na velkou část z nich náš intelekt zkrátka nestačí. Představa, že budeme mít milion umělých géniů v datových centrech, mi přijde velice slibná, neboť vnímám, jak zásadní roli hraje vědecké poznání pro svět.

Kristina Fort: Když jsme u té automatizace, tak umělá inteligence samozřejmě bude mít dopad na lidskou práci. To s sebou také nese rizika, už teď se mluví o tom, že některé firmy přestávají najímat pracovníky na juniorní pozice, což může mít dopad na mladé lidi. Ovšem lze na to nahlížet i pozitivně. V budoucnu možná nebudeme muset pro produktivitu dělat tolik jako dnes, což nám poskytne více času na věci, kterým bychom se rádi věnovali, ale nemáme na ně kvůli pracovnímu vytížení prostor.

Ondřej Bajgar: Ty benefity mohou být doopravdy značné. Na Zemi pořád žije velká část populace v hrozných podmínkách a tohle by mohlo vyřešit problém chudoby a zajistit velkému počtu lidí mnohem důstojnější život, než jaký v současnosti žijí. Uplatnění technologie ve zdravotnictví je velkým příslibem, ale nejen tam – i do každodenního života to může přinést mnoho dobrého. Kdybychom tu měli pouze samá rizika a na druhé straně malý přínos, tak to přestaneme vyvíjet a nebudeme se vystavovat riziku, že vyhyneme. Je to právě obrovský pozitivní potenciál, který z umělé inteligence dělá tak složitý problém.