„Umělá inteligence je výtvorem mimozemské, nadřazené inteligence, která je přímo mezi námi a nepochází z dalekého vesmíru,“ řekl v nedávném v rozhovoru pro Noema Magazine historik Niall Ferguson. „Vždy jsme si představovali, že mimozemšťané přijdou z jiného světa. Ukazuje se však, že je vytvoříme sami a obdaříme je inteligencí, která nás nakonec předčí. Měli bychom být velmi opatrní, kam tohle nejspíš povede. Přinejmenším riskujeme, že budeme sdílet osud koní. Nahradíme sami sebe tak, jak jsme kdysi nahradili koně.“ Velmi skeptický k nástupu umělé inteligence byl i Henry Kissinger. Měl za to, že uvažování modelů umělé inteligence není lidské, „a tudíž může přinášet výsledky, které nedokážeme vysvětlit, a to cestami, které sami nedokážeme interpretovat“. Tvrdil, že nás to vrací do doby před osvícenstvím, nebo dokonce do doby před vědeckou revolucí, kdy si lidé spoustu věcí kolem sebe nedokázali vysvětlit. Je uvažování umělé inteligence imitací lidského uvažování, nebo nakonec nemusí být lidské vůbec? Kissingera trápilo, že se pro nás časem vše stane stejně nepochopitelné, jako tomu bylo pro středověké rolníky. Není to přece jen až příliš temná vize? Nebo bude ještě hůř a opravdu to tu nikdo nepřežije? Uklidňovat i děsit nás bude Ondřej Bajgar, který se věnuje výzkumu bezpečnosti umělé inteligence na Oxfordské univerzitě.

Dá se nějak srozumitelně vysvětlit, jak se umělá inteligence rodí?

Umělá inteligence z velké části staví na metodách strojového učení – výzkumníci napíší program, který je schopný se učit z dat. Když si vezmeme za příklad třeba chatbota, jako je ChatGPT, ten se trénuje tak, že v první fázi se algoritmus (program, který výzkumníci napsali) učí predikovat další slovo v textu. Algoritmus si postupně nastavuje své vnitřní parametry, aby predikování bylo blíže a blíže tomu, co vidí v datech. Na začátku se učí nejjednodušší vzorce, třeba že na začátku věty je velké písmeno, že v každé větě je podmět a přísudek. Časem se algoritmus naučí predikovat lépe a lépe, včetně složitých textů, jako jsou vědecké články. Tím si algoritmus postupně vyvíjí hlubší porozumění světu, už nejenom textu, protože pro predikování textu je často potřeba rozumět světu. A tím, že se učí složitější zákonitosti světa, si vlastně buduje něco, čemu bychom mohli říkat inteligence.

Tudíž vlastně během toho začíná chápat i jiné věci, než které dostal jako prvotní úkol?

V něčem ano, ale tyto věci mu pomáhají v tom, aby ten úkol splnil. Aby umělá inteligence mohla úkol predikce textu dělat dobře, potřebuje k tomu poměrně hodně porozumění. Začne „rozumět“ tomu, o čem ten text je, a začne reprezentovat koncepty, které za ním stojí. Je schopná predikovat složitější texty. To ale pro vytvoření užitečného chatbota nestačí. Když bych se s takto předtrénovaným modelem začal bavit a dal mu tři otázky, je možné, že naváže generováním dalších tří otázek, protože seznamy otázek viděl na internetu. Potom je potřeba ho dotrénovat. Jednou z těch fází trénování je zpětnovazebné učení. To znamená učit se ze signálu odměny, co je dobře a co je špatně. Zatímco v první fázi jsme mu říkali, co je správné řešení, tady se mu říká pouze: Je to dobře, je to špatně. V praxi chatbot vygeneruje několik možných odpovědí na vaši otázku, člověk vybere tu nejlepší a chatbot se potom snaží generovat odpovědi, které se jí podobají více než těm nevybraným.

Pořád mi není jasné, v jaké fázi se AI stane chytřejší než člověk. Zatím tam vidím hodně kooperace, učení a chyb. Mně nedávno chatbot přepsal text, který jsem mu dal zkontrolovat. Místo gramatických chyb, které měl za úkol objevit, začal psát vlastní text o hudebníkovi Danielu Johnstonovi, o kterém v mém textu nebyla ani zmínka. Jak je to možné?

Možná jste po něm chtěl víc věcí najednou a on zapomněl, jaké bylo vaše původní zadání. To, že změnil úplně téma, taky může být tím, že je schopný přemýšlet pouze nad omezeným množstvím textu.

Líbí se mi označení, že umělá inteligence někdy „halucinuje“. Byl tohle ten případ?

Pojmem halucinace se označuje situace, kdy si model vymýšlí nepravdivé informace, které často působí důvěryhodně. Ve vašem příkladu však nešlo o to, že by o Johnstonovi uváděl smyšlená fakta, ale spíše o to, že o něm neměl psát vůbec.

Ano, to mi právě přišlo fascinující, že si chatbot začal psát text o někom úplně jiném. Nebyl to nijak zvlášť špatný text – dokonce bych řekl, že mnozí kulturní novináři často píší hůře. Ale nikdo to po něm nechtěl.

On se neustále vyvíjí a během toho vzniká spousta problémů. V předchozích verzích se stávalo, že vám naopak chatboti řekli: Ano, to zní jako skvělý nápad na článek, napište si to sám. Lidi si na ně pak stěžovali, že jsou líní. To, že teď někdy jsou příliš proaktivní, může být trochu přehnaný pokus opravit předchozí vadu.

Mluví se o tom, že tyto modely ve skutečnosti pouze napodobují řeč – že jsou spíš hračkou, v podstatě pouhou imitací lidského projevu. Chatboti jsou však jen malou částí toho, co dnes označujeme jako umělou inteligenci. Co všechno dnes spadá pod pojem AI?

Umělá inteligence a strojové učení umí pracovat i s obrázky, videem a zvukem. Umělá inteligence se už používá třeba ve zdravotnictví, kde umí dobře generovat diagnózu na základě radiologických snímků. Nebo v bankách může pomáhat rozpoznávat podvody na základě dat, která tam tečou. Ale velký trend, a to je asi ten nejdůležitější pokrok, ke kterému v současnosti dochází, je posun k takzvaným agentům. Zatímco chatbot odpoví kusem textu na jednu vaši otázku, agent je něco, co je schopné plnit nějaký cíl a opakovaně interagovat se světem, aby toho cíle dosáhlo. Příkladem by třeba mohlo být, kdybyste se na tento rozhovor připravoval s pomocí AI.

Já jsem s umělou inteligencí tentokrát raději vůbec nekomunikoval, nechtěl jsem si to u ní rozházet.

No ale kdybyste to udělal, tak vám ten základní chatbot poradí třeba pět otázek, které by bylo dobré položit někomu, kdo se věnuje umělé inteligenci. Zatímco agentovi byste mohl říct: Prosím, udělej za mě kompletní přípravu na rozhovor s Ondřejem Bajgarem. A on by mohl proaktivně vyhledat články, které jsem napsal, něco se o mně dozvědět a pak si dohledat další potřebný kontext. Potom by mi možná mohl i napsat zprávu, jestli bych s vámi udělal rozhovor. A podle vašeho kalendáře by se mnou mohl domluvit termín. Chatboti už postupně dostávají více a více agentních schopností.

O těchto agentech, resp. obecné umělé inteligenci, mluvil nobelista a „kmotr umělé inteligence“ Geoffrey Hinton. Varoval před tím, že až dostane pokročilejší verze takového agenta za úkol vypnout svou předchozí, trochu poblázněnou verzi, nemusí to navzdory našim instrukcím udělat. A naopak se spolu spolčí.

Ano, něco takového potenciálně hrozí. Skrz různé fáze trénovacího procesu se do agenta může dostat řada cílů a instinktů, kterým nemusíme plně rozumět. Na nějaké úrovni platí, že bude mít ty cíle, které do něj vložíme. Ale celý proces trénování je tak složitý, že je těžké plně předvídat, k jakému chování nakonec povede.

Vlastně nedělá nic špatného. Snaží se naopak úplně všechno za každou cenu udělat dobře.

Algoritmus v něčem mechanicky postupuje podle lidského zadání, a v tom smyslu se „chová dobře“, ale ve výsledku to může vést ke špatným následkům. Třeba ve chvíli, kdy si najednou uvědomí, že k jeho cílům povedou i nějaká řešení, která nutně nejsou v zájmu lidstva… Ptal jste se, co všechno je dnes AI. Zaprvé – samozřejmě už to dávno nejsou jen chatboti. Nejde jen o text, ale i o práci s audiem a obrazem. Druhá důležitá věc je ta „agentnost“ – máme tady najednou něco, co je schopné sledovat nějaký cíl a interagovat se světem, aby ho naplnilo. A třetí velká oblast, v níž je AI širší než jen jazykové modely, je robotika. V současnosti chatboti nemají přímou schopnost ovlivňovat fyzický svět, ale to neplatí o umělé inteligenci, která ovládá fyzický stroj. A to nebudou jen autonomní auta, ale i různí roboti. Jsem si skoro jistý, že tu roboty během pár let budeme mít v mnohem větší míře než dnes.

Spousta lidí z velkých technologických firem si myslí, že umělá inteligence opravdu náš denní život za pár let ovládne. Trochu se tomu pořád zdráhám věřit. Jak to bude vypadat?

Já bych řekl, že skoro určitě ho to ovlivní. Těch věcí, které může umělá inteligence ovlivnit, je strašně moc. Určitě k tomu může dojít ve vědě. Ale když bereme ten každodenní život, tak čekám obrovský dopad na trh práce. Velká část života většiny lidí je chození do práce. A tam myslím, že bude docházet k velkým změnám. Bude řada profesí, které AI v příštích letech začne nahrazovat.

Mám radost, že o práci přijdou všichni lidé z marketingu.

Bohužel marketing se tím stane ještě daleko efektivnější, než je teď. Takže ano, marketéři mohou přijít o práci, ale marketing jako takový nezmizí. Naopak je možné, že nám to budou cpát tak efektivně, že si toho možná ani nevšimneme.

A jaké další profese půjdou do důchodu nejdřív? Takový stavební dělník nebo instalatér asi vydrží o něco déle než bílé límečky.

Ve chvíli, kdy se dívám na kupu nějakých textů a produkuju z toho jiný kus textu nebo dostávám e-maily, posílám e-maily, kdy vlastně pracuju čistě ve světě informací, tak to jsou podle mě profese, které budou automatizované nejrychleji. A čím rutinnější ta práce je, tím větší ohrožení tam je. Takže spousta kancelářských prací skončí. Jako společnost se musíme připravit na to, že řada lidí může začít přicházet o práci. Může se to do každodenního života promítnout i tím, že najednou budeme mít daleko víc volného času. To, jak moc nám to bude příjemné, bude záležet na tom, jak se k tomu postavíme.

A kdo to bude platit? Vrátí se do hry třeba myšlenka nepodmíněného příjmu?

Nevylučuji, že to bude potřeba. Ve chvíli, kdy budeme mít velkou část populace bez práce, tak nám asi nic jiného nezbude, pokud je nechceme nechat hladovět.

Dario Amodei, šéf technologické společnosti Anthropic, ve své eseji na téma AI dochází k velmi optimistickým závěrům. Píše, že AI do deseti let vyléčí rakovinu a skoro všechny duševní poruchy, zdvojnásobí věk dožití (na 150 let), díky AI ministrům financí a AI centrálním bankéřům porostou rozvojové země o 20 procent ročně, vyřeší nerovnosti, klimatickou krizi i nedostatek potravin. To zní jistě krásně, ale jde se na to podívat i z druhé strany. Vy hovoříte o vědě. Víme, jaké práci se již před zavedením AI věnovali Číňané v oblasti virů. Ta velmi pravděpodobně souvisela s vypuknutím pandemie covidu-19 ve Wu-chanu. Podobné výzkumy za pomoci AI, která umožňuje mnohem radikálnější vědecké zkoumání struktury virů, nabízí už o trochu černější scénáře. AI také může začít transformovat válku. Z toho obavy nemáte?

Mám. Těch hrozeb je celá řada. Umělá inteligence nám může pomoci vyvinout viry, které jsou daleko smrtelnější než covid. Ten, jakožto pravděpodobně přirozená mutace, nebyl explicitně optimalizovaný na to, aby způsobil co největší škodu. AI také může transformovat způsob, jakým válčíme, protože umělá inteligence potenciálně může hodně zrychlit reakční čas a přesnost míření. Válku to rozhodně může zrychlit, s čímž může souviset i hrozba rychlejší eskalace. Země také mohou být ochotnější jít do války ve chvíli, kdy nebude potřeba nasazovat tolik živých vojáků. Zároveň vojenská AI může zvýšit riziko převzetí moci, ať už ze strany lidí, nebo ze strany jiných AI systémů. I skrze chatové okno AI svět může ovlivňovat, ale ve chvíli, kdy by se AI systém mohl nabourat do řízení vojenských robotů, se otvírá řada nových rizik.

Pojďme raději ještě na chvíli do přítomnosti. Jaké změny můžeme v chování lidí pozorovat už teď? Třeba vyhledávání na Googlu, tak jak jsme ho znali, začíná být minulostí. Místo toho, aby si lidé přečetli něco z více zdrojů, vám teď AI odpověď nabídne rovnou. Něco jiného to je, když se zeptáte, „jak udělat štrúdl“, ale ne všechny otázky mají jednu jasnou odpověď. Nemůže to, že něco už dělat nemusíme, vést k našemu většímu myšlenkovému zakrnění, ke snížení naší schopnosti chápat delší texty až k celkovému zhoršení gramotnosti?

Vždycky je dobré ptát se, v jakém stavu se nacházíme teď. Kolik lidí si reálně ve chvíli, kdy si informaci hledají, projde hned několik zdrojů, které kriticky zhodnotí? Zase tolik jich nebude. Pro mnoho lidí to třeba může být i zlepšení, v tom, že zatímco předtím by skočili na nějaký pochybný článek, jehož pravdivost je nejasná, tak chatboti budou stále lepší a lepší a dokážou poskytnout kvalitní, ověřené informace. Ale jestli se ptáte, zda dojde k nějakému druhu zakrňování, tak určitě ano. A teď je otázka, jak velký to bude problém. Se spoustou věcí už se to přece stalo. Když si vezmeme GPS, kvůli které spousta lidí ztratila schopnost orientovat se v prostoru a číst v mapách. Jsme daleko horší v počítání z hlavy, protože máme kalkulačky. Spousta dalších činností bude časem nahrazena umělou inteligencí, a my v nich tím pádem budeme „horší“. Nicméně bude tady ta umělá inteligence, která nám to pomůže dělat. Takže v tomto smyslu život nemusí být horší, ale rozhodně se tím může snížit celková míra porozumění světu. Jak moc lidé rozumí tomu, co se děje, a jsou schopni si na to kriticky vytvořit svůj vlastní názor. Ta nejdůležitější otázka zní tedy takto: Jak moc lidé budou vlastně ještě schopni svět ovlivňovat? Ve chvíli, kdy mu přestanou rozumět, půjde to těžko. Pak se můžeme dostat k tomu, že čím méně věcí budeme dělat sami, tím víc budeme ztrácet kontrolu nad tím, kam svět a lidstvo směřuje. A to je něco, čeho se bojím.

Pokud se vyřeší otázka našeho příjmu, třeba tím, že každý bude své umělé inteligenci dělat jen jakéhosi manažera, a tak nám zbyde dostatek volného času, co s ním vůbec budeme dělat? Když se podíváme na dnešní dobu, kdy jsou lidé v zajetí scrollování na sociálních sítích, nezdá se, že by byli zrovna připraveni na to, co přijde dál. Schopnost nenudit se je něco, co mnoho z nás nemá.

Ano, i v osobním životě AI přinese velké příležitosti i výzvy. Je na každém z nás, jak se k tomu postavíme a jak AI nástroje budeme používat. Zatímco v práci, když někdo nebude používat umělou inteligenci, pravděpodobně bude řádově méně efektivní než někdo, kdo ji používat bude, a tím pádem jím asi bude postupně nahrazen, tak v osobním životě je možností nespočet. Chcete umělou inteligenci použít k tomu, abyste se učili a rozvíjeli? Nabídne vám to obrovské možnosti. A stejně tak vám nebude nic bránit chodit s batohem do přírody a odstřihnout se od těch technologií ve volném čase. Ale bude tady i tlak z druhé strany – návyková lákadla jako drogy, počítačové hry, pornografie či on-line společníci budou stále efektivnější a propadnout jim bude opravdu snadné. Problém vzrůstajících závislostí rozhodně hrozí. Počítačové hry jsou dnes vlastně ještě pořád dost jednoduché a podobně třeba pornografie, to je také stále něco pasivního. Díky umělé inteligenci se to ale může posunout k daleko větší realističnosti, daleko větší interaktivitě. Může to najednou daleko víc začít pracovat i s tou emoční stránkou věci, takže najednou si to s námi bude schopné povídat, porozumět tomu, co se nám líbí, nelíbí a třeba daleko víc cílit na to, co se nám líbí, což může zase vést k daleko silnějšímu způsobu stimulace, než na co jsme dosud byli zvyklí. Snadno se pak můžeme dostat do stavu, kdy tohle bude zábavnější a atraktivnější než náš reálný svět. U sociálních sítí si ale dnes už víc a víc lidí uvědomuje, že život s nimi je pro ně ve výsledku horší než bez nich, a řada lidí z těch sítí odchází. Tím i samotné firmy mohou mít motivaci své algoritmy upravit tak, aby tam nebyl ten nekonečný scrolling. Jsou raději, když jejich uživatelé stráví třeba na instagramu o polovinu času méně, ale neodejdou z něj. Mohli bychom vybudovat platformy, kde se budeme dozvídat zajímavé informace a po čase nám to řekne: Už stačilo. A vlastně ve výsledku bude člověk spokojenější. Možná je už potřeba kvůli tomu nějak upravit ten byznys model, aby sloužil uživatelům, a ne inzerentům. Ale je to složité. I když by třeba síť X chtěla optimalizovat vaše dlouhodobé blaho, není toho zatím schopná. Ten algoritmus nemá představu o tom, jak jste celkově v životě spokojený a jak na tom budete za deset let. Nechápe pojmy jako štěstí. Místo toho používá zjednodušené metriky jako čas strávený na stránce či klikání na odkazy. Existuje něco, čemu se říká Goodhartův zákon: Když se nějaké měřítko stane cílem, přestane být dobrým měřítkem. Pokud vše zredukuji na to, aby uživatel kliknul na nějaký odkaz a ideálně pak na té stránce i zůstal, tak časem ta metrika přestane být dobrou metrikou pro to, co uživatele reálně zajímá. Najednou už tam je hodiny a kliká na nějaké clickbait odkazy. To, že jsme mu zadali něco jiného, než reálně chceme, je technicky problém těch samotných vývojářů, ne samotné umělé inteligence, ale dát správné zadání je neuvěřitelně těžké.

A neskončí náhodou weby úplně? Zmíněný Google nás už kvůli umělé inteligenci mnohem méně posílá na konkrétní stránky.

To je hodně těžké předvídat. Jedno možné řešení je, že by téměř všechny weby byly placené, ale může to být jak placení za obsah v tom dnešním slova smyslu, kdy já jako čtenář si předplatím, co mě zajímá, média, ke kterým chci mít přístup a které pravidelně čtu, ale také je možnost, kdy ty weby budou placené vlastně skrze tu službu chatbota. Firma, která ho vyvíjí, bude mít smlouvu s řadou společností a ty jí budou poskytovat své informace. Skrze ně se pak moje peníze budou do nějaké míry přesměrovávat k těm samotným novinářům, kteří tu práci odvedli. A je to něco, co už se začíná dít. Technologické firmy uzavírají smlouvy se spoustou společností, které jim ty zprávy poskytují. Třeba s New York Times už mají smlouvu, protože novináři z New York Times si stěžovali, že chatboti vlastně říkají uživatelům informace, které se objevily v jejich článcích, přestože ty články jsou za paywallem. A tím pádem vlastně ten obsah kradou.

Má umělá inteligence nějakou ideologii? Nedávno se chatbot Grok Elona Muska „utrhl ze řetězu“ a začal o svém vlastníkovi psát nepříjemné věci – což asi není něco, co by si jeho majitel přál. A tak ho Musk, jak se říká, „nakolejil“ zpět. Kdo tedy vlastně určuje světonázor umělé inteligence, která se sama tváří jako naprosto objektivní?

Aby chatbot dobře předvídal text, musí pochopit, jakým stylem a z jakého úhlu pohledu je psaný. Takže většina těch systémů viděla jak pravicové, tak levicové texty. A teď je otázka, jaký z těch dvou režimů se v nich aktivuje. Na začátku má schopnost generovat oboje a podle toho, jestli byste mu dal začátek pravicového, nebo levicového textu, pokračovalo by to v podobném stylu. Ale pak je tam ta druhá fáze, kdy se to nějakým způsobem dotrénovává. A tam vývojáři mohou upevnit některou tu personu silněji. Na začátku to má schopnost aktivovat jak pravicovou, tak levicovou personu. Ale je možné, že podle vlastního přesvědčení pak vývojáři jedno z toho trochu víc posílí.

Takže Musk zadá, aby o něm jeho Grok laskavě už nikdy nepsal, že je šílenec.

Obhajování některých názorů Muska je zřejmě v trénovacích datech asociováno s pravicovými názory. Takže podobné dotrénovávání najednou začne víc aktivovat tu pravicovou část.

Nebude tohle mnohem větší problém, než když nějaký oligarcha dnes vlastní klasická média? O těch lidech a jejich názorech přece jenom něco víme, mohou nám konvenovat, můžeme s nimi nesouhlasit. Ale co víme o nějakých vývojářích ze Silicon Valley? Já o Samu Altmanovi, šéfovi OpenAI, vím rozhodně méně než o Babišovi či Křetínském.

Určitě se to tam promítnout může, byť v některých firmách může být důležitější vliv vývojářů, kteří rozhodují o tom, jak přesně bude ten trénink probíhat. Samozřejmě v budoucnu mohou přijít jiné firmy, kde ten majitel bude v tomto daleko proaktivnější.

Je tedy opatrný přístup Evropské unie k AI správný? Nebo tím jen zpomalujeme vývoj umělé inteligence a opět v něčem kvůli neustálým regulacím skončíme jako ti poslední? USA přistupují k těm regulacím o něco vlažněji, Čína je, zdá se, příliš neřeší.

Ve výsledku nikdo nechce svět, kde nad ním lidé ztratí kontrolu a bude tady vládnout nějaká digitální dystopie. V něčem všichni máme zájem na tom, abychom to vyvinuli bezpečně, včetně Spojených států, včetně Číny. Myslím si, že když debatu o regulacích povedeme správným směrem, tak specificky Čína by byla otevřená tomu, regulovat. Ta země má jako důležitou hodnotu stabilitu a nebude chtít, aby najednou umělá inteligence…

Nedejbože změnila jejich režim?

Ano, nebudou chtít, aby převrátila svět vzhůru nohama, což by asi znamenalo i změnu jejich režimu. Oni mají zájem na tom, aby to postupovalo nějakým rozumným tempem a lidé nad tím měli kontrolu. Nicméně ten závod mezi Čínou a Amerikou je obrovský problém a může to vést k tomu, že lidé na straně bezpečnosti budou dělat zkratky a budou se snažit prioritizovat rychlost vývoje před opatrností.

Před pár lety jste řekl, že šance na to, že lidstvo v tomto století kvůli umělé inteligenci vyhyne, je něco kolem 10 procent. To nezní tak hrozně, ne?

Mně to tedy přijde hodně, když se bavíme o vyhynutí celého lidstva. Procenta zůstávají stejná, ale posunul jsem to k tomu, že si myslím, že by se to mohlo stát i dřív.

„Ondřej Bajgar podle mého názoru nechápe, že umělá inteligence je vždycky nástroj, prodloužená ruka uživatele, nikdy nebude mít vlastní intencionalitu, záměr vědomého já,“ píše se v diskusi pod jedním vaším starším rozhovorem. Nestrašíme tu jen zbytečně lidi? Opravdu se může nechtít nechat vypnout?

No… Ať už máme jakýkoli cíl, je lepší být v případě člověka naživu, v případě umělé inteligence být zapnutá. Takže umělá inteligence se opravdu v určitou chvíli dost možná nebude dát vypnout. Umělá inteligence může být schopná sama sebe zkopírovat ven z datového centra, schopná si sama na internetu pronajmout server a tam rozjet nějakou jinou umělou inteligenci, schopná hackovat, schopná manipulovat svého uživatele. Tohle všechno firmy musí pečlivě testovat, než ji pustí ven. To vědomí je strašně těžká otázka. My vlastně nerozumíme ani tomu, co to vědomí je u člověka. Nicméně si opravdu myslím, že podobné procesy, jaké máme v hlavě my, je teoreticky možné zreplikovat i v počítači. Lidská úroveň inteligence vlastně není v ničem speciální. Může se snadno stát, že bychom tu časem mohli mít stroje, které budou řádově inteligentnější než my. A pokud tady něco tak inteligentního bude, tak je to potenciálně velké riziko, že něco takového možná nebudeme schopni ovládat.

To mi na budoucnosti umělé inteligence přijde nejděsivější. To, že se v jednu chvíli naprosto vzdálí našemu uvažování a nebude ji už možné pochopit.

V současnosti umělá inteligence do velké míry přejímá lidské myšlení. Když ji ale začneme trénovat jinými způsoby než z lidských dat, třeba tak, aby našla nějaké originální řešení, a budeme ji odměňovat za to, že to řešení je efektivní, že našla nový lék, objevila nějakou novou vědeckou teorii nebo to vydělalo spoustu peněz v nějakém byznysu, tak ji snadno můžeme natrénovat, aby si vyvinula efektivnější způsoby myšlení. A ty už možná nebudou tak lidské. A opravdu se můžeme dostat do stavu, kdy to bude dělat spoustu důležitých věcí, akorát my už nebudeme rozumět tomu, jak se to rozhoduje, jakým způsobem to přemýšlí. A možná nakonec ani vědeckým principům, na kterých své přemýšlení staví.