Zběsilé závody o komercializaci umělé inteligence vytvářejí nebezpečně nestabilní prostředí, zvyšující pravděpodobnost katastrofického selhání, které by mohlo nevratně podkopat důvěru veřejnosti v tuto technologii. Toto je varování Michaela Wooldridge, předního výzkumníka AI na Oxfordské univerzitě, který tvrdí, že neutuchající tlak trhu nutí společnosti přijímat nástroje AI dříve, než plně pochopí jejich nedostatky.
Nebezpečí předčasného nasazení
Wooldridge poukazuje na to, jak snadno se obcházejí bezpečnostní opatření v chatbotech AI, což je důkazem tohoto trendu. Společnosti upřednostňují rychlost uvádění na trh před přísným testováním a vytvářejí scénář, ve kterém je velký incident nejen možný, ale stále pravděpodobnější. Tato situace připomíná historické technologické selhání, zejména katastrofu vzducholodě Hindenburg v roce 1937.
Ohnivá destrukce vzducholodě, způsobená jiskrou zapalující vysoce hořlavý vodík, přes noc zničila důvěru veřejnosti v technologii. Wooldridge věří, že AI čelí podobnému riziku: Jedno významné selhání by mohlo zastavit vývoj napříč mnoha sektory.
Potenciální katastrofické scénáře
Důsledky mohou být rozsáhlé. Wooldridge předvídá smrtící softwarové chyby v samořídících autech, kybernetické útoky řízené umělou inteligencí, které paralyzují kritickou infrastrukturu (jako letecké společnosti), nebo dokonce finanční kolapsy způsobené chybnými kroky AI, jako je skandál Barings Bank. Nejedná se o hypotetické scénáře: jedná se o „velmi, velmi pravděpodobné scénáře“ v oblasti, kde pravidelně dochází k nepředvídatelným selháním.
Hlavní problém: aproximace, nikoli přesnost
Problémem není jen lehkomyslnost; spočívá v základní povaze moderní umělé inteligence. Na rozdíl od idealizované umělé inteligence výzkumných prognóz, která měla poskytovat rozumná a úplná rozhodnutí, jsou dnešní systémy hluboce chybné. Velké jazykové modely v srdci většiny chatbotů s umělou inteligencí fungují tak, že předpovídají nejpravděpodobnější další slovo na základě statistických pravděpodobností. To má za následek, že systémy u některých úkolů uspějí, ale u jiných nepředvídatelně selžou.
Kritická chyba: Tyto systémy postrádají sebeuvědomění a produkují sebevědomé, ale často nesprávné odpovědi, aniž by si uvědomovaly svá vlastní omezení. To může uživatele svést v omyl, aby si mysleli, že AI je spolehlivým zdrojem pravdy, což ještě zhoršují společnosti vyvíjející AI tak, aby napodobovala lidské interakce.
Iluze racionality
Nedávná data ukazují rozsah tohoto nedorozumění. Průzkum z roku 2025, který provedlo Centrum pro demokracii a technologie, zjistil, že téměř třetina studentů přiznala, že se romanticky zapletli s chatboty AI. To ukazuje, jak snadno lidé tyto nástroje antropomorfizují a zaměňují je za sentientní entity.
Wooldridge varuje před tímto trendem a zdůrazňuje, že AI je ve svém jádru „pokročilá tabulka“ – nástroj, nikoli osoba. Klíčem ke snížení rizika je rozpoznání tohoto rozdílu a upřednostnění bezpečnosti před povrchní prezentací podobnou člověku.
„V téměř každém odvětví se může stát velký incident,“ říká Wooldridge. “Společnosti chtějí prezentovat AI ve velmi lidské podobě, ale myslím si, že je to velmi nebezpečná cesta.”
Pokud by současná trajektorie odvětví umělé inteligence zůstala bez kontroly, mohla by velmi dobře vést ke katastrofické události. Otázka nezní jestli se stane něco špatného, ale kdy a jak moc špatné. Aby se zabránilo opakování katastrofy Hindenburg, je zapotřebí obezřetný vývoj, přísné testování a realistické pochopení omezení AI.
