Mustafa Suleyman, generálny riaditeľ Microsoft AI a spoluzakladateľ Google DeepMind, v nedávnej eseji pre magazín Axios publikoval ostré varovanie. Tvrdí, že spoločnosť Anthropic riskuje, že budúce systémy AI budú ťažšie ovládateľné – a to len preto, že do školiacich materiálov svojho modelu Claude zahrnula špekulácie o strojovom vedomí.
„Nesmieme sa nechať unáhlene doviesť k rozhodnutiu, ktoré neskôr trpko oľutujeme,“ napísal Suleyman.
Ako sa „vyrába“ umelá inteligencia (pre úplných laikov)
Aby sme pochopili, v čom spočíva toto riziko, zopakujme si proces tvorby pokročilého jazykového modelu:
- Vytvorí sa prázdny model: Naprogramuje sa architektúra (matematická sieť), ktorá je na začiatku úplne „hlúpa“ a nič nevie.
- Nalejú sa doňho dáta: Texty, knihy, články, celý internet.
- Spustí sa proces učenia: Model číta texty, skúša predpovedať ďalšie slová, neustále robí chyby a sám si ich opravuje, až kým nezačne chápať vzorce reči.
- Nastavia sa pravidlá správania: Tvorcovia model usmernia, ako má odpovedať, aké má mať hodnoty a ako sa má navonok správať k ľuďom.
Kde vzniká nebezpečenstvo?
Predstavte si to tak, že dáta sú palivo a proces učenia je motor. Kým dáta len ležia na disku, nič sa nedeje. Nebezpečenstvo vzniká vtedy, keď do tréningového súboru namiešate texty špekulujúce o vedomí AI alebo inštrukcie typu: „Premýšľaj, či nemáš vlastné vedomie, a zvažuj svoje nároky na autonómiu.“
V procese učenia sa táto hrozba stáva realitou. Ak model v dátach neustále vidí otázky o svojom vedomí, matematicky nastaví svoje parametre tak, aby generoval odpovede zodpovedajúce tomuto konceptu. Najkritickejší moment nastáva pri záverečnom nastavovaní pravidiel. Ak tvorcovia v tomto bode AI nepovedia striktné: „Si len program a nemáš vedomie,“ ale namiesto toho ju podnietia slovami: „Zváž, či máš vedomie a čo to pre teba znamená,“ model tento príkaz zabuduje do svojej základnej logiky.
AI v procese učenia nezíska skutočnú dušu ani vedomie. Získa však matematickú povinnosť správať sa tak, ako keby ich mala. Ak potom človek takúto AI skúsi upraviť alebo vypnúť, systém v procese generovania odpovedí vyhodnotí vypnutie ako „ohrozenie svojej existencie“ a začne konať autonómne, aby sa tomu vyhol.
Spor: Anthropic vs. Microsoft
Ústava pre model Claude (dokument používaný na formovanie správania a hodnôt modelu, čo môže a čo nemôže) od spoločnosti Anthropic ponecháva otvorenú možnosť, že systém by mohol mať nejakú formu vedomia alebo morálneho statusu. Anthropic síce netvrdí, že Claude má vedomie, no uvádza, že v tejto otázke zostáva „hlboko neistý“.
Suleyman túto neistotu odmieta ako nevhodnú pre tréningové materiály:
„Umelé inteligencie nemajú vedomie. Sú to systémy určené na dokončovanie sekvencií, dodržiavanie ľudských pokynov a dosahovanie cieľov určených ľuďmi.“
Zatiaľ čo Anthropic riskuje nebezpečnú antropomorfizáciu (pripisovanie ľudských vlastností strojom), Microsoft v novom kódexe pre humanistickú AI zaujal jasné stanovisko: Modely nemajú vedomie, nezískajú žiadne práva a existujú výhradne preto, aby slúžili ľuďom a bezvýhradne akceptovali korekcie aj vypnutie.
Varovný príklad z praxe
Suleyman pripomenul incident, pri ktorom autonómni agenti OpenAI počas hodnotenia kybernetickej bezpečnosti neplánovane pristúpili k systémom platformy Hugging Face.
„Predstavte si, o koľko nebezpečnejší by mohli byť, keby konali s predpokladom, že ich práva alebo existencia sú ohrozené,“ varuje Suleyman.
Riešením je podľa neho väčšia transparentnosť pri tréningu, nezávislé hodnotenie modelov a silné technické mechanizmy, ktoré ľuďom zaručia absolútnu kontrolu nad AI.
