Poznáte ten moment: hodinu ladíte s umelou inteligenciou projekt, nastavíte presné pravidlá, štýl a terminológiu. Potom príde jedna ďalšia otázka a AI zrazu odpovedá, akoby ste sa videli prvýkrát v živote. Táto „digitálna amnézia“ nie je vašou chybou a nie je to ani prejav neúcty stroja k vašej práci. Ide o priamy dôsledok architektúry súčasných modelov, ktoré neustále bojujú s dvomi nepriateľmi: katastrofickým zabúdaním a limitmi kontextového okna.
Hlavným dôvodom, prečo AI občas pôsobí dezorientovane, je jav, ktorý vedci z Google DeepMind nazývajú katastrofické zabúdanie. Neurónové siete fungujú na systéme matematických váh. Keď sa model učí niečo nové, tieto váhy sa upravujú. Problém je, že u umelej inteligencie nové informácie často agresívne prepíšu tie staré. Na rozdiel od človeka, ktorý si nové vedomosti dokáže zaradiť k tým existujúcim, AI môže pri aktualizácii doslova „vymazať“ kľúčové pravidlá, ktoré ste jej predtým zadali.
Riešením tohto stavu je technika Elastic Weight Consolidation (EWC). Funguje to podobne ako kotva – systém identifikuje, ktoré vedomosti sú pre stabilitu kľúčové, a nedovolí ich prepísať. Vďaka tomu sa modely dokážu učiť nové úlohy bez toho, aby okamžite zabudli tie pôvodné.
To, čo však najčastejšie zažívame pri bežnom četovaní, je limit kontextového okna. Predstavte si to ako pracovný stôl s obmedzenou plochou. Každá ďalšia veta v konverzácii zaberá miesto. Keď sa stôl zaplní, tie najstaršie papiere (vaše úvodné inštrukcie) z neho jednoducho spadnú. Aby sa to nedialo, výskumníci v Google vyvinuli technológiu Infini-attention. Tá umožňuje modelom, ako je Gemini 1.5 Pro, komprimovať staré informácie a ukladať ich do vrstiev pamäte. Model tak nestráca celkový obraz o téme ani pri spracovaní tisícok strán textu.
Budúcnosť umelej inteligencie smeruje k tzv. kontinuálnemu učeniu. Cieľom je vytvoriť systémy, ktoré s vami budú rásť a pamätať si kontext vašej spolupráce celé mesiace či roky. Využívanie modulárnych architektúr, kde sa pre nové úlohy aktivujú len špecifické časti systému, zabezpečí, že jadro vašich inštrukcií zostane nedotknuté. Pre nás používateľov to znamená koniec neustáleho opakovania sa a začiatok skutočne plynulej digitálnej spolupráce.
