Ich vlastnosti, fukcionalita a kreativita sa zo dňa na deň zlepšujú. Trénujú sa (ešte) stále na nových dátach?
Bude sa ich schopnosť postupne stále zlepšovať alebo práve naopak? Máme pre ne dostatočné množstvo dát? Máme pre ich učenie dostatok kvalitných originálnych údajov?
Bude sa AI zlepšovať alebo narazí na limity?
Dobrá otázka – a práve teraz je v AI komunite jednou z najdiskutovanejších.
Prečo sa AI zlepšovala tak rýchlo? Pokrok v oblasti AI za posledné roky bol možný vďaka trom faktorom, ktoré postupovali súbežne: hardvér, väčšie modely, viac dát (tzv. scaling laws). Bolo to jednoduché: zdvojnásob parametre a dáta → lepší model.
Tu ale nastáva postupne problém. Kvalitné ľudské dáta sú konečné. Je zrejmé, že modely ako GPT-4 alebo Claude boli trénované na prakticky celom verejne dostupnom internete. Ďalší rast trénovacích dát z tohto zdroja bude teraz čoraz ťažší.
Syntetické dáta - dvojsečná zbraň
Syntetické dáta fungujú dobre v oblastiach, kde existuje objektívna pravda a možnosť verifikácie. V matematike to funguje výborne, model vygeneruje milióny problémov a ich správnosť sa dá celkom jednoducho overiť. Programový kód – nad funkciou, modulom alebo celou aplikáciou zbehnú unit testy (niekto iný ako AI ich musí napísať). Ďalej oblasť logických hádaniek, hier, šachu – výsledok vie byť dosť jednoznačný. Nezabúdajme na jazykové preklady – dajú sa krížovo overiť viacerými metódami. Tu syntetické dáta skutočne pomáhajú a sú zodpovedné za veľkú časť pokroku reasoning modelov, ktoré spomeniem neskôr.
Kde vedia syntetické dáta zlyhávať?
Sysntetické dáta nefungujú v oblastiach bez možnosti objektívnej verifikácie. Samozrejme, ako prvé hneď každého napadne kreativita – AI sa učí napodobňovať a priemerovať niečo, čo sama produkuje. Kam to asi môže smerovať? Pri nuansách ľudskej komunikácie – humor, irónia, kultúrny a spoločenský kontext môžu byť generované dáta, ktoré budú mimo kontext. A na záver etika a morálny kompas? Podobne ako pri model collapse vo faktickej oblasti – aj v tejto rovine sa distribúcia zužuje. Model sa stáva opatrnejším, vyhýba sa kontroverzným témam, produkuje bezpečný, sterilný obsah. Výsledkom nie je múdrejší model, ale model, ktorý sa tvári bezpečne.
Model collapse – choroba AI
Objavil sa dokonca efekt nazývaný "model collapse" – ak modely trénujeme na obsahu, ktorý sami vygenerovali predchádzajúce AI modely (syntetické dáta - čoho je na internete stále viac), kvalita výstupov postupne degraduje. Syntetické dáta bez korekcie reálnymi ľudskými vstupmi vedú k strate rozmanitosti a postupnému nabaľovaniu chýb.
Prečo to spoločnosti napriek tomu stále robia? Jednoducho – veľký komerčný a ekonomický tlak. Ľudské dáta sú drahé, pomalé, právne komplikované (copyright, GDPR) a ako už bolo povedané: konečné. Syntetické dáta sú na druhej strane: lacné, rýchle a neobmedzené. Pokušenie je tak obrovské!
Vedci z Oxfordu to experimentálne potvrdili. Každá generácia modelu trénovaná na výstupoch predchádzajúcej stráca okrajové, vzácne, ale zato veľmi dôležité informácie. Distribúcia sa zužuje. Model sa stáva sebavedomejším, ale menej rozmanitým a nakoniec menej presným. Treba si to predstaviť, ako keby si kopíroval kopírované, ktoré bolo okopírované atď. – každá iterácia stráca informačný detail a pridáva umelé artefakty.
Tento problém je možné čiastočne eliminovať viacerými prístupmi, ktoré prinášajú svoje výhody ale aj nevýhody. Pozrime na to podrobnejšie:
Syntetické dáta s verifikáciou – AI generuje dáta, ale iba tie, ktoré sa dajú objektívne overiť (matematika, kód, logika)
Reinforcement Learning z ľudskej spätnej väzby (RLHF) – ľudia hodnotia a korigujú výstupy, čo je však nákladné a časovo náročné
Multimodálne dáta a meta dáta – využitie iných zdrojov dát - video/audio alebo napr. rôzne senzory – tieto zdroje sú ešte z veľkej časti nevyužité - skrývajú veľký potenciál
Reasoning modely
(o1, DeepSeek R1, Gemini Thinking) – namiesto viac dát je model nastavený na rozdelenie úlohy na menšie logické časti a dlhšie premýšľanie pred odpoveďou - momentálne najperspektívnejší smer, aj keď Reasoning modely nie sú riešením dátového problému – sú to skôr modely, ktoré lepšie využívajú existujúce dáta, prístupy a znalosti.
Jednoduchý scaling (viac dát → lepší model) tak pravdepodobne naráža na limity. Ale to neznamená koniec pokroku – znamená to zmenu spôsobu, ako budeme modely učiť.
Ako sa dá degenerácia spomaliť?
Výskumy AI tímov ukazujú niekoľko možných smerov.
Human Data Anchoring
AI modely majú tendenciu halucinovať (vymýšľať si). Kotviace dáta slúžia ako „absolútna pravda" (Grounding), na ktorú sa model odvoláva, čím sa znižuje miera nezmyslov a zvyšuje presnosť. Model sa „ukotvuje" k vysoko kvalitným, overeným ľudským údajom, aby sa zabezpečila jeho spoľahlivosť. Model sa vždy musí vrátiť k jadru reálnych ľudských vstupov (Drift prevention) a zosúladiť s nimi (Alignment), syntetické dáta slúžia len ako doplnok, nie náhrada.
Diverzifikácia a multiplikácia zdrojov
Aj to som už spomínal vyššie. Využitie dát, ako napr. z fyzických senzorov, vedecké merania, medicínske záznamy, priemyselné dáta (doprava, meteo) – oblasti, kde AI obsah zatiaľ úplne nedominuje.
Red-teaming a adversariálne trénovanie
AV je proces testovania a overovania robustnosti a bezpečnosti modelu AI. V rámci neho jeden model generuje, druhý sa aktívne snaží nájsť chyby. V praxi to môže znamenať aj to, že sa na vstup modelu posielajú špeciálne upravené dáta (niekedy zámerne aj chybné), aby sa overilo, či model reaguje správne aj v kritických alebo manipulatívnych situáciách.
Čo nás čaká
V najbližších rokoch nás čaká pravdepodobne pomalší postup, ale zato sofistikovanejší pokrok – možno s občasnými skokmi, ak niekto objaví nový zdroj dát alebo inovatívnu architektonickú myšlienku.
Dátový strop je reálna výzva, no verte, že odvetvie AI na ňu aktívne hľadá odpovede.
Zdroje
Oxfordská štúdia – základ celej diskusie Shumailov, I., Shumaylov, Z., Zhao, Y. et al. „AI models collapse when trained on recursively generated data." Nature 631, 755–759 (2024). Nature
NYU – matematický dôkaz a riešenie Tím vedený profesorkou Juliou Kempe z NYU Center for Data Science spolu s Meta AI vedcom Elvisom Dohmatobom publikoval sériu troch štúdií na konferencii ICML 2024, ktoré ako prvé priniesli analytický matematický dôkaz fenoménu model collapse. Medium
Stanford, MIT, University of Maryland – „Je model collapse nevyhnutný?" Gerstgrasser, M., Schaeffer, R., Dey, A., Rafailov, R. et al. „Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data." Stanford, MIT, University of Maryland, Constellation – apríl 2024. Gretel
