AI
Grokking: sieť sa dlho len bifľuje – a potom zrazu pochopí
Každý učiteľ pozná žiaka, ktorý sa naučí odpovede naspamäť: z precvičených príkladov má plný počet bodov, nový príklad však nevyrieši. V strojovom učení sa tomu hovorí preučenie a dlho platilo, že keď nastane, ďalší tréning už nepomôže.
Vedeli ste? · LLM výskum · Power a kol. (OpenAI) · preprint január 2022; rozbor mechanizmu Nanda a kol. 2023
malé neurónové siete a transformery na modulárnej aritmetike
Od biflenia k pochopeniu
Každý učiteľ pozná žiaka, ktorý sa naučí odpovede naspamäť: z precvičených príkladov má plný počet bodov, nový príklad však nevyrieši. V strojovom učení sa tomu hovorí preučenie a dlho platilo, že keď nastane, ďalší tréning už nepomôže.
V roku 2022 výskumníci z OpenAI pozorovali niečo zvláštne. Malé siete učené na jednoduchej aritmetike sa najprv naučili trénovacie príklady naspamäť. Keď ich však nechali trénovať oveľa dlhšie, zrazu začali správne riešiť aj príklady, ktoré nikdy nevideli – z úrovne náhodného hádania skočili na dokonalú úspešnosť.
Tento jav pomenovali grokking, teda hlboké pochopenie. Neskôr sa ukázalo, že za ním nie je zázrak, ale pomalé budovanie jednoduchého pravidla pod povrchom biflenia.
Fourierova transformácia vo váhach
Úspešnosť na nevidených príkladoch môže vyskočiť z úrovne náhody na dokonalú generalizáciu dlho po tom, čo sieť trénovacie dáta úplne zvládla – a čím menej dát mala, tým dlhšie musela trénovať, kým začala generalizovať.
Ukázali to Alethea Power, Yuri Burda, Harri Edwards, Igor Babuschkin a Vedant Misra v preprinte „Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets“ z januára 2022 na malých, algoritmicky vytvorených dátach.
V roku 2023 Neel Nanda, Lawrence Chan, Tom Lieberum, Jess Smith a Jacob Steinhardt takúto sieť rozobrali. Malý transformer učený na sčítaní modulo n sa naučil používať diskrétnu Fourierovu transformáciu a trigonometrické identity: sčítanie premenil na otáčanie po kružnici. Tréning rozdelili na tri plynulé fázy: memorovanie, vytváranie výpočtového „obvodu“ a upratovanie.
Ich záver znie, že grokking nie je náhly skok, ale postupné posilňovanie štruktúrovaného mechanizmu vo váhach, po ktorom sa odstránia časti, ktoré si len pamätali. Neskoršie práce opisujú jav ako fázový prechod, pri ktorom zložitosť siete najprv rastie a potom klesá, keď sieť nájde jednoduchšie pravidlo.
Pochopiť znamená stručne zhrnúť
Rozbíja to intuíciu „keď sa model začne učiť naspamäť, zastav tréning“. Biflenie a pochopenie nemusia byť protiklady; biflenie môže byť fázou na ceste k pochopeniu.
Filozoficky má tu pochopenie merateľnú podobu: sieť nahradí dlhý zoznam príkladov krátkym pravidlom. To pripomína Occamovu britvu a myšlienku, že rozumieť niečomu znamená vedieť to stručne zhrnúť.
Prakticky to ukazuje, prečo je dôležitá mechanistická interpretovateľnosť, teda rozoberanie sietí zvnútra: bez nej by sme len videli krivku, ktorá zrazu vyskočí, a nevedeli by sme prečo.
Zdroj: arXiv:2201.02177 (Power a kol.) · arXiv:2301.05217 (Nanda a kol.) · arXiv:2412.09810 (zložitosť pri grokkingu)
Originál: arXiv