AI
„Pozornosť je všetko, čo potrebuješ“: článok, z ktorého vyrástli dnešné jazykové modely
Pred rokom 2017 čítali neurónové siete text ako človek s prstom na riadku: slovo po slove, zľava doprava, a všetko predchádzajúce si museli niesť v malej vnútornej pamäti. Pri dlhých vetách sa začiatok strácal. A nedalo sa to zrýchliť, lebo každé slovo muselo počkať na spracovanie predchádzajúceho.
Z archívu · 2017 · LLM výskum · Google Brain & Google Research · preprint jún 2017, konferencia NIPS 2017
architektúra Transformer
Každé slovo vidí všetky
Pred rokom 2017 čítali neurónové siete text ako človek s prstom na riadku: slovo po slove, zľava doprava, a všetko predchádzajúce si museli niesť v malej vnútornej pamäti. Pri dlhých vetách sa začiatok strácal. A nedalo sa to zrýchliť, lebo každé slovo muselo počkať na spracovanie predchádzajúceho.
Transformer to obrátil. Každé slovo sa naraz pozrie na všetky ostatné slová vo vete a samo si určí, ktoré sú preň dôležité. Vo vete „Pes, ktorý štekal, zaspal“ si slovo „zaspal“ priamo nájde „pes“, aj keď medzi nimi niečo je. Je to ako porada, kde sa každý môže okamžite obrátiť na kohokoľvek, namiesto toho, aby sa správa posúvala po rade.
Tomuto mechanizmu sa hovorí pozornosť. Keďže sa všetko počíta naraz, výpočet sa dá rozložiť na mnoho grafických kariet súčasne. Práve to neskôr umožnilo trénovať obrovské modely.
Osem autorov a strojový preklad
Vyše 250 000 citácií a základ väčšiny dnešných veľkých jazykových modelov: tak dopadol článok, ktorý chcel zlepšiť strojový preklad.
Preprint „Attention Is All You Need“ zverejnilo 12. júna 2017 osem autorov z Googlu: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser a Illia Polosukhin. Všetci sú uvedení ako rovnocenní prispievatelia. Článok vyšiel na konferencii NIPS 2017, dnes známej ako NeurIPS.
Cieľom bol strojový preklad. Architektúra úplne vynechala rekurentné aj konvolučné vrstvy a stavala iba na mechanizme pozornosti. Na úlohe WMT 2014 z angličtiny do nemčiny dosiahla 28,4 bodu BLEU, o vyše 2 body viac než dovtedajšie najlepšie výsledky vrátane súborov viacerých modelov. Z angličtiny do francúzštiny dosiahla 41,8 BLEU s jediným modelom po 3,5 dňa tréningu na ôsmich GPU.
Meno vybral Jakob Uszkoreit, lebo sa mu páčilo, ako slovo znie; názov článku je slovnou hračkou na pieseň Beatles „All You Need Is Love“. Od roku 2018 na Transformeri stavia rad GPT od OpenAI aj model BERT od Googlu a dnes je základom väčšiny veľkých jazykových modelov. Článok má podľa Wikipédie vyše 250 000 citácií a všetci ôsmi autori postupne z Googlu odišli.
Z prekladu do každého chatbota
Prekvapením bola odvaha ubrať. Dovtedy sa predpokladalo, že jazyk treba spracúvať postupne, keďže je to postupnosť slov. Ukázalo sa, že poradie stačí slovám „pripísať“ a zvyšok zvládne pozornosť, a že schopnosť škálovať je cennejšia než elegancia modelu.
Ide o pekný príklad nezamýšľaných dôsledkov: autori riešili rýchlejší a lepší preklad, nie konverzačnú AI. Architektúra navrhnutá na preklad sa ukázala byť všeobecným nástrojom na prácu s postupnosťami, od textu po kód.
Pre bežného používateľa ChatGPT, Clauda či Gemini z toho vyplýva jednoduchá vec: tieto systémy nečítajú dlhý text od začiatku do konca ako človek, ale vážia vzťahy medzi všetkými jeho časťami naraz. Preto sa oplatí v zadaní jasne pomenovať, čo je dôležité, namiesto toho, aby sa to stratilo v dlhom odseku.
Zdroj: arXiv:1706.03762 · Wikipedia: Attention Is All You Need
Originál: arXiv