DigiZen

AI

Kliatba obrátenia: model vie, kto je matkou Toma Cruisa, ale nevie, koho je ona matkou

Na otázku „Kto je matkou Toma Cruisa?“ odpovedal GPT-4 správne v 79 % prípadov. Na obrátenú otázku „Koho synom je Mary Lee Pfeiffer?“ už len v 33 % – hoci ide o tú istú informáciu, len z druhej strany.

· 2 min čítania

Ilustrácia: Kliatba obrátenia: model vie, kto je matkou Toma Cruisa, ale nevie, koho je ona matkou

Vedeli ste? · LLM výskum · Berglund, Evans a kol. · preprint september 2023

GPT-3, Llama-1, GPT-3.5, GPT-4

Jednosmerná ulica v pamäti

Na otázku „Kto je matkou Toma Cruisa?“ odpovedal GPT-4 správne v 79 % prípadov. Na obrátenú otázku „Koho synom je Mary Lee Pfeiffer?“ už len v 33 % – hoci ide o tú istú informáciu, len z druhej strany.

Keď sa dieťa naučí, že Bratislava je hlavné mesto Slovenska, vie automaticky odpovedať aj na otázku, ktoré mesto je hlavným mestom Slovenska. Pre človeka je to tá istá informácia, len z dvoch strán. Pre jazykový model, ako sa ukázalo, nie.

Model sa učí predpovedať ďalšie slovo. Keď v tréningu vidí „A je B“, posilní sa cesta od A k B, ale nie automaticky aj cesta späť. Je to ako jednosmerná ulica: z námestia na hlavnú prejdeš, opačne už nie, hoci obe ulice existujú.

Zaujímavé je, že keď model tú istú vetu dostane priamo v zadaní, obrátiť ju vie. Problém sa týka len toho, čo má uložené vo svojich naučených váhach.

Pokus s vymyslenými osobnosťami

Stačilo doladiť modely GPT-3 a Llama-1 na vymyslených faktoch typu „Uriah Hawthorne je skladateľom diela Abyssal Melodies“ – a na otázku, kto zložil Abyssal Melodies, už správne meno nebolo pravdepodobnejšie než náhodné. Efekt pretrval naprieč veľkosťami aj rodinami modelov a nepomohlo ani rozšírenie tréningových dát o rôzne formulácie.

Preprint „The Reversal Curse: LLMs trained on ‚A is B‘ fail to learn ‚B is A‘“ zverejnili v septembri 2023 Lukas Berglund, Meg Tong, Max Kaufmann, Mikita Balesni, Asa Cooper Stickland, Tomasz Korbak a Owain Evans. Pri skutočných osobnostiach odpovedal GPT-4 správne na otázku typu „Kto je matkou Toma Cruisa?“ v 79 % prípadov, no na obrátenú otázku „Koho synom je Mary Lee Pfeiffer?“ len v 33 %.

Ak sa fakt objaví priamo v kontexte, modely obrátený vzťah odvodiť dokážu. Kód experimentov je verejný na GitHube.

Fakty radšej priamo do zadania

Bežná predstava je, že model „pozná fakty“ ako encyklopédia. V skutočnosti má skôr naučené asociácie s určitým smerom. Logická symetria, ktorá je pre nás triviálna (ak A je B, potom B je A), z tréningu sama od seba nevyplynie.

Prakticky to znamená, že pri otázkach na „vedomosti“ AI asistenta môže o výsledku rozhodnúť už samotná formulácia. Kto potrebuje spoľahlivú odpoveď, mal by fakty dať asistentovi priamo do zadania – vložiť dokument, poznámky alebo tabuľku. S textom, ktorý má pred sebou, si s obráteným vzťahom poradí.

Filozoficky je to pekná ukážka rozdielu medzi asociáciou a pojmom: systém môže informáciu mať, a predsa ju nevedieť použiť z druhej strany.

Zdroj: arXiv:2309.12288

Originál: arXiv