A mai nyelvi modellek már több millió tokennyi szöveget képesek egyszerre értelmezni, és a limit évről évre növekszik. Technikailag már ma is elérhető az akár milliárd tokenes kontextushossz, és ez megoldást jelenthet a jelenlegi legnagyobb hiányosságra, ami a „folyamatos tanulás”, vagyis hogy a modellek képesek legyenek az új tudást a használatuk során elsajátítani, nem csak a tanítási fázisban.
A hosszú kontextus emellett lehetővé teszi a megerősítéses tanulás skálázását is: hosszabb gondolatmenetek, pontosabb eredményellenőrzés és bonyolultabb szimulációs környezetek jöhetnek létre.
De nem minden problémát old meg önmagában. Az ilyen szintű skálázás lelassítja a kutatási ciklusokat, és óriási számítási kapacitást igényel. A hardver, a szoftveres optimalizálás és a költségek továbbra is szűk keresztmetszetet jelentenek.
