Bár az új GPT-4 Turbo modell sokkal több tartalmat képes egyben feldolgozni és összefoglalni, az első vizsgálatok azt jelzik, hogy nem tökéletes a rendszer: egy hosszabb szöveg elején található információkra sokkal jobban “emlékszik” a bot, mint a közepén és a végén találhatókra. A 128 ezer tokenes maximum kontextusablak nagyjából 73 ezer tokenig működik rendesen, ennél hosszabb szöveg esetén hibákra lehet számítani.
Azt hozzáteszik a kutatók, hogy még így is jelentősen sikerült javítani a modell képességeit az előző, GPT-4-32k modellhez képest, aminél szintén tapasztalható volt ez a jelenség (mint ahogy az összes többi nagy nyelvi modellnél is).
A hosszabb szövegek esetén vektor adatbázissal és a RAG technika alkalmazásával jobb eredményeket lehet elérni. Ezeket automatikusan alkalmazza az OpenAI az új “Build GPT” funkciójában, ha szöveges dokumentumokat töltünk fel az adatbázisába.