A modern nyelvi modellek alapegysége a token, ami előre meghatározott byte-sorozatokat jelent, és bár ez hatékony megoldás, számos korlátja van. A Meta és a Washingtoni Egyetem kutatói által kifejlesztett Byte Latent Transformer architektúra közvetlenül byte-szinten működik, és dinamikusan csoportosítja a byte-okat az információtartalmuk alapján.
A rendszer a hagyományos tokenizált modellekkel megegyező teljesítményt nyújt, miközben 50%-kal kevesebb számítási erőforrást használ. További előnye, hogy jobban kezeli a zajos bemeneteket, és hatékonyabb olyan feladatokban, mint a karaktermanipuláció vagy a ritkább nyelveken történő feldolgozás.
Az AI Hírfolyamon többször is előkerült már a tokenizálás kérdése, például egy májusi cikkben megmutattam, hogy a GPT-4o magyar nyelven drágább, mint angolul: A GPT-4o magyar nyelven még mindig sokkal drágább, mint angolul, de csökkent a különbség