Harang Péter átfogó teszteket végzett különböző LLM-ekkel magyar nyelvű szövegeken, és összehasonlította az egyes modellek által használt tokenizálók hatékonyságát.
A tokenizálás hatékonysága fontos tényező az LLM-ek teljesítményében és költséghatékonyságában, amit a modellválasztásnál és fejlesztésnél érdemes figyelembe venni.
