Az ausztrál kormányzati vizsgálatban nyílt modelleket teszteltek, a feladat parlamenti beadványok összefoglalása volt. A vakteszten az AI által készített összefoglalók csupán 47%-os eredményt értek el, míg az emberek által írt verziók 81%-ot kaptak.
A vizsgálat számos problémát tárt fel, többek közt a kontextus figyelmen kívül hagyását és az összefoglalókban előforduló irreleváns, redundáns, vagy akár hamis információkat. Az eredmények megkérdőjelezik a jelenlegi technológia alkalmazhatóságát ezen a területen.
