Az OpenAI-nál és a Google-nél elérhető már egy ideje az úgynevezett „Batch API”, ami a nem időérzékeny feladatokat teszi sokkal egyszerűbbé és olcsóbbá: a fejlesztők akár 10 ezer lekérdezést is beküldhetnek egyben, amiket 24 órán belül dolgoz fel a rendszer, az azonnali válaszokhoz képest féláron.
Ezzel a konstrukcióval a platformok optimalizálhatják az erőforrásaik kihasználását, miközben a fejlesztők jelentős költségmegtakarítást érhetnek el a késleltethető feladatok esetében.
