OpenAI testează un nou nivel de procesare pentru GPT-5.6 Sol, denumit Ultrafast, care poate rula modelul de până la 14 ori mai rapid decât procesarea Standard. Compania spune că noul mod este destinat în special aplicațiilor în care viteza de răspuns este la fel de importantă ca nivelul de inteligență al modelului.
Ultrafast este disponibil deocamdată într-o versiune de test limitată, pentru un grup select de clienți ai OpenAI. Noul serviciu este lansat inițial prin API și este dezvoltat împreună cu Cerebras, companie specializată în infrastructură pentru inteligență artificială.
GPT-5.6 Sol ajunge la 750 de tokeni pe secundă
Potrivit OpenAI, Ultrafast poate genera până la 750 de tokeni pe secundă. În condițiile în care viteza mare de răspuns a presupus până acum, de multe ori, alegerea unor modele mai mici sau specializate, compania susține că noul mod încearcă să reducă acest compromis.
OpenAI vede mai multe domenii în care această diferență de viteză ar putea avea un impact direct. Printre exemple se numără intervențiile în cazul incidentelor informatice, analiza financiară, securitatea, serviciile pentru clienți, aplicațiile de voce și comerțul online.
În cazul unei defecțiuni a unui sistem, de exemplu, Ultrafast poate analiza jurnale, modificări recente de cod și rapoarte ale inginerilor pentru a identifica mai rapid cauza unei probleme și pentru a contribui la pregătirea unei soluții. Compania precizează însă că decizia și implementarea remedierii rămân în responsabilitatea oamenilor.
OpenAI testează deja tehnologia în aplicații reale
Noul mod este testat de OpenAI împreună cu un grup inițial de companii din domenii precum programare, comerț, cercetare financiară și servicii pentru clienți. Compania vrea să afle unde o creștere semnificativă a vitezei poate produce cea mai mare valoare și cum se schimbă produsele atunci când un model de inteligență artificială poate răspunde aproape în timp real.
OpenAI folosește intern Ultrafast și pentru intervenții la incidente și pentru activități de cercetare. În cazul cercetării, compania spune că experimente care anterior puteau fi lansate peste noapte și analizate a doua zi pot fi transformate într-un proces iterativ desfășurat în timpul programului de lucru.
Cerebras asigură infrastructura pentru Ultrafast
Ultrafast este rezultatul colaborării dintre OpenAI și Cerebras, iar compania spune că această infrastructură permite procesarea cu latență foarte redusă. În noua configurație, Cerebras susține rularea GPT-5.6 Sol la viteze de până la 750 de tokeni pe secundă.
Pentru utilizatorii finali, miza nu este doar obținerea unui răspuns mai rapid. OpenAI susține că reducerea timpului de așteptare poate face posibile aplicații care necesită interacțiune continuă cu modelul, de la asistenți vocali și servicii pentru clienți până la cercetare și analiză în timp real.
Deocamdată, însă, Ultrafast nu este disponibil pe scară largă. OpenAI îl oferă într-un preview limitat și anunță că accesul va fi extins pe măsură ce crește capacitatea disponibilă.
Imaginr generata.
Continut augmentat
Ți-a fost util acest articol?
Abonează-te la newsletterul Lumea AI și primești săptămânal cele mai importante știri și ghiduri despre inteligența artificială.
Abonează-te gratuit pe Substack