OpenAI îndoiește de eficiența acceleratoarelor Nvidia pentru inferență și caută activ înlocuirea lor.

Ce se întâmplă în lumea tehnologiilor de inteligență artificială
Puncte principale: jucătorii principali OpenAI și Nvidia sunt considerați lideri ai pieței inteligenței artificiale, dar caută noi parteneri. În curând va avea loc o tranzacție; se așteaptă un acord în valoare de 100 mln de dolari între aceste companii. Problema cu acceleratoarele Nvidia: procesoarele actuale Nvidia nu oferă întotdeauna performanța necesară pentru inferență (utilizarea modelelor deja antrenate). OpenAI caută o alternativă.

Cum se dezvoltă noi soluții
1. OpenAI → Cerebras + Groq

- Compania dorește să înlocuiască până la 10 % din acceleratoarele sale cu cipuri de la furnizori terți, care sunt mai potrivite pentru inferență.

- Parteneriatul cu Cerebras a fost deja încheiat: OpenAI va cumpăra „acceleratoare regale” de la ei, excelente în procesarea modelelor lingvistice mari.

2. Groq și Nvidia

- În anul trecut Nvidia a achiziționat Groq pentru 20 mln de dolari, oferind o structură mai avantajoasă a tranzacției.

- După achiziție, Groq a pierdut parte din autonomia sa: majoritatea dezvoltatorilor de acceleratoare s-au alăturat personalului Nvidia, iar restul companiei poate vinde doar software pentru sisteme cloud.

3. AMD și alte variante

- OpenAI depinde încă în mare măsură de acceleratoarele Nvidia și AMD, care utilizează memorie externă HBM.

- Pentru inferență sunt mai potrivite cipurile cu un volum mare de memorie integrată – exact cele oferite de Groq, Cerebras și Google.

De ce este important
- Eficiența inferenței este critică pentru funcționarea modelelor lingvistice mari (ChatGPT, Codex).

- Problema în Codex: în dezvoltarea agentului AI Codex, OpenAI a întâmpinat ineficiența acceleratoarelor Nvidia. Acest lucru subliniază necesitatea schimbării platformei hardware.

- Alternativa viitoare – OpenAI plănuiește să utilizeze soluții Cerebras și, posibil, alte cipuri pentru a îmbunătăți performanța instrumentelor sale pentru dezvoltatori.

Concluzii
OpenAI caută activ noi parteneri tehnologici pentru a nu depinde complet de Nvidia. În același timp, compania dezvoltă o strategie de investiții în startup-uri (Cerebras, Groq) și ia în considerare tranzacții mari cu Nvidia și posibile investiții de până la 100 mln de dolari. Aceasta va ajuta la îmbunătățirea inferenței și la accelerarea dezvoltării produselor AI.