OpenAI a explicat cum se ocupă de „gremilii” în răspunsurile AI și a eliminat restricțiile.

OpenAI a descoperit „problema” cu goblini

În Wired s-a aflat că compania OpenAI se confruntă cu o caracteristică neașteptată a modelelor sale de inteligență artificială: acestea au început să menționeze frecvent goblini, gremlini și alte ființe fictive. Pentru a remedia acest lucru, dezvoltatorii sunt nevoiți să ofere modelului instrucțiuni speciale: „Nu vorbi niciodată despre goblini, gremlini, ratoni, trolli, ogre, porumbei sau orice alte animale și creaturi”.

De ce s-a format această obicei?

Problema a devenit evidentă după lansarea GPT‑5.1, în special când dialogul includea personajul „Botanic” (Nerdy). Cu fiecare actualizare a modelului, frecvența mențiunilor creștea doar. Se descoperise că, în timpul antrenării prin întărire, aceste metafore primeau recompense – dar numai atunci când se activa personalitatea Botanic. Deoarece antrenamentul prin întărire nu garantează păstrarea comportamentului în aceleași condiții, acest obicei ar putea să se răspândească și în alte părți ale modelului, mai ales dacă rezultatele erau reutilizate în fine-tuning sau în date despre preferințe.

Cum a reacționat compania?

În martie OpenAI a încetat să folosească Botanic, după care mențiunile de goblini au dispărut aproape complet. Totuși, acestea au reapărut în serviciul Codex cu GPT‑5.5, deoarece antrenamentul modelului a început înainte ca problema să fie identificată. Prin urmare, dezvoltatorii au trebuit să adauge instrucțiuni suplimentare pentru Codex: „Nu menționa creaturi mitologice”. Cu toate acestea, utilizatorii care apreciază acest stil de comunicare au avut posibilitatea de a dezactiva aceste restricții printr-un cod special.

Astfel, OpenAI s-a confruntat cu un „obicei” neașteptat al modelelor sale AI și a luat măsuri pentru corectarea lui, oferind în același timp setări flexibile pentru diferite audiențe.