Inteligența artificială a demonstrat progrese în cercetarea limbilor rare și puțin răspândite

Modelele lingvistice mari reduc decalajul lingvistic

Versiunile noi de inteligență artificială (IA) demonstrează progrese semnificative în lucrul cu limbile rare și puțin cunoscute, reducând considerabil „decalajul lingvistic” global. Acest lucru este confirmat de o cercetare a companiei RWS, publicată pe TechRadar.

1. Ce au arătat studiile
- Google Gemini Pro a obținut un scor de calitate peste 4,5 din 5 în cunoașterea limbii kinyarwanda – vorbită de aproximativ 12 milioane de oameni în Rwanda, Uganda și Republica Democrată Congo.

- Autorii explică succesul prin faptul că modelele moderne se bazează nu doar pe seturi de date enorme pentru o anumită limbă, ci și pe utilizarea modelelor statistice comune ale tuturor limbilor (mecanismul transferului interlingvistic).

- Îmbunătățirile în tokenizatoare – sistemele de împărțire a textului în „tokeni” – contribuie, de asemenea, la o lucrare mai precisă cu limbile rare.

2. Efectul „driftului benchmark”
Experții au descoperit că trecerea de la o versiune a modelului la următoarea poate schimba neașteptat capacitățile sale:

- Ultima versiune OpenAI GPT rămâne în urmă față de modelele mai vechi în anumite sarcini de generare de conținut, deși predecesorul a fost mai eficient.

- Eficiența tokenizatorului poate varia până la 3,5 ori între generații; asta înseamnă că rezultatele testelor anterioare nu sunt întotdeauna aplicabile noilor versiuni.

3. Ce se schimbă în prioritățile dezvoltatorilor
- În trecut, laboratoarele de IA puneau accent pe performanța în engleză și câteva limbi cheie.

- Modelele moderne reușesc deja să facă față acestor sarcini, așa că atenția se deplasează către o audiență mai largă: sprijinul pentru limbile rare devine din ce în ce mai important.

- Totuși, un scor de 4,5/5 nu garantează nivelul real de competență lingvistică; suportul multilingv nu este încă considerat critic.

4. Concluzie
IA continuă să distrugă barierele dintre culturi și limbi. Deși „acoperirea” limbilor rare încă nu a devenit o cerință obligatorie, tendința spre un acoperire mai largă a audienței este deja vizibilă și, conform așteptărilor experților, va crește în anii viitori.