Apple dezvoltă propriul său asistent AI pentru iPhone, capabil să pornească aplicații în locul utilizatorului.

Apple dezvoltă un agent AI local compact pentru interacțiunea cu interfețele utilizatorului

Apple lucrează la un nou algoritm – Ferret‑UI Lite, care poate „înțelege” interfețele aplicațiilor și să interacționeze cu ele în numele utilizatorului, dar totul se întâmplă pe dispozitiv. Modelul are 3 miliarde de parametri și în teste arată rezultate comparabile sau chiar superioare modelelor mari cu până la 24 de ori mai multe.

Originea proiectului
În decembrie 2023, o echipă de nouă cercetători a publicat lucrarea FERRET: Refer and Ground Anything Anywhere at Any Granularity. În aceasta a fost prezentată un model lingvistic multimodal, antrenat pe diferite tipuri de date și capabil să asocieze descrieri textuale cu părți concrete ale imaginii.

De atunci Apple a extins familia Ferret‑models:

Ferret‑UI, în particular, rezolvă una dintre problemele modelelor multimodale mari (MLLM): acestea recunosc slab elementele UI. Modelul adaugă „rezoluție arbitrară” peste Ferret, sporind detalierea imaginilor și folosind caracteristici vizuale îmbunătățite.

Noi realizări
Recent Apple a prezentat două versiuni suplimentare:

1. Ferret‑UI Lite – un model ușor cu 3 miliarde de parametri, optimizat pentru rularea locală pe dispozitive mobile.
2. Ferret‑UI 2 – o versiune extinsă care suportă mai multe platforme și rezoluție superioară a capturilor de ecran.

Principala diferență între Ferret‑UI Lite și modelele server mari: păstrează competitivitatea cu cerințe computaționale mult mai mici.

De ce contează
Majoritatea agenților GUI existenți se bazează pe modele fundamentale enorme, deoarece puternicele lor capacități de raționament și planificare permit realizarea unor rezultate remarcabile în navigarea interfețelor grafice. Totuși, aceste modele sunt prea greoaie pentru a fi executate direct pe dispozitiv.

Ferret‑UI Lite rezolvă această problemă combinând:

- Mai multe componente cheie și idei din antrenamentul LLM-urilor mici;
- Date reale și sintetice din diverse domenii GUI;
- Tehnici de tăiere dinamică și optimizare a calității segmentării interfeței;
- Reglare fină controlată și învățare prin întărire.

În consecință, s-a obținut un model care este practic egal sau chiar superioară agenților GUI concurenți mai mari în sarcini de legare la nivel scăzut cu elementele UI, înțelegerea evenimentelor de pe ecran, planificarea multi‑pas și autoanaliza.