Pornirea unei modele AI pe un vechi PDP‑11: un entuziast a folosit un CPU de 6 MHz și 64 KB RAM

Veteranul Microsoft demonstrează funcționarea unui transformator pe un calculator vechi

*Dave Plummer – cunoscut dezvoltator Windows,*

*arată că modelele AI moderne pot fi antrenate chiar și pe echipamente cu zeci de ani.*

Ce s-a făcut
- Echipament: PDP‑11 / 44, calculator de 47 de ani cu procesor de 6 MHz și 64 KB RAM.

- Model: „Attention 11” – rețea transformator scrisă în limbajul de asamblare PDP‑11 de Damien Buret.

- Sarcina de antrenament: generați o secvență inversă din opt numere.

Modelele nu trebuie să memorizeze exemple; trebuie să învețe regula „inversării” secvenței.

Cum funcționează
1. Inițializare – modelul începe cu greutăți aleatorii, precizia aproape zero.

2. Antrenament – la fiecare pas se efectuează o propagare directă (puncte fixe de 8 biți) și actualizarea greutăților.

3. Învățarea treptată a tiparului – după câteva sute de iterații mecanismul de atenție „descoperă” regula, iar modelul trece de la ghicire la cunoaștere reală.

> “Observăm o anatomie simplificată a propriei învățări… mașina, în final, traversează linia invizibilă — de la ghicire la cunoaștere.” – Plummer

Rezultate
- Precizie: 100 % la sarcina de secvență inversă.

- Viteză: aproximativ 350 de pași de antrenament, ceea ce a durat ~3,5 minute pe PDP‑11/44 cu memorie cache.

Ce înseamnă pentru AI-ul modern
Plummer subliniază că principiile fundamentale ale învățării – operații aritmetice repetitive și corectarea erorilor – sunt complet realizate chiar și într-un sistem atât de simplu.

„Această mașină veche nu gândește mistic; ea doar actualizează câteva mii de numere. Esența AI-ului modern este scalarea acestui proces.”

Astfel, autorul a demonstrat că mecanismul de bază al transformatoarelor rămâne același, indiferent de echipamentul pe care rulează.