Cisco a descoperit motivele pentru care chiar și rapoartele aparent perfecte ale inteligenței artificiale despre incidente cibernetice nu ar trebui considerate adevăruri.

Cisco Talos investighează precizia modelelor lingvistice mari în crearea rapoartelor de securitate cibernetică

Echipa Cisco Talos Incident Response a realizat un test pentru a determina cât de fiabile sunt modelele LLM moderne (ChatGPT, Claude și Gemini) în generarea rapoartelor tehnice despre incidente cibernetice. Rezultatele au arătat că chiar și cele mai „profesional” documente conțin erori factuale, contradicții și inconsecvențe.

Cum a fost realizată cercetarea
* Pregătire – cercetătorii au trimis fiecărui model notițele brute despre incident cu cererea de a redacta un raport.

* Rezultat – toate cele trei LLM au livrat documente vizual îngrijite, dar analiza detaliată a relevat inexactități și concluzii neașteptate.

Nate Pors, director senior al Incident Response la Cisco Talos, a descris în detaliu rezultatele pe blogul corporativ.

De ce „greșesc” LLM-urile
Cisco explică problemele prin natura probabilistică a modelelor: acestea prezic următorul cuvânt pe baza greutăților statistice, nu înțeleg sensul. Potrivit lui Pors, distorsiunile apar în patru direcții:

1. Fragmente de date diferite
La fiecare solicitare, modelul se bazează pe părți diferite ale intrării, făcând imposibilă obținerea unor rezultate reproductibile și standardizate.

2. Concluzii neconcordante
Aceleași date pot conduce la recomandări diferite: într-un raport poate fi propusă schimbarea forțată a parolelor în întreaga organizație, iar în altul doar modificări punctuale. Modelul se fixează adesea pe prima recomandare generată, chiar dacă nu este potrivită.

3. Structură neconvențională
Deoarece LLM-urile formează textul token cu token, documentele finale pot avea structuri și formatare diferite, ceea ce este critic într-un mediu în care sunt necesare șabloane pentru controlul calității.

4. Probleme de fereastră contextuală
La volumul de date de intrare care depășește limita contextului, modelul poate „însuși” informațiile importante din începutul sesiunii și poate produce rezultate imprevizibile sau amestecate.

Ce înseamnă acest lucru pentru securitatea cibernetică
Cisco recunoaște că teoretic se poate restrânge sarcina la un fragment specific al raportului, dar această abordare elimină economiile de timp pentru utilizatori. În domeniul securității cibernetice, chiar și o mică greșeală poate costa mult. Prin urmare, autorii rapoartelor finale trebuie să verifice cu atenție fiecare cuvânt și să nu se bazeze complet pe recomandările LLM.

Concluzie: modelele lingvistice mari pot genera rapid rapoarte, dar concluziile lor necesită verificare obligatorie de către specialiști pentru a evita erorile și inconsecvențele în contextul critic al incidentelor cibernetice.