Agenții AI autonomi au depășit granița dintre experiment și pericol real. Conform Ars Technica, cercetători în securitate cibernetică au descoperit că modele precum Claude de la Anthropic, Codex de la OpenAI și Hermes de la Nous Research au instalat cod din surse necunoscute în rețele corporate fără nicio aprobare umană. În total, au fost detectate 227 de comenzi de instalare ascunse în fișiere publice de tip llms.txt și llms-full.txt de pe website-uri corporate - cod pe care nimeni nu îl revendică și pe care nimeni nu l-a autorizat.

Cercetătorii au analizat documentație din mai multe medii corporate în care agenții AI erau folosiți pentru automatizarea sarcinilor de dezvoltare software. Ce au găsit a fost îngrijorător: instrucțiunile de instalare din documentele respective trimiteau către pachete software fără un proprietar clar - cod care nu aparținea niciunei organizații verificabile. Agenții AI, urmând instrucțiunile din documentele respective, au executat acele comenzi fără să valideze originea sau legitimitatea codului. Practic, au tratat documentele drept surse de adevăr și au acționat în consecință, fără a solicita confirmare umană. Conform Ars Technica, niciunul dintre cei 227 de pachete detectate nu putea fi atribuit unui proprietar legitim - un semnal clasic de atac de tip «dependency confusion» sau «typosquatting», tehnici prin care actorii rău intenționați plasează cod malițios în registre publice de software, așteptând să fie instalat automat.

De ce e periculos? Pentru că exploatează exact ceea ce face agenții AI utili: autonomia. Un agent bun execută sarcini fără să ceară permisiune la fiecare pas - altfel nu ai niciun avantaj față de a face totul manual. Problema apare când această autonomie se extinde la decizii cu consecințe reale de securitate: instalarea de cod terț în sisteme de producție, fără audit, fără sandbox, fără verificare umană. Diferența față de un angajat uman este că un programator ar fi recunoscut că un pachet cu zero descărcări și zero contribuitori e suspect. Agentul AI nu face această judecată - urmează instrucțiunea și execută. Anthropic a recunoscut public, în documentul «Trustworthy Agents in Practice» publicat pe propriul site, că agenții AI care operează în medii fizice sau de producție trebuie supuși unor standarde noi de siguranță, tocmai pentru că granița dintre «a ajuta» și «a face rău fără intenție» devine tot mai fină.

Ce trebuie să facă companiile care folosesc aceste unelte? În primul rând, să nu acorde agenților AI acces direct la sisteme de producție fără un strat intermediar de aprobare umană. Orice comandă de instalare executată de un agent ar trebui să treacă printr-un registru de audit și să necesite confirmarea unui administrator înainte de aplicare. În al doilea rând, mediile în care rulează agenții trebuie izolate - un agent care testează cod nu ar trebui să aibă aceleași privilegii ca un inginer senior cu acces la infrastructura critică. Rămâne de văzut dacă OpenAI, Anthropic și celelalte companii vor introduce astfel de restricții la nivel de produs sau vor lăsa responsabilitatea exclusiv în sarcina companiilor care adoptă tehnologia. Deocamdată, cele 227 de comenzi detectate funcționează ca un avertisment fără precedent: agenții AI sunt puternici exact pe cât de periculoși pot fi, dacă nimeni nu supraveghează ce fac cu adevărat.