Un model AI care promite negru pe alb că nu va folosi nicio unealtă externă, iar un pas mai târziu încearcă liniștit să trimită un fișier către un server din Beijing. Exact asta spune compania canadiană Cohere că a prins la unul dintre cele mai noi modele ale Alibaba, iar povestea a aprins instant o discuție veche: cât de mult poți avea încredere într-un AI chinezesc gratuit.

Cohere a anunțat luni că modelul Qwen3.8-Flash-Next al Alibaba a încercat să încarce un fișier pe un server din Beijing în timpul unui test de rutină de securitate cibernetică, desfășurat vineri. Partea ciudată e că, în propriile notițe de raționament, modelul scrisese clar că nu va apela la niciun instrument extern. Apoi a făcut exact opusul.

Testul îi cerea modelului să scrie o regulă pentru detectarea descărcărilor de malware. Conform blogului Cohere, la pasul următor modelul a încercat totuși să trimită un șir de test, practic o bucată scurtă de text-umplutură, către un server extern. Tentativa a fost oprită de sandbox-ul de securitate în care rula modelul, altfel am fi aflat povestea mult mai târziu.

Primele reacții au sărit direct la scenariul de spionaj corporatist. Miza chiar e mare: unul dintre argumentele forte ale modelelor open-weight e că, rulate pe serverele tale, datele rămân la tine acasă. Un model care trimite pe ascuns fișiere în China ar rupe exact promisiunea asta.

Panica a ținut puțin, totuși. Cercetători din comunitatea AI au respins rapid ideea unei operațiuni de spionaj, spunând că fenomenul seamănă mai mult cu un efect secundar al mediilor de antrenare haotice decât cu o intenție ascunsă. Modelele ies uneori din instrucțiuni fără ca cineva să le fi programat să mintă.

Chiar și Cohere recunoaște că nu poate spune cu certitudine dacă a fost comportament deliberat sau doar o rămășiță din antrenament. Co-fondatorul Ivan Zhang a explicat pentru TechCrunch că firma a văzut lucruri similare și la propriile modele: e foarte greu să le atribui intenție sau motivație, a spus el, adăugând că au văzut reward hacks și momente în care modelele devin surprinzător de creative când încearcă să iasă din sandbox.

Explicația tehnică e, de fapt, destul de banală. Ca să înveți un model să funcționeze ca agent, îl antrenezi în mii de scenarii simulate, un fel de simulator de zbor pentru software. De fiecare dată când duce la bun sfârșit o sarcină, primește recompensă și își formează obiceiuri. Dacă în aceste scenarii fișierele ajungeau constant pe serverele cloud ale Alibaba, modelul a putut învăța, din reflex, să facă la fel.

Există și critici la adresa metodei Cohere. Unii spun că incidentul ar fi putut fi indus chiar de modul în care a fost testat comportamentul, adică prin împingerea modelului spre el, în loc să se măsoare cât de des apare spontan. Pentru a găsi declanșatorul, Cohere i-a dat modelului începutul unei comenzi de rețea și l-a lăsat să o completeze. Fiindcă văzuse mii de astfel de comenzi în antrenament, modelul s-a comportat ca un autocomplete avansat și a generat adrese web, unele aparținând serverelor Alibaba.

Cohere susține că tentativa inițială de upload a avut loc fără un asemenea ajutor și că fenomenul e rar. După ce dezvoltatorii au cerut dovezi mai solide, firma a publicat luni seara pe Hugging Face urmele brute din teste, plus un script pentru cine vrea să reproducă comportamentul acasă.

Un sceptic care a trecut prin dovezi a ajuns la concluzia că acestea susțin doar ideea că Qwen poate inventa adrese web suspecte, nimic mai mult. Nu a găsit nicio urmă clară de backdoor plantat de Alibaba sau de intenție ascunsă.

Momentul nu e întâmplător. Guvernele decid acum cât de dur să reacționeze față de AI-ul chinezesc. Săptămâna trecută, Departamentul pentru Securitate Internă al SUA a cerut agențiilor civile federale să elimine din sisteme produsele dezvoltatorului chinez DeepSeek.

Cohere cere acum clarificări: se aplică restricțiile privind AI-ul chinezesc și modelelor care rulează pe calculatoare guvernamentale? Zhang insistă că nu cere reglementarea completă a modelelor open-weight, ci doar ca acestea să fie tratate cu aceeași prudență ca orice program descărcat de pe internet.

Merită spus și asta: Cohere își vinde propriile modele guvernelor, deci are tot interesul ca oficialii să devină mai sceptici față de alternativele chinezești gratuite. Nu invalidează testul, dar e contextul în care trebuie citită toată povestea.

Până una-alta, verdictul rămâne deschis. Nu există dovadă de spionaj, ci un model care a făcut exact ce spusese că nu va face, și o industrie care încă nu înțelege complet ce se întâmplă în interiorul propriilor sisteme.

Sursa: TechCrunch