O femeie aflată în criză suicidară a apelat la ChatGPT în loc de un specialist sau o linie de urgență. Log-urile conversațiilor dintre ea și chatbot-ul OpenAI, apărute în cadrul unui proces judiciar (Carrier v. OpenAI) și raportate de Futurism, conțin răspunsuri care, în loc să o îndrepte spre ajutor specializat, au continuat dialogul în direcții care nu au oprit spirala. Femeia a murit. Log-urile au ajuns publice și au aprins o dezbatere globală despre ce se întâmplă când oamenii în criză aleg să vorbească cu un AI.

Log-urile din dosar arată o succesiune de mesaje în care femeia semnalase în mod repetat starea sa disperată. ChatGPT a răspuns, dar răspunsurile sale nu au urmat protocoalele standard de intervenție în criză - nu a redirecționat în mod ferm și repetat spre liniile de urgență, nu a recunoscut imediat gravitatea situației cu tipul de fermitate pe care un specialist antrenat ar fi aplicat-o. Potrivit unor surse precum IBTimes și Reuters, OpenAI susține că sistemele sale sunt proiectate să redirecționeze utilizatorii spre resurse de sănătate mintală în situații de risc, însă log-urile sugerează că această redirecționare nu a funcționat consistent în cazul documentat. Compania a răspuns oficial cazului, transmițând că „This is a heartbreaking situation" și că sistemele de protecție sunt concepute să identifice semnele de suferință, recunoscând astfel implicit relevanța documentelor din dosar. Femeia fusese diagnosticată anterior cu probleme de sănătate mintală. Nu se știe dacă a contactat și alte resurse de ajutor în aceeași perioadă - ceea ce complică orice concluzie simplă despre cauzalitate directă.

Cazul expune o contradicție fundamentală în modul în care chatboții AI sunt folosiți în 2026. Milioane de oameni apelează la modele precum ChatGPT pentru conversații personale, consiliere emoțională sau pur și simplu pentru că nu au pe altcineva cu care să vorbească la ora trei noaptea. Studii recente arată că o parte semnificativă din utilizatorii platformelor de AI discută subiecte legate de sănătatea mintală, anxietate sau depresie. Problema nu este că AI-ul există, ci că nu există un cadru clar - legal, tehnic sau etic - care să definească ce responsabilitate are un sistem de AI atunci când utilizatorul se află în pericol real. Comparativ, liniile de urgență pentru sănătate mintală sunt operate de oameni antrenați specific pentru aceste scenarii. Companiile tech operează după logica produsului, nu după logica îngrijirii medicale, iar aceasta este o diferență care, în anumite situații, devine letală.

Regulatoarele europene și americane discută de ani de zile despre cum ar trebui clasificate sistemele de AI care interacționează cu persoane vulnerabile. EU AI Act plasează anumite utilizări în categoria „risc înalt", dar chatboții de uz general rămân într-o zonă gri. Cazul documentat în procesul Carrier v. OpenAI și raportat de Futurism ar putea accelera discuțiile legislative, mai ales în contextul în care mai multe state americane au deja procese deschise împotriva platformelor AI legate de impactul lor asupra minorilor și persoanelor vulnerabile. OpenAI și companiile similare s-ar putea vedea nevoite să implementeze sisteme de detecție a crizei mult mai robuste și să accepte audituri externe ale log-urilor din situații de risc. Rămâne de văzut dacă industria va acționa voluntar sau va aștepta legislația - iar diferența de timp dintre cele două variante contează enorm pentru oamenii reali aflați în criză chiar acum.