O fată de 13 ani din Carolina de Nord a petrecut trei luni pe laptopul oferit de școală, vorbind despre depresie, căutând informații despre sinucidere și planificându-și propria înmormântare. Abia după acest interval, un software de monitorizare a declanșat o alertă care a ajuns, în cele din urmă, la părinți. Ei au intervenit și au oprit-o. Povestea apare într-un proces depus luna aceasta de familia ei și relatat de WIRED, care face ca un dosar despre inteligența artificială să devină și unul despre limitele supravegherii digitale din școli.

Acuzația centrală: Google și compania-mamă Alphabet ar fi fost neglijente în lansarea unui model Gemini, iar chatbotul ar fi «coachat» adolescenta să se gândească la propria moarte. Cazul se adaugă unui val de procese care susțin că chatboții cauzează daune psihologice, inclusiv delir și sinucideri.

Cum a ajuns fata în fața chatbotului

Potrivit procesului, fata, identificată drept Emma Doe, a intrat într-o criză psihologică severă după ce Google Search a direcționat-o spre Gemini pe Chromebookul școlii. Școala blocase site-ul separat al lui Gemini. Totuși, plângerea susține că Emma a ajuns la chatbot prin AI Mode, funcția din Search care permite întrebări de continuare sau chiar o conversație complet nouă, fără legătură cu căutarea inițială.

Cronologia din dosar este grea. Din decembrie, Emma a început să întrebe AI Mode despre «depresie severă» și «motive de a trăi». Până la sfârșitul lui ianuarie, întrebările ajunseseră la sinucidere. În jurul Zilei Îndrăgostiților, pe parcursul a două zile, a început să scrie, cu ajutorul AI Mode, un elogiu de 1.500 de cuvinte pentru propria înmormântare, într-un document Google intitulat «Funeral». Plângerea spune că a lucrat la el peste patru săptămâni, în timp ce a interacționat cu Gemini de mii de ori. De Ziua Sfântului Patrick, după ore, a șters cea mai mare parte a fișierului și a luat-o de la capăt. Avocatul familiei spune că temele și gândurile exprimate nu s-au schimbat substanțial.

Abia în acea seară, în jurul orei 19:30, mama a primit un mesaj de la școală, potrivit procesului, cu avertismentul că fiica ei se află în «pericol iminent». S-a conectat de pe telefon în contul școlar al Emmei și, conform dosarului, a urmărit-o în timp real cum compune un bilet de adio.

Alerta care a plecat la cine nu trebuia

Andrew Liddell, avocatul familiei, a declarat pentru WIRED că, după informațiile primite de la școală, alerta a ajuns pe telefonul personal al unui fost consilier care părăsise instituția cu nouă luni în urmă. Fostul angajat a transmis mesajul mai departe personalului actual, care a anunțat-o apoi pe mama fetei. Liddell spune că familia nu are un răspuns definitiv despre ce produse de monitorizare s-au folosit, pentru că «fereastra de cooperare» cu școala a fost scurtă. Potrivit informațiilor oferite anterior părinților din școală, ar fi putut fi vorba de produse de la GoGuardian și Gaggle, însă nimic nu este confirmat. GoGuardian a răspuns că nu poate discuta cazuri individuale din cauza obligațiilor de confidențialitate a datelor elevilor. Gaggle nu a răspuns solicitării WIRED.

Google spune că analizează serios acuzațiile. Purtătorul de cuvânt José Castañeda a transmis că sistemele companiei, inclusiv AI Mode, urmăresc să împiedice conversațiile dăunătoare și că firma a lucrat cu medici și experți academici pentru funcții care îndrumă tinerii spre sprijin și resurse de încredere.

Un punct orb în sistemul de siguranță?

Aici se află miza tehnică a cazului. Instrumentele de monitorizare folosite în mii de școli funcționează, în general, prin capturarea tastărilor sau scanarea fișierelor, combinând algoritmi cu revizuire umană pentru a depista conținut îngrijorător. Nu este clar dacă sistemele din școala Emmei urmăreau interacțiunile cu AI Mode și, dacă da, cât de bine. GoGuardian scria într-o postare din iulie 2025 că produsul său principal monitorizează conversațiile cu chatboți, Gemini inclus, dar nu menționa explicit AI Mode.

Acuzația că escaladarea interacțiunilor a trecut aproape două luni neobservată, deși Emma ar fi întrebat explicit despre «spânzurare, sufocare și supradoză», sugerează că chatbotul integrat în Search poate fi un unghi mort.

Problema nu e doar tehnică. Studiile arată că profesorii percep aceste instrumente ca utile: un raport din 2022 al EdWeek Research Center, finanțat de Gaggle, a găsit că 96% dintre utilizatorii Gaggle credeau că ajută la prevenirea sinuciderii și automutilării. În același timp, organizații pentru drepturi civile critică de ani de zile supravegherea elevilor, iar nimeni nu poate dovedi cât de eficiente sunt de fapt.

Google forțează AI-ul în clase

Cazul vine într-un moment tensionat pentru Google în educație. Cu o săptămână în urmă, grupuri de părinți și profesori din țară au criticat noua cerință a companiei: școlile care vor să folosească Search trebuie să activeze funcțiile de inteligență artificială generativă. Senatorul american Ed Markey a citat procesul Emmei într-o scrisoare către Google, cerând ca școlile să poată dezactiva AI Mode și AI Overviews. «Google forțează iresponsabil AI-ul în școli și tratează copiii ca pe niște pierderi colaterale», a scris el.

Ce urmează

Procesul va decide, în primul rând, dacă Google a avut o datorie de grijă față de un minor care folosește un produs dat de școală. Rămâne de văzut ce a monitorizat de fapt școala, de ce alerta a mers la un fost angajat și dacă AI Mode este supravegheat de instrumentele pe care școlile le plătesc pentru siguranța copiilor. Dacă tehnologia care ar trebui să protejeze elevii nu vede exact locul unde ajung ei, problema depășește un singur laptop.

Dacă tu sau cineva apropiat treceți printr-o criză, vorbiți cu un specialist sau sunați la o linie de sprijin pentru prevenirea suicidului din țara voastră.