Waldo, instrument AI inovator pentru monitorizarea riscurilor ascunse de sănătate în mediul online

Sistemele de supraveghere a siguranței după punerea pe piață, precum FDA Adverse Event Reporting System (FAERS) sau MedWatch, au un rol esențial pentru sănătatea publică. Totuși, acestea exclud multe produse de consum, inclusiv cele derivate din canabis, utilizate în scopuri de wellness sau recreaționale. Lipsa unor canale eficiente de raportare directă și dependența de producători sau medici ca „gardieni” generează lacune semnificative în identificarea riscurilor reale.
Produsele farmaceutice și dispozitivele medicale beneficiază de monitorizare strictă, însă suplimentele sau produsele derivate din canabis rămân slab reglementate. Raportarea evenimentelor adverse este redusă din cauza:

• necunoașterii formularului MedWatch Consumer 3500B de către public;
• interfeței greoaie și limitărilor tehnice (ex. categoria „alte produse nelistate” blochează procesul de raportare);
• dependenței de rapoarte indirecte de la companii sau avocați;
• timpului mare necesar pentru identificarea manuală a evenimentelor adverse (în medie peste o oră pentru fiecare caz valid).

Între timp, utilizatorii relatează frecvent experiențe negative pe forumuri online și rețele sociale, dar aceste date rămân în afara canalelor oficiale de farmacovigilență.

Despre studiu

O echipă interdisciplinară a dezvoltat Waldo, un instrument de inteligență artificială destinat detectării automate a evenimentelor adverse din texte nestructurate. Alegerea produselor derivate din canabis ca studiu de caz a fost motivată de:

• utilizarea extinsă a acestora pe piața americană;
• variația mare în calitatea și etichetarea produselor;
• absența unor standarde federale clare și a unei monitorizări proactive.

Studiul publicat în PLOS Digital Health a fost structurat în trei faze:

• antrenarea și compararea a trei modele de clasificare (N-gram, BERT și RoBERTa);
• compararea modelului optim cu un chatbot AI (ChatGPT);
• aplicarea modelului la un set extins de peste 437.000 de postări din 20 de subreddit-uri relevante pentru canabis.

Rezultate

Performanța modelelor

• N-gram: acuratețe 97%, dar F1=0,22 pentru evenimente adverse (sensibilitate scăzută);
• BERT: acuratețe 97.6%, F1=0,70;
• RoBERTa (Waldo): acuratețe 99,7%, F1=0,95, precizie 93,6%, recall 96,4%.

ChatGPT a avut o performanță net inferioară (acuratețe 94.4%, F1=0,38), cu de peste 18 ori mai multe fals pozitive decât Waldo.

Aplicarea Waldo

Waldo a identificat 28.832 potențiale evenimente adverse în postări despre canabis. Analiza pe subreddit-uri a arătat:

• cea mai mare rată de evenimente adverse pe r/Marijuana (12.7% din postări);
• alte comunități cu rate ridicate: r/weed (10,5%), r/AskTrees (10%), r/stoner (8,5%).

Validarea manuală a confirmat că 86% dintre cazurile identificate de Waldo erau evenimente adverse reale. Exemplele variau de la atacuri de panică severe după consumul de THC, până la simptome fizice neașteptate, precum tinitus după utilizarea de CBD.

Interpretare

Studiul evidențiază mai multe aspecte esențiale:

• AI transparent și open-source: spre deosebire de „black-box”-urile comerciale, Waldo este accesibil și reproductibil, facilitând adoptarea largă;
• Extensibilitate: metodologia poate fi aplicată și altor produse de consum slab reglementate (suplimente alimentare, țigări electronice);
• Integrare clinică: medicii pot utiliza Waldo pentru a înțelege mai bine experiențele reale ale pacienților și pentru a identifica riscuri greu de surprins în trialuri clinice;
• Limitări: dependența de date dintr-un singur subreddit (r/Delta8) pentru antrenare, necesitatea validării umane și riscul de bias.

Viitoarele direcții includ integrarea de active learning pentru reducerea nevoii de revizuire umană și extinderea către multiple tipuri de produse și platforme.

Concluzii

Waldo marchează un pas important în democratizarea farmacovigilenței, oferind un instrument automatizat, precis și accesibil pentru detectarea evenimentelor adverse din surse de date nestructurate. Prin aplicarea acestui model la produsele derivate din canabis, autorii demonstrează cum AI poate umple golurile critice din sistemele de supraveghere tradiționale și poate sprijini atât siguranța pacienților, cât și cercetarea medicală.