AI vs. dieteticieni: poate ChatGPT să evalueze cu exactitate mesele?

Evaluarea aportului alimentar este un proces esențial atât pentru cercetările în nutriție la nivel de populație, cât și în practica clinică individuală. Metodele tradiționale, cum ar fi chestionarele de frecvență alimentară, jurnalul alimentar sau reamintirea de 24 de ore, pot fi obositoare pentru utilizatori și susceptibile la erori de raportare. Dezvoltarea de tehnologii digitale și, mai recent, apariția modelelor lingvistice de mari dimensiuni (LLM) oferă oportunități noi de a automatiza parțial sau total procesul de estimare a nutrienților. ChatGPT, un LLM creat de OpenAI, a atras atenția prin capacitatea de a analiza texte și (în ultimele versiuni) imagini.
Cercetătorii irlandezi au dorit să evalueze dacă ChatGPT-4, folosind funcționalitatea sa de recunoaștere a imaginilor (prin încărcarea de fotografii direct în interfață), poate:

• Să identifice corect alimentele din fotografii.
• Să estimeze gramajele (porțiile) fiecărui aliment.
• Să determine conținutul în nutrienți (macronutrienți și micronutrienți) pentru mesele din fotografii.

Fotografiile provin dintr-o bancă de imagini reprezentative pentru dieta adulților din Irlanda (National Adult Nutrition Survey), cu 38 de rețete diverse, fiecare având câte 3 porții de dimensiuni diferite (mică, medie, mare).

Metodologia studiului

Selecția fotografiilor de mese

• În total, 114 fotografii (38 de tipuri de mese, fiecare în 3 mărimi: mică, medie și mare).
• Mesele cuprindeau de la o singură mâncare (de ex. o felie de tort) până la preparate mai complexe (salate cu multiple ingrediente, sandvișuri, etc.).
• Pentru fiecare masă s-au măsurat exact alimentele (în grame) și s-a calculat conținutul nutrițional printr-o bază de date specializată (McCance și Widdowson’s, prelucrată în Nutritics).

Estimările ChatGPT

• S-a folosit ChatGPT-4 într-o sesiune specifică.
• Cerința principală a solicitat identificarea alimentelor, câte grame are fiecare și o listă de 16 nutrienți, inclusiv energie, macronutrienți, fibre, vitamine și minerale relevante.
• Fotografiile au fost încărcate una câte una, ChatGPT returnând de fiecare dată:
• • Denumirea alimentelor recunoscute.
• • Estimarea greutății (în grame).
• • Estimarea conținutului total de nutrienți pentru masa respectivă.

Comparație cu dieteticieni

• Pentru a avea un reper suplimentar, s-au recrutat 7 dieteticieni din Irlanda și UK, cu experiență în estimarea aportului alimentar.  
• Dieteticienii au primit doar mesele cu porție medie (38 de fotografii), fiind rugați să ofere estimări pentru energie (kcal), proteine (g) și carbohidrați (g). Li s-a cerut să răspundă fără acces la baze de date.

Analize statistice

• Recunoașterea alimentelor: s-a calculat precizia, sensibilitatea și F1-score, comparând alimentele reale cu cele indicate de ChatGPT.
• Estimarea porției: s-au adunat gramajele propuse de ChatGPT pentru a le compara cu greutatea reală.
• Estimarea nutrientă: s-au examinat diferențele procentuale (±10% ca prag al acurateței), testele Wilcoxon, corelațiile Spearman și clasificarea pe quartile.
• Compararea cu dieteticienii: prin coeficient de corelație intraclase (ICC) între cei 7 dieteticieni și ChatGPT.

Rezultate

Identificarea alimentelor din fotografii

• Au fost 547 de alimente în total.
• ChatGPT a recunoscut corect 463 (true positive), a omis 84 (false negative) și a inventat 35 (false positive).
• Indicii de performanță:
• • Precizie: 93,0%.
• • Sensibilitate (recall): 84,6%.
• • F1-score: 88,6%.

Estimarea porției (gramaj total al mesei)

• Porții mici: greutatea reală 408,2 g (±155,0), ChatGPT 430,5 g (±166,7), fără diferență semnificativă (p=0,221).
• Porții medii: real 580,5 g (±213,8), ChatGPT 425,8 g (±165,9), subestimare semnificativă (p<0,001).
• Porții mari: real 798,1 g (±255,3), ChatGPT 529,5 g (±167,9), subestimare semnificativă (p<0,001).

În medie, ChatGPT a subestimat greutatea la 76,3% dintre fotografii; eroarea procentuală medie: ~28%.

Estimarea nutrienților pentru toate cele 114 fotografii

• ChatGPT a subestimat majoritatea nutrienților în medie.
• Diferența relativă <10% la 4 parametri (energie, proteine, carbohidrați, grăsimi polinesaturate).
• Pentru celelalte 12 nutrienți, diferența depășește ±10%.
• Corelațiile Spearman între valorile reale și ChatGPT au variat de la 0,29 la 0,83 (media 0,62).
• În clasificarea pe quartile, proporția corectă a fost între 33,3% și 57,9% (media 46,8%), iar cazurile de discordanță extremă sub 10% la toate nutrienții (media 2,1%).

Compararea cu dieteticieni (doar pentru porțiile medii)

• Toți dieteticienii au estimat energie, proteine și carbohidrați pentru 38 mese (unele excepții minore).
• Coeficient de corelație intraclase (ICC):
• • Energie: ICC = 0,56 (0,38–0,72) -> moderat.
• • Proteine: ICC = 0,67 (0,53–0,80) -> moderat-bun.
• • Carbohidrați: ICC = 0,31 (0,16–0,49) -> scăzut.

Aceste rezultate sugerează că ChatGPT se aliniază rezonabil cu estimările dieteticienilor pentru proteine și energie, însă mai puțin la carbohidrați.

Concluzii

Performanța ChatGPT „out-of-the-box”

Deși ChatGPT nu este specializat în nutriție și nu utilizează direct baze de date de compoziție a alimentelor, el prezintă:

• Identificare alimentară relativ bună (F1=88,6%).
• Acuratețe mai ridicată pentru mese mici (porții mici).
• Subestimare a porțiilor medii/mari, tradusă în subestimări pentru majoritatea nutrienților.

Utilitate și limitări

• Multe dintre erorile de estimare sunt comparabile cu alte modele de recunoaștere a alimentelor din imagini, dar special antrenate în acest scop.
• ChatGPT nu are acces direct la tabele oficiale de compoziție alimentară, bazându-se pe pattern-uri lingvistice. Totuși, rezultatele sunt promițătoare dacă s-ar implementa conexiuni cu baze de date validate.
• Erori mai mari în cazul micronutrienților (de ex. vitamina D, fier etc.), unde modul de preparare și fortificare pot varia mult.  
• Dieteticienii, fără acces la date adiacente (rețete exacte, branduri, greutăți reale), au prezentat și ei un nivel de variație, indicând că estimarea nutrienților dintr-o simplă fotografie este un demers dificil chiar și pentru specialiști.

Recomandări și direcții viitoare

• Folosirea de indicii în imagine (obiecte cu dimensiuni cunoscute) și cerințe mai detaliate privind prepararea, brandul și contextul pot îmbunătăți acuratețea ChatGPT.
• Integrarea cu baze de date nutriționale: folosirea tehnicilor de tip generare augmentată de recuperare (RAG) poate oferi un salt calitativ în estimări.
• Antrenare specifică pe imagini de mese din diverse regiuni și culturi culinare, pentru a reduce erorile sistematice în recunoașterea alimentelor mai puțin comune.
• Cercetări suplimentare pentru evaluarea unui volum mai mare de imagini, testarea stabilității răspunsurilor ChatGPT de-a lungul timpului (în urma actualizărilor), compararea cu alte LLM-uri și analiza acceptabilității de către public și profesioniști.

Studiul arată că, deși ChatGPT-4 nu este perfect pregătit pentru estimarea nutrienților din fotografii, el oferă deja rezultate remarcabil de bune pentru recunoașterea alimentelor și o clasificare rezonabilă a conținutului caloric și nutritiv. Subestimează însă porțiile mai mari și, prin urmare, anumiți nutrienți. Îmbunătățiri prin integrarea bazelor de date și cerințe specifice pot crește acuratețea. ChatGPT este, așadar, un instrument promițător în evaluarea aportului alimentar, dar necesită rafinări substanțiale înainte de a fi utilizat la scară largă în cercetare și practica clinică.