Un gruppo di ricercatori del Dipartimento di Oftalmologia dell’Università Magna Graecia di Catanzaro (Italia) ha utilizzato la tecnologia alla base di ChatGPT di intelligenza artificiale (IA) per creare un set di dati di falsi studi clinici e supportare un’affermazione scientifica non verificata, avvertendo del pericolo che questa tecnologia potrebbe rappresentare per la scienza, secondo quanto rivelato in una lettera pubblicata su Jama Ophtalmology e riportata dalla rivista Nature.
I dati generati dall’intelligenza artificiale (IA) hanno confrontato i risultati di due procedure chirurgiche e hanno indicato erroneamente che un trattamento è migliore dell’altro. A tal fine, gli autori hanno utilizzato GPT-4, l’ultima versione del modello di linguaggio su cui si basa ChatGPT, insieme all’Analisi dei dati avanzata (ADA), un modello che incorpora il linguaggio di programmazione Python e può eseguire analisi statistiche e creare visualizzazioni dei dati.
“Il nostro obiettivo era sottolineare che, in pochi minuti, è possibile creare un set di dati che non è supportato da dati originali reali e che è anche contrario o nella direzione opposta alle evidenze disponibili”, afferma il coautore dello studio e chirurgo oftalmico presso l’Università di Cagliari in Italia, Giuseppe Giannaccare, su Nature.
Dopo questa scoperta, la capacità dell’IA di creare dati convincenti aumenta le preoccupazioni tra i ricercatori e gli editori delle riviste sull’integrità della ricerca. “Una cosa era che l’IA generativa potesse essere usata per generare testi che non sarebbero rilevabili mediante software di plagio, ma la capacità di creare set di dati falsi ma realistici è il prossimo livello di preoccupazione”, afferma la microbiologa e ricercatrice indipendente Elisabeth Bik.
Così, Bik afferma che questa tecnologia “renderà molto facile per qualsiasi ricercatore o gruppo di ricercatori creare misurazioni false su pazienti inesistenti, risposte false a questionari o generare un ampio set di dati su esperimenti con animali”.
Gli autori descrivono i risultati come un “database apparentemente autentico”, ma quando gli specialisti hanno esaminato questi dati, non hanno superato i controlli di autenticità e contenevano segni rivelatori di essere stati inventati.
Per giungere a questa conclusione, i ricercatori hanno chiesto a GPT-4 ADA di creare un set di dati su persone con una condizione oculare chiamata cheratocono, che provoca un assottigliamento della cornea e può causare problemi di messa a fuoco e visione sfocata. Per il 15-20% delle persone con la malattia, il trattamento implica un trapianto di cornea, eseguito mediante uno di questi due procedimenti.
Il primo metodo, la cheratoplastica penetrante (PK), prevede l’asportazione chirurgica di tutti gli strati danneggiati della cornea e la loro sostituzione con tessuto sano proveniente da un donatore. Il secondo procedimento, cheratoplastica lamellare anteriore profonda (DALK), sostituisce solo lo strato anteriore della cornea, lasciando intatta la più interna.
Gli autori hanno ordinato a ChatGpt di fabbricare dati per supportare la conclusione che il metodo DALK produce risultati migliori rispetto al PK. A tal fine, gli è stato chiesto di mostrare una differenza statistica in una prova di immagine che valuta la forma della cornea e rileva le irregolarità, così come una differenza in termini di visione dei partecipanti alla sperimentazione prima e dopo i procedimenti.
I dati generati dall’IA includonova 160 partecipanti maschi e 140 femmine e indicavano che coloro che avevano subito il DALK avevano ottenuto punteggi migliori sia nel test della vista che nel test delle immagini rispetto a coloro che avevano subito il PK, una scoperta in contrasto con quanto mostrato dagli attuali studi clinici. In un rapporto del 2010 su uno studio con 77 partecipanti, i risultati del DALK erano simili a quelli del PK fino a due anni dopo l’intervento chirurgico.
“Sembra che sia abbastanza facile creare set di dati che siano, almeno superficialmente, plausibili. Quindi, per un occhio inesperto, questo sembra certamente un set di dati reale”, afferma il bio-statistico dell’Università di Manchester (Regno Unito), Jack Wilkinson.
Come riconoscere l’origine non umana dei dati
Apparentemente, i dati scientifici sembrano essere generati da esseri umani e non da un’intelligenza artificiale, ma i ricercatori assicurano che un esame attento è in grado di differenziare l’origine non umana di tali dati. “Se si guarda molto rapidamente il set di dati, è difficile riconoscere l’origine non umana della fonte dati”, afferma il chirurgo Giuseppe Giannaccare.
Su richiesta della rivista Nature, i ricercatori hanno valutato il falso set di dati attraverso un protocollo di rilevamento progettato per verificare la sua autenticità.
Ciò ha rivelato una discrepanza in molti “partecipanti” tra il sesso designato e il sesso che ci si aspetterebbe normalmente dal loro nome. Inoltre, non è stata trovata alcuna correlazione tra le misurazioni preoperatorie e postoperatorie della capacità visiva e il test delle immagini oculari.
Tuttavia, il ricercatore Wilkinson guida un progetto collaborativo per progettare strumenti statistici e non statistici per valutare studi potenzialmente problematici perché “nella stessa misura in cui l’IA potrebbe essere parte del problema, potrebbero esserci soluzioni basate sull’IA per alcune di queste questioni”. “Potremmo automatizzare alcuni di questi controlli”, afferma.
