I Questionari

 

Nei paragrafi successivi, proveremo a fornire una descrizione dei differenti questionari.

Il questionario di valutazione delle rassegne sistematiche

Le rassegne condotte per valutare l’efficacia di specifici trattamenti psicologici hanno come obiettivi riassumere e discutere una serie di articoli scientifici che hanno come oggetto una determinata strategia di cura. Una rassegna sistematica cerca di seguire lo stesso livello di rigorosità scientifica che si applica alla costruzione di un esperimento scientifico. Secondo Davies e Crombie (1998), le rassegne sistematiche prendono in considerazione un’ampia quantità di articoli scientifici su un determinato argomento, sintetizzano i risultati di ciascuno studio imparzialmente e forniscono un riassunto generale delle conclusioni, includendo considerazioni ed implicazioni. Il questionario relativo alla valutazione delle rassegne sistematiche è stato sviluppato sulla base delle linee guida pubblicate da Oxman et al. (1994) ed è articolato in dieci domande, due di screening ed otto di valutazione. Le domande di screening servono a valutare se la rassegna risponde ad una domanda appropriata e specifica rispetto ad uno o più aspetti di un trattamento e se considera gli studi adeguati per raggiungere tale fine. Questa seconda domanda viene approfondita con linee guida più dettagliate nella domanda tre, con la quale si identificano i databases utilizzati per la ricerca bibliografica e si stabilisce se gli autori abbiano incluso articoli non pubblicati (abstract di presentazioni a convegni o articoli acquisiti tramite contatto con gli esperti sull’argomento), oltre che articoli non in lingua inglese. La quarta domanda è finalizzata a stabilire se la selezione degli articoli è stata condotta da più giudici indipendentemente o se è stato seguito un valido sistema di scoring. Le domande dalla cinque alla sette si riferiscono al metodo con cui i risultati sono presentati nella rassegna. Due sono i metodi che possono essere seguiti: il metodo qualitativo, con il quale gli articoli vengono raggruppati sulla base dell’argomento, oppure il metodo quantitativo, anche detto meta-analisi, una tecnica statistica che serve a valutare i risultati di più ricerche indipendenti. 

Infine, le domande dalla otto alla dieci si riferiscono all’organizzazione e alla valutazione della discussione dei risultati e dunque quanto i risultati degli studi considerati siano generalizzabili all’intera popolazione e quanto siano rilevanti per definire l’efficacia di un trattamento.

Alcuni punti ritenuti importanti dal questionario sulle rassegne sistematiche vengono applicati raramente nella pratica, ma non sempre per mancanza di rigorosità scientifica. Per esempio, l’inclusione di articoli non pubblicati viene consigliata dal questionario CASP al fine di bilanciare i risultati positivi con quelli negativi, dato che i risultati positivi vengono pubblicati con più facilità. Tuttavia, va sottolineato che questo punto non considera che gli articoli pubblicati hanno ricevuto un processo di revisione che potrebbe renderli non paragonabili e di qualità superiore agli articoli non pubblicati. Allo stesso modo, dato che le riviste ad impact factor più alto e note a livello internazionale sono attualmente per la maggior parte in lingua inglese, gli studi pubblicati su riviste nazionali potrebbero essere di minore qualità.

Il questionario di valutazione degli studi caso-controllo

Il caso-controllo (case-control) è un tipo di disegno sperimentale epidemiologico usato per identificare i fattori di rischio che possono contribuire ad una specifica patologia mediante la comparazione tra soggetti che presentano tale patologia (“casi”) e soggetti che non la presentano, ma che sono simili ai casi per altre caratteristiche (“controlli”). Il questionario relativo alla valutazione degli studi caso-controllo si compone di 11 domande, suddivise in tre sezioni. La sezione A (validità), composta dalle due domande di screening e da quattro domande dettagliate. Le domande dalla tre alla sei valutano:

·       l’adeguatezza dei metodi adottati per il campionamento dei casi e dei controlli, considerando se le differenze tra i gruppi sulle variabili non di interesse siano state minimizzate

·       la valutazione dell’esposizione ai fattori di rischio o protettivi per entrambi i gruppi

·       la valutazione delle strategie utilizzate per minimizzare eventuali fattori confondenti    (genetici, ambientali, socioeconomici).

La sezione B (rilevanza clinica) è composta da tre domande che consentono di valutare la forza dell’associazione tra l’esposizione ai fattori di rischio e la presenza della patologia, e la credibilità dei risultati. In particolare, rispetto a quest’ultimo punto il questionario suggerisce di considerare i criteri di Bradford Hills (relazione temporale, forza, plausibilità biologica, ecc.). La sezione C (generalizzabilità) è composta da due domande che tengono conto della generalizzabilità dei risultati e della loro coerenza con quelli provenienti da altri tipi di studi (RCT, reviews sistematiche, studi di coorte).

Il questionario di valutazione degli studi di coorte

Uno studio di coorte è uno studio osservazionale che segue nel tempo l’evoluzione di un gruppo di soggetti identificati chiaramente in base a determinate caratteristiche.

La selezione dei gruppi di confronto è effettuata in funzione dell’esposizione (esposti/non esposti) dei soggetti della coorte a interventi o fattori specifici. Uno studio di coorte può essere prospettico se definisce il gruppo di partecipanti e lo segue nel tempo o retrospettivo se identifica i fattori di rischio attraverso la ricostruzione anamnestica dei soggetti presi in esame. Il questionario relativo agli studi di coorte si compone di dodici domande. La sezione A comprende cinque domande, oltre alle due di screening. Le prime sono più dettagliate e valutano la validità dello studio indagando in che modo sia stata reclutata la coorte, oltre che l’eventuale intervento di bias di selezione che potrebbero compromettere la generalizzabilità dei risultati. Nella quarta e quinta domanda si valuta se le misure utilizzate siano oggettive o soggettive, se l’esposizione e l’outcome siano stati accuratamente misurati in modo tale da minimizzare gli errori, se il metodo di misura sia simile nei due gruppi e infine se i soggetti e/o lo sperimentatore siano blinded rispetto all’esposizione. La sesta domanda valuta se gli autori hanno identificato importanti fattori concorrenti e se hanno tenuto conto di questi fattori nel disegno e/o nelle analisi. La settima riguarda informazioni rispetto alla completezza e alla durata del follow-up.

Le domande della sezione B si riferiscono alla validità dei risultati dello studio rispetto alla stima del rischio e alla credibilità dei risultati (criteri di Bradford Hills). La sezione C, infine, riguarda la generalizzabilità dei risultati.

Gli studi osservazionali raramente forniscono evidenze sufficientemente forti che possano incidere sulla pratica clinica o sulle decisioni di politiche della salute. Per questo motivo è sempre preferibile che i risultati di uno studio osservazionale siano supportati da altre evidenze empiriche in modo tale da essere maggiormente utilizzabili e generalizzabili.

Il questionario di valutazione degli studi di natura qualitativa

Il questionario finalizzato all’analisi critica degli studi di natura qualitativa ha l’obiettivo di valutare il rigore, la credibilità e la rilevanza dei risultati presentati. Si tratta di considerare, rispettivamente, l’appropriatezza e la puntualità scientifica della metodologia di ricerca, la chiarezza delle conclusioni e la significatività dello studio rispetto agli scopi iniziali dell’indagine bibliografica.

Il questionario si articola in dieci domande. Le prime due (screening) sono rivolte alla valutazione della chiarezza nell’enunciazione degli scopi della ricerca (domanda 1) e della appropriatezza della metodologia qualitativa (domanda 2).

Le otto domande specifiche sono finalizzate a discutere ed indagare le ragioni che hanno sostenuto le scelte del ricercatore. Esse prevedono un’iniziale riflessione sulle scelte del ricercatore relative all’appropriatezza del disegno (domanda 3 “appropriatezza disegno di ricerca”), alle scelte metodologiche compiute rispetto alla selezione del campione (domanda 4 “campionamento”: come e perché sono stati selezionati i partecipanti/criteri di inclusione ed esclusione), alle modalità di raccolta dati (domanda 5 “raccolta dati”: setting, descrizione analitica delle procedure impiegate ed eventuali modificazioni apportate durante il corso dello studio, formato dati scelto) e all’analisi dati (domanda 8 “analisi dati”: descrizione del processo di analisi e considerazione critica di eventuali biases da parte dello sperimentatore, discussione dei dati contraddittori). Segue l’analisi critica della discussione del rapporto tra ricercatore e partecipanti, con particolare riferimento ad eventuali bias dello sperimentatore durante la formulazione delle ipotesi e la raccolta dati (domanda 6 “riflessività”), oltre che ai problemi etici implicati nella ricerca (domanda 7 “problemi etici”: domande approvazione comitato etico, consenso informato, confidenzialità, restituzione risultati). Le ultime 2 domande sono finalizzate alla valutazione della descrizione dei risultati (domanda 9 “risultati”: chiarezza espositiva, discussione dei dati a favore e contro le ipotesi formulate, credibilità) e alla discussione dei potenziali contributi forniti dalle conclusioni allo stato delle conoscenze disponibili sulla tematica affrontata (domanda 10 “valore della ricerca”).

Test diagnostici

I tests diagnostici sono strumenti di orientamento utilizzati nel processo di assessment e che hanno come scopo la valutazione obiettiva di un soggetto che ne permetta di prevedere il comportamento in situazione analoghe.

Il questionario volto all’analisi critica degli articoli scientifici che discutono l’efficacia diagnostica degli strumenti di valutazione clinica è costituito da dodici domande. Gli ambiti indagati investono la tipologia dei risultati ottenuti, il rigore metodologico con conseguente validità dei dati e l’utilità clinica dello strumento presentato. Le domande di screening valutano la chiarezza di esposizione degli obiettivi della ricerca (in termini di popolazione presa in esame, tests, setting, conclusioni) e l’appropriatezza degli strumenti diagnostici utilizzati come termine di paragone (best reference standard). Le successive Detailed Questions analizzano gli aspetti più strettamente metodologici come l’indipendenza di risultati tra test in esame e strumenti di valutazione standard (review bias e blinding), l’accuratezza nella descrizione del disturbo preso in esame (symptoms, disease stage o severity, co-morbility, spectrum bias), la descrizione del protocollo di applicazione del test. E’ possibile continuare la valutazione, con la sezione B “what are the result?”, solo se la maggior parte delle risposte date nelle sezioni precedenti sono positive; manca tuttavia un cut off di punteggi; nelle domande successive si valutano i risultati, la loro sensibilità al costrutto, la capacità rappresentativa ed il livello di affidabilità (analisi livelli di confidenza). L’analisi critica dell’articolo prosegue con la valutazione dell’utilità clinica dello strumento in base alla specifica popolazione di pazienti trattati. Si indaga la generalizzabilità dei dati (analisi di caratteristiche quali sesso, età, differenze etniche e disturbo della popolazione presa in esame), l’utilità del test con i propri pazienti (analisi dei costi e benefici, livello di preparazione richiesto per interpretare i risultati), l’utilità delle conclusioni in termini di miglioramento della capacità di gestione dei pazienti e della loro qualità di vita.

Randomized Controlled Trias

Il disegno sperimentale Randomized Controlled è il piano di ricerca più appropriato per la verifica dei trattamenti. Il procedimento prevede che i soggetti scelti da una popolazione con procedimento di campionamento casuale vengano assegnati in modo randomizzato al gruppo sperimentale o al gruppo di controllo; si mantengono costanti tutte le condizioni per ambedue i gruppi ad eccezione di quella del trattamento e si verifica, successivamente, la significatività della differenza tra i due gruppi.

Il questionario utilizzato per la valutazione critica degli articoli scientifici che utilizzano questa metodologia è composto da dieci domande suddivise in tre sezioni che indagano rispettivamente la validità dello studio (Section A), la validità dei risultati (Section B) e l’utilità per il clinico (Section C).

Nella prima sezione, dunque, si analizza la solidità metodologica dell’articolo; nello specifico, le prime due domande di screening indagano quanto l’ipotesi di ricerca sia specificata in termini di popolazione indagata, trattamento erogato, considerazioni finali e se il piano di ricerca è il più indicato rispetto alle finalità dello studio. Solo se le risposte alle prime due domande non sono negative è possibile proseguire nell’analisi dell’articolo.

Le successive Detailed Questions indagano l’appropriatezza dell’assegnazione dei pazienti ai gruppi (3), l’utilizzo della metodologia del “doppio-cieco”(4), l’analisi del follow-up (5) la coerenza della raccolta dati nel tempo (6) e la numerosità del campione (7). Le successive due domande (8-9) indagano l’accuratezza nella presentazione dei dati e nella loro discussione. Infine, l’ultima domanda analizza l’utilità clinica dei risultati.