L’ineffabile ricerca pedagogica che dimostra sempre ciò che vuole dimostrare

Una delle caratteristiche più interessanti della scienza moderna, esatta o non esatta, è la sua capacità di smentire se stessa. Le teorie non sopravvivono perché sono eleganti o persuasive, ma perché resistono a tentativi sistematici di confutazione. Come ha chiarito per primo Karl Popper, una teoria è scientifica solo se espone se stessa alla possibilità di essere falsificata. La storia della medicina moderna, ad esempio, costituisce un esempio particolarmente istruttivo di questo processo, come abbiamo già avuto modo di esaminare sul Gessetto.

L’importanza nella ricerca scientifica delle smentite

In questo approfondimento vogliamo concentrarci proprio sull’importanza fisiologica della smentita nel progresso scientifico. Numerose terapie ritenute efficaci dalla ricerca medica sono state successivamente abbandonate quando studi controllati hanno dimostrato che il loro effetto a lungo termine era nullo o addirittura dannoso.

 L’introduzione dei trial clinici randomizzati, del placebo e soprattutto del doppio cieco (in cui sia il paziente sia il medico ignorano chi stia ricevendo il trattamento effettivo o sia in osservazione) ha rappresentato una svolta epistemologica fondamentale. Grazie a questi strumenti è stato possibile distinguere tra i miglioramenti dovuti all’efficacia reale di un trattamento e quelli derivanti da aspettative, suggestione o semplice decorso naturale della malattia (Hróbjartsson & Gøtzsche, 2001). Alcuni casi sono diventati emblematici. L’artroscopia per l’osteoartrosi del ginocchio si è rivelata non più efficace di interventi simulati quando sottoposta a controlli rigorosi (Moseley et al., 2002). La vertebroplastica, utilizzata per le fratture vertebrali osteoporotiche, ha mostrato risultati sovrapponibili a quelli dei gruppi placebo (Buchbinder et al., 2009). Per quanto riguarda gli antiaritmici post-infarto, il Cardiac Arrhythmia Suppression Trial dimostrò che alcuni farmaci, ritenuti fisiologicamente plausibili, non solo erano inefficaci ma aumentavano la mortalità dei pazienti nel lungo periodo (Echt et al., 1991). A fronte di annunci ottimistici all’opinione pubblica si è dovuti tornare indietro e sconfessare l’innovazione fallace.

L’albo delle innovazioni mostratesi fallaci: esiste in ogni disciplina scientifica… tranne in una(!)

Questi episodi non sono incidenti di percorso, ma momenti cruciali nel processo di autocorrezione della conoscenza scientifica. Dimostrano che anche comunità altamente specializzate possono essere influenzate da ipotesi plausibili, osservazioni parziali o entusiasmi professionali.

Proprio per questo la scienza, e la medicina in particolare, ha costruito nel tempo strumenti metodologici pensati non solo per confermare, ma soprattutto per smentire. Esiste, in altre parole, un vero e proprio “albo storico delle innovazioni fallaci”, studiato nei corsi universitari per far comprendere come progredisce realmente una disciplina scientifica.

Se si guarda alla ricerca pedagogica, tuttavia, il quadro appare sorprendentemente diverso. Non esiste una tradizione di strumenti capaci di smentire in modo netto e condiviso le innovazioni educative. Le teorie pedagogiche vengono raramente abbandonate, persino dopo numerose evidenze empiriche della loro inefficacia. Più spesso continuano a convivere paradigmi diversi – e talvolta incompatibili – ciascuno sostenuto da ricerche che ne “confermano” la validità nei contesti di applicazione.

In pedagogia, le teorie non muoiono mai. Al massimo cambiano lessico, si riformulano o si ibridano con nuovi modelli. La bella notizia sembrerebbe che la pedagogia non sbaglia mai: non possiede un albo  delle smentite. Esiste una metodica e sistematica confutazione di tutto ciò che la tradizione ha consegnato, accompagnata da una altrettanto sistematica approvazione di tutto ciò che si presenta come innovazione. L’imperativo è: il nuovo è positivo in sé. Ciò che giunge dalla consegna dell’esperienza è negativo in sé.

Ma non esistono procedure standardizzate per giungere ad una sconfessione terza dell’innovazione.

La brutta notizia è che, se le cose stanno così, la disciplina fatica a soddisfare alcuni requisiti fondamentali dello statuto scientifico. La pedagogia allora, come sosteneva Lombardo Radice:” Non è tecnica, non è scienza, ma coscienza critica rispetto ai valori assunti in premessa”

Questa anomalia deriva in parte dalla natura stessa dell’oggetto di studio. L’educazione non è una molecola farmacologica né una procedura tecnica standardizzabile: si svolge all’interno di relazioni umane complesse e in contesti istituzionali, culturali e sociali sempre diversi. Tuttavia, questa constatazione non esaurisce il problema. La questione più radicale riguarda il modo in cui la ricerca pedagogica produce le proprie conferme, basandosi spesso su tre criticità fondamentali.

1. Il bias di conferma e l’effetto Pigmalione. In educazione il rischio del bias di conferma – la tendenza a selezionare i dati in modo coerente con le ipotesi iniziali – è altissimo, perché ricercatore e insegnante partecipano attivamente alla produzione del fenomeno osservato. Il caso più noto è l’effetto Pigmalione (Rosenthal & Jacobson, 1968): quando i docenti si aspettano risultati migliori da alcuni studenti, tendono inconsapevolmente a fornire loro più attenzione e incoraggiamento, contribuendo a produrre proprio i risultati attesi. In queste condizioni diventa estremamente difficile distinguere tra l’efficacia intrinseca di un metodo e l’effetto delle aspettative di chi lo applica.

2. Il “solletico didattico”. Immaginiamo che un ricercatore autorevole annunci una nuova teoria: somministrare il solletico agli studenti durante lo studio della matematica migliorerebbe la memorizzazione delle procedure aritmetiche. L’ipotesi è paradossale, ma non è improbabile, anzi è molto probabile, che nel giro di pochi anni emergano studi capaci di “provarla”. Uno mostrerebbe un aumento dell’attenzione, un altro un miglioramento del clima relazionale, un terzo un lieve incremento delle prestazioni a breve termine. Nulla di tutto questo dimostrerebbe la validità del “solletico didattico”; mostrerebbe piuttosto quanto sia facile ottenere risultati apparentemente positivi in sistemi educativi, soprattutto quando gli indicatori sono flessibili e i tempi di osservazione brevi.

3. Il consolidamento citazionale. I paradigmi educativi si consolidano spesso attraverso un processo cumulativo di riaffermazioni autorevoli. Un’ipotesi formulata da uno studioso prestigioso viene citata, discussa e progressivamente incorporata nel lessico disciplinare fino a trasformarsi in uno sfondo teorico quasi indiscutibile. Come ha mostrato Ioannidis (2005), la riproduzione dei risultati nella letteratura scientifica dipende spesso più dalle dinamiche di selezione e consolidamento citazionale che dalla reale robustezza empirica.

In pedagogia non c’è traccia di confutazioni sulle innovazioni adottate

Esiste però un meccanismo ancora più decisivo che spiega l’assenza di vere smentite nella pedagogia contemporanea. Quando un’innovazione didattica produce risultati deludenti o controproducenti, raramente si conclude che il metodo fosse sbagliato. Più spesso la responsabilità viene trasferita sui docenti, accusati di non aver applicato correttamente il modello o di averlo fatto in modo parziale e incompleto. Il fallimento della teoria viene così declassato a semplice problema di implementazione. Se il metodo funziona, la teoria è confermata. Se non funziona, è perché gli insegnanti non sono stati all’altezza. In questo modo il paradigma resta intatto e la possibilità stessa di una confutazione empirica viene neutralizzata alla radice.

A complicare ulteriormente il quadro interviene la difficoltà di misurare gli effetti educativi nel lungo periodo. Un metodo adottato nella scuola primaria può produrre risultati immediatamente gratificanti – maggiore partecipazione, minor conflittualità, benessere in aula – ma quali effetti avrà a distanza di quindici anni? Un approccio che abbassa le richieste cognitive pur di generare gradimento a breve termine, quali conseguenze produrrà quando quegli studenti dovranno affrontare la complessità della scuola secondaria o dell’università? La ricerca pedagogica raramente riesce a rispondere a queste domande, perché valuta l’immediato mentre l’educazione dispiega i suoi effetti nel lungo periodo biografico e sociale.

Se persino la medicina ha dovuto riconoscere di aver creduto per decenni in terapie inefficaci nonostante i suoi rigorosi strumenti sperimentali, una disciplina intrinsecamente relazionale come la pedagogia è enormemente più esposta al rischio di confermare soltanto ciò che desidera dimostrare.

Thomas Kuhn ha mostrato che le comunità scientifiche tendono a difendere i propri paradigmi finché le anomalie non diventano insostenibili. Nella pedagogia, tuttavia, le anomalie raramente innescano vere crisi paradigmatiche, perché vengono reinterpretate come errori di applicazione, resistenze culturali o difetti di formazione dei docenti.

La ricerca come semplice meccanismo di conferma “profetica”

Il rischio, in queste condizioni, non è soltanto metodologico ma epistemologico: una disciplina priva di reali dispositivi di smentita rischia di trasformare la ricerca in un esercizio di conferma quasi profetica. Le ricerche tendono a provare il “dispositivo ideologico” assunto in partenza, immancabilmente.

Riconoscere questo limite non significa delegittimare la pedagogia, ma prenderla sul serio. Significa accettare che l’educazione opera su tempi lunghi e con variabili difficilmente isolabili. Ma significa anche ammettere che una scienza dell’educazione incapace di produrre confutazioni reali corre il rischio di dimostrare, con crescente raffinatezza metodologica, ciò che aveva già deciso di credere. La ricerca pedagogica non nasce in un vuoto neutrale, ma all’interno di cornici teoriche, aspettative culturali e relazioni sociali che influenzano inevitabilmente il processo di osservazione.

 Il che solleva una domanda inevitabile: se una disciplina non può essere realmente smentita, fino a che punto può ancora dirsi scienza, e non piuttosto ideologia?

Riferimenti bibliografici essenziali

1. Buchbinder, R., Osborne, R., Ebeling, P. et al. (2009). A randomized trial of vertebroplasty for painful osteoporotic vertebral fractures. New England Journal of Medicine.
2. Echt, D. et al. (1991). Mortality and morbidity in patients receiving encainide or flecainide. New England Journal of Medicine.
3. Hróbjartsson, A., & Gøtzsche, P. (2001). Is the placebo powerless? An analysis of clinical trials comparing placebo with no treatment. New England Journal of Medicine.
4. Ioannidis, J. (2005). Why most published research findings are false. PLoS Medicine.
5. Moseley, J. B. et al. (2002). A controlled trial of arthroscopic surgery for osteoarthritis of the knee. New England Journal of Medicine.
6. Nickerson, R. (1998). Confirmation bias: A ubiquitous phenomenon in many guises. Review of General Psychology.
7. Rosenthal, R., & Jacobson, L. (1968). Pygmalion in the classroom. Holt, Rinehart & Winston.
8. Rossouw, J. et al. (2002). Risks and benefits of estrogen plus progestin in healthy postmenopausal women. JAMA.