Prove Invalsi valido strumento per misurare qualità insegnamento? Pare di no. Uno studio dell’Università di Twente

di Anna Angelucci
ipsef

item-thumbnail

Non è certamente agevole la lettura del volume di Jaap Scheerens, “Efficacia e Inefficacia Educativa. Esame Critico della Knowledge Base” (Springer, 2018, pp. 409), pubblicato in traduzione italiana nell’ambito del Progetto INVALSI – PON Valu.E. (Valutazione/Autovalutazione Esperta).

Dunque non sarà agevole la lettura di questa mia recensione, ma chiedo a tutti quelli che in vario modo si occupano di scuola e università di fare uno sforzo. Credo ne valga la pena.

Le ragioni di questa difficoltà sono per me molteplici, a partire dal mio personale posizionamento critico, contrastivo direi, rispetto alle prassi valutative instaurate dall’Invalsi e imposte dal MIUR alle scuole negli ultimi dieci anni, proprio in relazione alla ‘misurazione’ degli apprendimenti degli studenti e alla loro funzione di indicatori di efficacia. Tuttavia la Prefazione introduttiva, che condivido in parte qui con voi, mi ha invitata all’impresa; infatti, con grande onestà intellettuale, Scheerens dichiara nella prima pagina:

<<Vi è un ampio consenso circa le condizioni malleabili associate alle buone performance degli studenti. Tuttavia, ho ritenuto che fossero giustificate anche alcune delle critiche mosse: per la maggior parte dei fattori malleabili individuati e generalmente supportati, le meta-analisi quantitative rivelano notevoli differenze nella stima degli effect size medi, e i progressi verso un approccio improntato ai modelli e alla teoria appaiono piuttosto lenti. [ … ] Nonostante i “risultati positivi”, nel senso del riconoscimento dell’effettiva malleabilità e della chiara logica dei modelli concettuali, si è notata anche una notevole “dissonanza”, sotto forma di marcata variazione nei risultati della ricerca relativamente alla maggior parte dei fattori chiave, effect size minimi risultanti dai nostri stessi studi, e l’influenza di “certe” condizioni di background e contestuali, spesso emersa come molto più forte rispetto a quella esercitata dalle variabili malleabili sensibili alla policy [ … ] La lettura dei risultati internazionali in questione contrasta con l’immagine della forte malleabilità positiva indicata dai rapporti OCSE e da McKinsey>> (pp. V-VI)

Musica per le orecchie di chi, come me e come tanti, ha sempre pensato che la policy, quando generata da una sovrapposizione tra le ragioni della pedagogia, della didattica, della docimologia, della valutazione, dell’economia e della politica, si configura a tutti i livelli come autoritaria e inaccettabile governance del sistema scolastico e della relazione educativa. Musica per le orecchie di chi ha sempre sostenuto che, a dispetto di qualunque, impossibile, ‘misurazione’ del ‘valore aggiunto’ dalla scuola o degli esiti degli apprendimenti scolastici con i test standardizzati, l’influenza di “certe” condizioni di background e contestuali rilevata da Scheerens al termine delle sue ricerche non solo fosse determinante nel percorso formativo di ogni studente ma anche, e soprattutto, di sicuro non ‘malleabile’ con gli strumenti messi in campo nell’ultimo ventennio dalle istituzioni nazionali e internazionali preposte al monitoraggio e all’orientamento dei sistemi di istruzione e dalle scelte politiche che hanno recepito quelle proposte, imponendole ex lege.

E, per sgombrare il campo da ogni fraintendimento – mi rivolgo direttamente a chi mi accusa di avere una visione “caricaturale” o “ideologizzata” delle questioni scolastiche, in termini culturali e politici – vorrei specificare che il riferimento a OCSE (Organizzazione per la cooperazione e lo sviluppo economico) e a McKinsey (“McKinsey & Company è una società internazionale di consulenza manageriale che serve le principali aziende del mondo, oltre a governi, istituzioni e organizzazioni non profit. Aiutiamo i nostri clienti a realizzare miglioramenti duraturi nelle loro performance e a conseguire i loro obiettivi più importanti. Nel corso di quasi un secolo abbiamo costruito una società globale dotata di competenze uniche per assolvere questo compito”, recita il suo sito internet) non è il frutto di un mio vaneggiamento personale, non nasce dalla mia strampalata idea che le ragioni di fondo che spiegano il pesante intervento sui sistemi d’istruzione dell’ultimo ventennio siano di natura politica ed economica, ascrivibile ad una precisa cornice ideologica. Il riferimento a OCSE e McKinsey e ai loro rapporti sull’istruzione è dello stesso Jaap Scheerens, che, oltre a collaborare stabilmente con OCSE, è uno dei quattro membri del Consiglio scientifico dell’Invalsi. E che con quei rapporti, che hanno matrici e finalità evidentemente economiche, insieme all’Invalsi si confronta e agisce.

A questo punto, dopo i primi paragrafi, ho sentito come necessario andare fino in fondo nella lettura, per cercare di capire le ragioni di queste importanti affermazioni preliminari, condividendo con l’autore del libro l’esigenza di comprendere il motivo per cui tante variabili plausibili non avessero funzionato in così tanti casi, rendendo dunque inefficaci i modi con cui si era agito a livello politico per correggere quelle variabili. E poi provare a ragionare su come le ‘evidenze empiriche’, nonostante quanto affermato da alcuni pedagogisti nostrani, differiscano, come ci dice Scheerens, dagli approcci consigliati per il miglioramento della scuola, in qualche modo smentendoli. Consigliati ma, ahimè, anche attuati, in Italia, devo dire con particolare solerzia legislativa: dall’uso obbligatorio delle nuove tecnologie digitali all’imposizione della ‘didattica per competenze’; dalla ricorsività massiccia delle rilevazioni Invalsi fino alla riforma degli esami di Stato di fine ciclo e alla sua funzione retroattiva sulle attività didattiche nella scuola superiore di primo e secondo grado.

Si tratta di un corposo volume in più parti, frutto di un decennio di studi condotto dall’autore all’università di Twente nei Paesi Bassi, che, come ci spiega Scheerens nella sua Prefazione, supervisiona con la sua riflessione ben quattro decenni di ricerca (Parte I), presenta ed esamina meta-analisi quantitative (Parte II) e propone riflessioni sulle basi teoriche e sull’applicazione pratica dei risultati empirici (Parte III); il tutto corredato da un case study conclusivo sulla politica educativa orientata alla qualità nei Paesi Bassi.

Cominciamo col dire meglio chi è Jaap Scheerens. Professore emerito di Pedagogia all’università di Twente, ha collaborato in progetti di ricerca internazionale con Unesco, Ocse e Banca Mondiale ed è membro del consiglio scientifico dell’Invalsi, che, tra le altre cose, studia le cause dell’insuccesso e della dispersione scolastica con riferimento al contesto sociale ed alle tipologie dell’offerta formativa” (come si legge nella Presentazione dell’istituto nella sua home page). Con Scheerens, nel Consiglio scientifico dell’Invalsi abbiamo una docente italiana di Pedagogia, un’analista dell’Ocse e un docente di Demografia e Statistica, già presidente dell’Istat: ad indicare la matrice delle diverse attività dell’Invalsi nella stretta correlazione tra ricerca, monitoraggio, orientamento dei sistemi scolastici e gli obiettivi dell’economia e dello sviluppo sociale. Del resto, la ricerca sull’efficacia e inefficacia educativa condotta in questo volume attraverso una modellizzazione che comprende meta-analisi, studi multi-livello, revisioni e analisi secondarie dei dati internazionali e degli studi comparativi, ha una dimensione pluridisciplinare che accosta in modo piuttosto eclettico – accanto alla pedagogia – la sociologia, la psicologia, l’economia, la cibernetica, le teorie dell’organizzazione dei sistemi complessi. Il libro procede in modo molto rigoroso e ordinato: nella prima parte, dedicata alla modellizzazione dell’efficacia educativa a livello di insegnamento, scuola e sistema, si analizzano i sistemi scolastici come strutture gerarchiche, la prospettiva dell’efficacia, gli effetti diretti e indiretti dei controlli verticali, le componenti dell’insegnamento nell’ecologia della classe, i fattori chiave nell’efficacia didattica, le diverse modellizzazioni dell’efficacia della scuola e le condizioni della sua promozione. La seconda parte presenta i risultati della ricerca quantitativa: effetti ed effect size all’interno di meta-analisi di cui si descrivono variabili e metodi ma anche risultati vari a livello di sistema. La parte terza propone una riflessione sull’interpretazione teorica e l’applicazione pratica dell’efficacia educativa, concludendosi con un riepilogo su cosa funziona e in quale misura per il miglioramento scolastico. E’ su quest’ultima parte che mi sembra importante soffermarci, in particolare evidenziando quanto attiene a ‘livello di sistema’, ‘a livello di istituto’ e sull’efficacia dell’insegnamento:

“A ‘livello di sistema’ l’unica condizione malleabile che potremmo definire ‘consolidata’ (più volte confermata quale fattore capace di esercitare un’influenza significativa sulla performance dell’alunno) è la ‘differenziazione orizzontale dei sistemi scolastici secondari’ (sistemi scolastici con logica di tracking vs comprensivi), laddove i sistemi comprensivi funzionano meglio in termini di livelli di rendimento ed equità di outcome. Risultati misti sono stati osservati per quanto concerne le variabili ‘autonomia della scuola, accountability, risorse umane (effetti prodotti dalla formazione degli insegnanti), caratteristiche del curriculum e risorse finanziarie e materiali. I risultati sono misti sotto vari aspetti. In alcuni casi sono positivi, in altri no, come nel caso dell’autonomia, e sembrano subire l’interferenza (confondimento) delle condizioni legate alla realtà di provenienza, come lo stato socio-economico medio o il benessere generale di un Paese, come nel caso della variabile accontability, prodursi soltanto in certi segmenti della distribuzione, come nel caso di realtà che dispongono delle ‘risorse finanziarie e materiali’, poco importa se in Paesi industrializzati più benestanti rispetto ai Paesi meno sviluppati. [ …] A ‘livello di istituto’, è stata osservata una certa coerenza fra le meta-analisi a supporto dell’’opportunità di apprendere’, quale condizione associata all’effect size medio relativamente massimo. Una “scuola gestita in modo ordinato, con implicazioni sul piano disciplinare e sul tempo di apprendimento effettivo è il successivo miglior aggregato di condizioni, seguito a ruota da un frequente monitoraggio e di un approccio orientato al rendimento. [ …] A livello di efficacia di insegnamento, l’area di ricerca è molto più varia, diversificata e specializzata [ … ] ma sorprende che le principali scuole di pensiero, identificabili negli approcci di insegnamento strutturati più comportamentisti e approcci costruttivisti a orientamento cognitivista, emergano associate a effetti positivi perfettamente sovrapponibili. Forse in quest’area è più opportuno concludere che l’efficacia didattica è caratterizzata da un orientamento dedicato e orientato alle strategie di insegnamento (contenenti elementi di approcci cognitivisti e di insegnamento diretto), nonché un clima scolastico ben gestito e supportivo, opportunità di apprendere e uso frequente di strategie di valutazione formativa e feedback” (p.310)

Cioè, esattamente (al netto della brutta resa nella traduzione italiana), si afferma che tutta una serie di provvedimenti relativi alla governance della scuola italiana degli ultimi vent’anni – dall’autonomia scolastica alla rendicontazione delle scuole attraverso valutazione e autovalutazione; dall’accorpamento degli istituti comprensivi alle attività strutturate di formazione degli insegnanti o agli interventi di riforma ordinamentale – non sono indicatori di efficacia scolastica a livello di sistema, mentre invece, a scuola e in classe, l’attenzione ai tempi di apprendimento, l’interesse per il rendimento, il lavoro costante sulla valutazione formativa (che certo non è quella dell’Invalsi!), il focus sulle conoscenze e sulla relazione intersoggettiva con l’alunno, costituiscono elementi positivi estremamente efficaci.

Vorrei urlare. Non è quello che facciamo e che cerchiamo di fare a scuola da sempre? Non è quello che noi insegnanti rivendichiamo nei nostri interventi critici contro la deriva delle politiche di istruzione che, da vent’anni, impongono tutt’altra direzione ai nostri sforzi e al nostro lavoro, producendo effetti devastanti sulla didattica? Certamente. Jaap Scheerens descrive come positivo tutto quello per cui abbiamo sempre lottato e continuiamo a lottare nonostante la coazione esercitata a vari livelli dalla triplice alleanza OCSE-INVALSI-MIUR – guidata dai rapporti Ocse e McKinsey – per trasformare la didattica in un addestramento ai test; per abbracciare la ‘didattica per competenze’ con il suo correlato insopportabile di ‘compiti di realtà’ e ‘valutazioni autentiche’; per abbandonare discipline e interdisciplinarità; per rendere tutti gli studenti, adolescenti e creature piccole, degli odiosi performer, piccoli capitalisti umani, imprenditori di séda gettare in pasto a un mondo trasformato in osceno mercato.

Più forti e consapevoli della giustezza delle nostre posizioni contro la teoria economica dell’istruzione, dopo questa lettura.

Versione stampabile
Argomenti:
anief banner
soloformazione