Archivio 2016 8 Set 2016 - 5:21

Concorso scuola docenti: “Quesiti complessi e poco tempo a disposizione”. È falso!

Di redazione

Bruno Dagnini, Dirigente Scolastico ICS Via Cairoli  Lainate – Negli ultimi giorni ho letto vari commenti in merito all’elevato tasso di bocciature nel concorso docenti 2016. C’è chi parla dell’impreparazione dei professori, chi della volontà del MIUR di non stabilizzare i precari.

In questo dibattito di carattere ideologico le due tesi contrapposte sembrano però concordare su un punto: vi sarebbero stati “quesiti a risposta aperta complessi e poco tempo a disposizione”.

Faccio il preside da 23 anni e a più riprese, in relazione alle esigenze delle scuole che ho diretto, mi sono occupato di sistemi di valutazione e di costruzione di prove di verifica. Per questo mi trovo un po’ in imbarazzo di fronte a una simile convinzione.

Bisogna dare un’informazione che mi sembra essenziale. Nel concorso docenti 2016 non possono esserci stati “quesiti a risposta aperta complessi”, perché le domande presentate ai candidati, contrariamente a quanto previsto da un decreto ministeriale, non erano quesiti a risposta aperta, ma pseudo-prove, con una capacità di rilevare dati validi e attendibili pressoché nulla. Non so spiegare come ciò sia potuto accadere, dopo due decenni di convegni sulla valutazione, ma tant’è.

La questione va esaminata con cura, anche per le conseguenze pratiche che potrebbe avere in futuro. Mi piacerebbe farlo in poche parole, ma è necessario un momento di approfondimento, con gli opportuni rinvii alle ricerche della docimologia, che è, appunto, quel ramo della pedagogia sperimentale che si occupa dei sistemi di valutazione e dell’elaborazione delle prove. Occorre dapprima spiegare che cosa è un quesito a risposta aperta, poi chiarire perché le domande del concorso non rientravano in questa tipologia, infine definire il procedimento corretto per la costruzione di quesiti validi, che in questo caso si identificava anche con un iter amministrativo, da cui discendono atti legittimi o illegittimi. S’intuisce che il tema è delicato. Ne deriva un testo purtroppo non breve, poco giornalistico, che richiede un po’ di pazienza e una certa attenzione nella lettura, come spesso accade quando si tratta di sfatare dei pregiudizi.

Che cosa è un quesito a risposta aperta.

Con l’espressione “quesito a risposta aperta”, utilizzata nell’art. 5 del DM 95/2016, richiamato nel bando di concorso, si intende, in docimologia, una prova semistrutturata che richiede al soggetto a cui viene somministrata di formulare autonomamente il testo della risposta, osservando però alcuni vincoli prescrittivi capaci di renderla confrontabile con criteri di correzione predeterminati (Domenici, 1991).

Emergono da questa definizione almeno tre caratteri indispensabili perché il quesito possa essere ritenuto autentico, e quindi validato:
1. La domanda è chiusa. Per evitare il rischio di errore nel processo di interpretazione delle risposte è specifica e univoca, accompagnata da una serie di vincoli da rispettare (Moretti-Quagliata, 1994; Ciraci, 2005; Simeone, 2005).

2. La risposta è aperta. Si tratta però di un’apertura relativa, in quanto il soggetto sottoposto alla prova deve adeguarsi a uno stimolo circoscritto, delimitato, non generico, ricevendo consegne precise sull’organizzazione e sulla struttura del testo da costruire, a cominciare dalla sua lunghezza massima e dal tempo concesso (Trinchero, 2014).

3. I criteri di valutazione devono essere predeterminati. Un quesito non è un quesito se non ha una soluzione, e questa non può essere trovata a posteriori, dopo lo svolgimento della prova, ma deve ovviamente esistere anche prima. Tutti i manuali di docimologia in uso nelle università insistono molto sull’esigenza di formalizzare le istruzioni per l’assegnazione dei punteggi al momento della definizione del compito. Indispensabile redigere contemporaneamente domanda e risposta-criterio di controllo, opportunamente modellata sul singolo quesito, creando specifiche scalette o griglie di correzione PRIMA della somministrazione (Arduini, 2008; Benvenuto-Giacomantonio, 2008; Agrusti, 2011).

Da queste linee di indirizzo, elaborate dai ricercatori, si evince anche come non abbia alcun senso, da un punto di vista docimologico corretto, pensare che possa esistere, in astratto, una griglia unica, utilizzabile per la correzione di qualsiasi quesito, indistintamente. Con una simile pretesa si dimostrerebbe soltanto di non essere a conoscenza dello statuto metodologico che determina questo tipo di prova. Come non esiste una megasoluzione capace di risolvere tutti i quesiti, così non può esistere una supergriglia capace di valutarli correttamente in blocco, a prescindere dalla specificità di ciascuno, che necessita, per la correzione, di istruzioni ad hoc, opportunamente messe alla prova e successivamente validate.

A tal proposito, ancora Domenici spiega come sia necessario formalizzare insieme domande e criteri di valutazione anche per un’esigenza interna al processo di validazione dei quesiti a risposta aperta, per saggiarne l’efficacia e la tenuta, e per apportare le necessarie modifiche. Riporto per intero il suo pensiero sul punto: “Infatti, attraverso la stesura delle risposte-criterio subito dopo quella delle domande, non poche volte ci si accorge di aver formulato quesiti poco univoci, magari troppo generali se non generici, insomma di dover ristrutturare le domande affinché risultino ben chiare le questioni poste e affinché permettano di rilevare dati validi e attendibili. Quanto più le domande saranno circoscritte e chiare, e le risposte-criterio univocamente determinate, tanto più diminuirà l’eventuale errore del lavoro interpretativo -sempre necessario con queste prove- delle risposte date da ciascun soggetto” (Domenici, Gli strumenti della valutazione, 1991).

Perché le prove del concorso 2016 non rientrano nella tipologia del quesito a risposta aperta.

Chiarito il senso dell’espressione “quesito a risposta aperta”, utilizzata nel bando, non sarà difficile notare che le domande formulate nelle prove di concorso non corrispondono a questa tipologia, in contrasto con quanto asserito nel DM 95/2016. Per dimostrarlo analizzerò il terzo quesito, o meglio psedo-quesito, dell’AD04 (lettere), e non perché sia più sbagliato o più giusto degli altri, ma solo perché, sulla base di un buon numero di prove che fin qui ho potuto esaminare (relative alla Lombardia), mi sembra quello che più frequentemente ha ricevuto valutazioni vicine allo zero (0,5 o poco più), determinando, da solo, numerose bocciature.

Si chiede al candidato di elaborare “un breve curricolo di letture (tre o quattro testi) di autori non solo italiani da presentare ad una classe di scuola secondaria di primo grado intorno al tema dello straniero, del diverso, del profugo e, più in generale, dell’estraneità…” A parte l’uso improprio e fuorviante del termine “curricolo”, che è il male minore (in questo caso sarebbe comunque meglio dire “percorso”, per non generare possibili equivoci), sorge immediatamente un dubbio. Ma il tema vero qual è? Di che stiamo parlando, propriamente? E soprattutto: che cosa si vuole, in concreto, dal candidato? Nell’infinita varietà del diverso, infatti, e, più in generale, nell’estraneità, può rientrare il mondo intero e sprofondarvi. Da Eta Beta, che essendo un alieno è anche un estraneo, a Dante Alighieri e ad Anna Frank (entrambi perseguitati, esuli e profughi), attraverso Georges Moustaky, perché cantava “con questa faccia da straniero…”, e fino a Marcel Proust (notoriamente un diverso), tutto fa brodo. Ma se tutto fa brodo niente è sicuramente pertinente. Che tutto possa costituire una risposta significa anche che una risposta autentica al quesito non c’è. Manca appunto la precisione del quesito, sostituita da un vago stimolo, evocato attraverso un linguaggio indeterminato e suggestivo. Inoltre “più in generale” dovrebbe essere (ed è) un’espressione proibita per scelta di metodo in una prova che si caratterizza per la chiusura, la determinatezza e l’univocità delle consegne. Lo stesso dicasi per “tre o quattro testi”. Occorre infatti sapere se l’indicazione di un quarto testo comporta un incremento di punteggio (e in questo caso le opere da indicare diventano necessariamente quattro), oppure se il punteggio rimane invariato (e allora conviene citarne solo tre, risparmiando tempo per gli altri cinque quesiti, o meglio pseudo-quesiti, perché costruiti nello stesso modo).

Che fare? Che scrivere in assenza di un tema definito e verificabile? La successiva frase sembra fornire una parziale indicazione. Leggiamo infatti: “La scelta di ogni singolo testo va motivata alla classe e vanno spiegate le connessioni tra le diverse opere scelte”. Si tratterebbe, dunque, di predisporre un elenco, piuttosto arbitrario data l’estrema vaghezza del tema, individuando alcune opere adatte ai preadolescenti (per prudenza quattro titoli e non tre), e riportando, accanto a ciascun titolo, le motivazioni della sua scelta e la connessione con gli altri, con un taglio comunicativo destinato alla classe. Ecco, in definitiva, la struttura richiesta per la risposta.

E invece no. La lettura si conclude infatti così: “La lezione può essere svolta anche attraverso l’ausilio di strumenti multimediali.” All’improvviso compare dunque una lezione, anzi “la lezione” (articolo determinativo), che potrebbe essere il vero argomento della prova. Niente elenco, dunque, ma lezione? E come si intitolerà? Riguarderà la presentazione agli allievi di un vago percorso di lettura? Dovrà, al contrario, individuare finalmente un tema specifico, in grado di fornire un terreno meno arbitrario per il collegamento tra le opere scelte?

Tutto ciò non è dato sapere. Non esistono indicazioni che possano sciogliere i dubbi.

Una particolare sottolineatura in blu (errore grave) merita il “può” riferito all’uso degli strumenti multimediali nella predisposizione della lezione. Si tratta, a ben guardare, di un “può” che rivela una malcelata falsità. Esistono infatti due contrapposte possibilità: se i criteri di correzione prevedono l’attribuzione di un punteggio per l’impiego della multimedialità il “può” diventa inevitabilmente un “deve”; se, invece, questo premio non è previsto, il “può” va tradotto con “non deve”, rappresentando solo un’inutile divagazione, non funzionale all’economia della prova. Al candidato non vengono però dati elementi utili a comprendere quale delle due traduzioni sia quella giusta.

Bisogna segnalare, in conclusione, che nessuno dei tre caratteri fondamentali del quesito a risposta aperta è rilevabile nella prova considerata. Manca la chiusura delle domande, che non sono univoche e chiare, ma aperte, indefinite, ambigue, ed espresse attraverso un linguaggio suggestivo. Mancano gli stimoli circoscritti e precisi, capaci di orientare l’apertura delle risposte, e sono invece presenti richieste confuse, variamente interpretabili e addirittura in contrasto tra loro. Mancano, soprattutto, indicazioni che possano predeterminare e indirizzare la valutazione, costretta a definire a posteriori i suoi criteri, che rischiano di appiattirsi sulle personali preferenze e inclinazioni dei valutatori. Accade come in certe interrogazioni a senso unico, dove il valutatore, in mancanza di riferimenti oggettivi, premia le risposte dell’esaminato solo se coincidono con i propri gusti. “è come dire che chi interroga si risponde e cerca solo una conferma sul piano affettivo,” sostiene Vertecchi, attribuendo questo modo di valutare alle pseudo-prove (Vertecchi, Manuale di valutazione. Analisi degli apprendimenti e dei contesti, 2003).

Distorsione della valutazione nelle pseudo-prove.

Le ricerche docimologiche, e conseguentemente lo stesso strumento del quesito a domanda aperta, elaborato in questo campo di studi, nascono proprio per evitare le pseudo-domande, prive di autentiche e verificabili risposte e pertanto destinate a produrre distorsioni, nello svolgimento delle prove e nella loro correzione.

Davanti a una pseudo-prova le produzioni scritte degli esaminati, in mancanza di indicazioni e di stimoli chiari, assumono infatti una variabilità incontrollabile e difficilmente classificabile. Gli esaminatori si trovano così di fronte a una situazione molto difficile da interpretare. Sono possibili vari atteggiamenti valutativi, che vanno dal rifiuto di operare una dura selezione sulla base di criteri opinabili e oscuri (è la scelta delle commissioni che hanno promosso l’80% dei candidati e oltre), alla definizione, a posteriori, di una prestazione ideale, costruita arbitrariamente sulla base delle aspettative dei commissari ma difficilmente riscontrabile nella realtà, che, assunta come improprio termine di paragone per la valutazione, produce una selezione drastica e incontrollata (come è accaduto per l’AD04 in Toscana e Lombardia, con bocciature superiori al 70%).

Non è possibile spiegare questi fenomeni distorsivi, che implicano disparità di trattamento, conflitti, danni al sistema scolastico, solo attraverso l’impreparazione di molti candidati o l’incompetenza dei commissari. è innegabile l’esistenza di candidati impreparati, e nella correzione delle prove hanno operato certamente alcuni commissari incapaci, ma sono gli stessi pseudo-quesiti i veri responsabili di un involontario e gigantesco esperimento di distorsione della valutazione.

Procedimento per la costruzione di quesiti a risposta aperta validi.

Propongo pertanto di spostare l’attenzione dalla presunta ignoranza di candidati e commissari alla vera causa dell’insuccesso del concorso. L’errore, che si è verificato prima dello svolgimento delle prove e della loro correzione, consiste nel mancato rispetto dell’iter necessario per la costruzione di quesiti a risposta aperta validi.

Bisogna chiarire che il procedimento seguito è scorretto e dovrà essere cambiato. Infatti, dopo avere adottato, attraverso un bando di concorso, lo strumento innovativo del quesito a risposta aperta, elaborato dalla docimologia, andavano anche rispettate le regole definite dai ricercatori per la sua preparazione, somministrazione, correzione. Non si potevano mantenere, conseguentemente, usi provenienti da precedenti concorsi, che avevano utilizzato lo strumento tradizionale del tema. Non si dovevano riproporre, in particolare, dopo avere scelto l’innovazione, griglie valutative non modellate sulla struttura dei quesiti, come indispensabile, ma definite in ritardo e a partire da categorie astratte. In questo modo non si è innovatori, né conservatori, ma si creano equivoci, sovrapponendo comportamenti e procedure provenienti da contesti diversi e metodologicamente incompatibili.

Se vogliamo introdurre le prove strutturate nei concorsi, e in particolare il quesito a risposta aperta, diventa obbligatorio il rispetto di precise e consolidate linee di indirizzo:

1. Contestualità e contemporaneità nell’elaborazione del quesito e dello specifico strumento valutativo. Il testo delle domande e i criteri di valutazione sono inscindibilmente connessi, e pertanto devono essere stabiliti nello stesso momento.

2. Validazione del quesito. Gli esperti che costruiscono la prova devono sottoporla a verifica attraverso una risposta di controllo, che serve anche per testare l’efficacia delle domande. Da questa risposta-criterio derivano le indicazioni per la valutazione, la cosiddetta griglia per l’attribuzione del punteggio. Esiste una griglia per ogni quesito, usata da tutte le commissioni, e non una griglia per ogni commissione, usata per tutti i quesiti (come purtroppo è accaduto). Questo è il punto fondamentale, che consente di distinguere il quesito a domanda aperta da una pseudo-prova.

3. Chiare istruzioni ai candidati nel momento della somministrazione dei quesiti. Tra queste non possono mancare le indicazioni relative al tempo concesso e all’estensione massima delle risposte. Normalmente, per un testo da produrre in 15-20 minuti, non è ragionevole chiedere più di 15-20 righe di testo. Nelle cartelle editoriali una riga ha in genere 60 battute. La risposta a un quesito, pertanto, in 15-20 minuti, può oscillare tra le 900 e le 1200 battute (1200 battute sono circa 170-200 parole). In ogni caso, anche volendo essere più esigenti, deve pur sempre esistere un rapporto realistico e motivabile tra il tempo concesso e l’estensione della risposta richiesta. Nel caso in esame i candidati disponevano invece, per ogni quesito, di un form predisposto per 80000 caratteri, senza altre istruzioni. Ciò è irragionevole. Non avrebbe senso nemmeno se la prova consistesse in una gara di velocità per dattilografe.

4. Precise indicazioni alle commissioni per l’attribuzione dei punteggi. Il fatto che le commissioni debbano ricevere, insieme al testo delle prove, istruzioni per la valutazione, identiche su tutto il territorio nazionale, non sopprime la soggettività dei commissari, ma piuttosto la predispone a un interesse collettivo. La soggettività è indispensabile nella valutazione, ma i concorsi non esistono per mettere in evidenza la personalità dei commissari, ma piuttosto per realizzare gli obiettivi della pubblica amministrazione attraverso la loro personale competenza.

5. Esclusione di interventi diretti alla ridefinizione delle regole in corso d’opera. Se il procedimento per la costruzione dei quesiti è corretto, non sarà necessaria l’emanazione di altre disposizioni per i commissari, in aggiunta a quelle stabilite al momento della costruzione delle prove. Rappresentano dunque un errore di metodo le indicazioni contenute nella nota MIUR prot. 14097 del 18.05.16, con cui, a posteriori, si invitano le commissioni ad adeguarsi ai criteri della pertinenza, della correttezza, della completezza, dell’originalità (e, si potrebbe ironicamente aggiungere, del buono, del bello e del vero). In presenza di pseudo-quesiti che stanno creando incertezza per la loro scarsa concretezza ed eccessiva generalità, il ricorso a categorie tanto astratte e generali non può che aggravare le difficoltà interpretative. Quello che si intende precisare, il criterio da tradurre in punteggio, diventa così ancora più vago. L’intervento ministeriale si è dunque sviluppato in una direzione opposta alle linee elaborate dalla docimologia, e anche in contrasto con le buone pratiche adottate dallo stesso MIUR in occasione di altre prove strutturate o semistrutturate. Si vedano, ad esempio, le prove Invalsi, dove le istruzioni per la valutazione, elaborate per ciascun quesito prima della sua somministrazione, vengono diffuse telematicamente su tutto il territorio nazionale nel giorno della correzione.

Considerazioni conclusive.

Qualcuno ha difeso gli pseudo-quesiti di concorso sostenendo che una certa percentuale di bocciati è fisiologica in una selezione. Ciò è vero, ma in questo caso è venuta a mancare proprio la percentuale fisiologica, che può essere alta o bassa, ma in presenza di prove attendibili si distribuisce in modo tendenzialmente omogeneo tra le regioni e le commissioni. Qui, invece, ci troviamo di fronte a un’inaccettabile variabilità di risultati, determinata da una correlata indeterminatezza dei criteri, che costituisce un sicuro indice di patologia della valutazione.

Mi sembra quindi comprensibile che, nella patologia, nascano forti proteste contro i commissari che hanno bocciato molto, tacendo su quelli che hanno promosso quasi tutti. Una simile polemica non raggiungerà comunque grandi risultati, in quanto l’operato delle commissioni è insindacabile nel merito, per definizione e per giurisprudenza consolidata, ed è inevitabile che sia così, perché l’incertezza che deriverebbe dallo scardinamento di questo principio è insostenibile.

Sindacabili, correggibili e annullabili, sono però le procedure. Quella seguita nell’organizzazione e nella gestione delle prove mi sembra indifendibile, e anche incompatibile con l’interesse pubblico che deve realizzarsi in un concorso. Se per dichiararla illegittima sul piano amministrativo è necessario l’intervento dei giudici, per comprenderne l’assurdità dal punto di vista scolastico non occorrono ricorsi e udienze. Basta la lettura di un qualsiasi manuale della valutazione.

La prova classica (il tradizionale tema) è stata abbandonata per limitare l’eccessiva influenza della soggettività nel giudizio, e per contenere i tempi e i costi. Lo svolgimento del tema richiedeva sei ore, e le operazioni di valutazione duravano a lungo, con commissari distaccati per mesi dall’insegnamento. Le prove strutturate possono essere più precise e più rapide, ma comportano, a differenza dei temi, un rigoroso lavoro di preparazione a cui non è lecito sottrarsi. Ciò vale negli esami di stato, dove nessuna commissione tralascia di allegare ai verbali le regole per l’attribuzione del punteggio prima dello svolgimento della terza prova . Vale nelle università in occasione dei test selettivi e degli scritti d’ammissione ai TFA. Vale per l’Invalsi, nelle prove conclusive del primo ciclo di istruzione, e per insegnanti e presidi nella valutazione formativa degli studenti nelle scuole di ogni ordine e grado. A maggior ragione dovrà valere nel concorso nazionale docenti.

Altrimenti è meglio ritornare ai classici temi della tradizione. Avevano molti difetti, ma facevano meno danni.