Come già ho spiegato nel CdS in Fisica del 8/10/2004, la filosofia del test di quest'anno era di cercare di valutare se e come ci fosse stata una qualche variazione nelle nostre matricole, nel corso degli ultimi dieci anni. Abbiamo quindi distribuito lo stesso testo che avevamo distribuito negli anni accademici 1990-91, 1991-92, 1992-93. Il test non era, per quanto mi risulta, disponibile in rete, quindi le risposte non erano note. Il test, di venti domande, era anonimo e a scelta multipla, con 5 risposte proposte; gli studenti erano invitati a barrare comunque una casella, al limite quella ritenuta più plausibile. Il risultato grezzo è riassunto in tabella. In questa tabella, oltre a comparire anonimamente lo studente, e le risposte, compare anche il voto di uscita dalle superiori, la provincia di provenienza, in quali anni delle superiori lo studente abbia avuto ore di fisica e quante, se abbia o meno studiato relatività alle superiori e se abbia seguito o meno i precorsi (colonne R e P in tabella).
Il test è stato svolto al termine della prima settimana di lezione, e affrontato da 66 studenti (che stimiamo essere attorno all'80% degli studenti immatricolati), in condizioni paragonabili a quelle che avevamo negli anni novanta. Il campione di studenti non è invece immediatamente confrontabile con il campione di studenti dell'anno passato in quanto il test del 2003 fu svolto alla fine dei precorsi: l'anno passato fecero il test 52 studenti.
Fatta questa premessa, due considerazioni sugli studenti di quest'anno. Anzitutto, rimane vero che gli studenti iscritti da noi hanno un voto molto alto di maturità: risulta essere 94.5 con una larghezza di 8.7, ma fortemente piccato a 100 (dove abbiamo il 55% degli studenti, vedi grafico). L'anno passato il voto medio del campione era stato 97.4 con una larghezza di 6.2. Per la provenienza, quest'anno il 41% del campione proviene da una provincia toscana, contro il 63% dell'anno passato.
Interessante è anche guardare alle ore di contatto con un docente di fisica nelle superiori: è stato sommato il numero totale di ore di fisica settimanali nei cinque anni delle scuole superiori (esempio, 2 ore/settimana al primo anno e 2 ore/settimana nel secondo anno portano a 4 ore di fisica), ottenendo una distribuzione assai ampia, dove si passa da 4 ore di fisica a 20 (si veda il grafico con la distribuzione completa). La distribuzione ha media 12.5 e larghezza 4.1.
Veniamo all'analisi dei dati delle risposte fornite quest'anno. Gli studenti hanno risposto, in media, correttamente al 32.9% delle domande poste (in media, 6.7 risposte giuste per studente), con una distribuzione relativamente asimmetrica (si veda la distribuzione del voto nel test, paragonata a quella degli anni novanta). La curva con pallini e tratti continui è la distribuzione attesa nel caso in cui gli studenti avessero risposto a caso. Negli anni novanta, tipicamente si avevano circa 7.7 risposte giuste per studente. La distribuzione di quest'anno sembra non differire molto dalle distribuzioni osservate negli anni novanta, sino ad un voto attorno a 6. Viceversa, a fronte di una grossa crescita osservata quest'anno per quanto riguarda gli studenti con voto 7, c'è una significativa riduzione nel numero di studenti con voti sopra a 10. In altre parole osserviamo quest'anno un ridimensionamento della coda della distribuzione verso i voti più elevati.
Ho raccolto in 20 tabelline il raffronto, domanda per domanda, tra la distribuzione delle risposte fornite nei vari anni: il formato dei file è autoesplicativo: plot-XX.png indica il paragone relativo alla domanda XX. Nei grafici, la barra verticale corrisponde alla risposta corretta. Più interessante il grafico che mostra come si sia evoluta la percentuale di risposte esatte a ciascuna domanda, nei vari anni: da notare che nel 1992-93 la domanda 15 fu annullata. Nel grafico, rammento che le domande dalla 14 in avanti sono di analisi o geometria (la domanda 14 è il teorema di Pitagora camuffato). Interessante anche la crescita osservata quest'anno alla domanda 9, dove si chiedevano le dimensioni della costante di gravitazione universale: questa crescita è forse legata al fatto che le dimensioni siano state citate sia nei precorsi che nelle prime ore di lezione cattedrattiche. Sembrerebbe esserci una significativa diminuizione, soprattutto nelle risposte alle domande di matematica e geometria.
Lo scatter plot del voto nel test in funzione
del voto di maturità non sembra mostrare significative
correlazioni (il calcolo diretto della correlazione è consistente
con zero). Per la precisione, si trova
vototest = 7.21 (errore 3.95) - 0.0027 (errore 0.042) * votomaturita
Paradossalmente, la correlazione risulterebbe negativa (ma chiaramente
è ben sotto l'errore, e compatibile con zero).
Nello scatter plot ho aggiunto un po' di rumore ai dati per
sgranare i punti, altrimenti clusterizzati, data
la loro natura intera. La linea orizzontale è il voto medio nel test.
Visto lo spread in ore di fisica studiate, può essere interessante
anche paragonare il voto nel test con le ore di fisica nelle
scuole superiori. Il risultato è rappresentato da uno
scatter plot: la linea mostrata nel grafico
è la linea di regressione lineare: si trova che
vototest = 5.03 (errore 1.15) + 0.148 (errore 0.088) * orestudiate
quindi una correlazione, appena sopra l'errore, anche se piccola.
Come detto all'inizio, l'interesse era capire
se ci fossero cambiamenti significativi nella
popolazione delle nostre matricole. Per valutare questo, ho
calcolato la correlazione tra le distribuzioni delle risposte
fornite alle diverse domande.
Indicando la frequenza percentuale della risposta "i" alla
domanda "j" dell'anno "k" come P(i,j,k), e indicando
con "m" la media delle frequenze (m=1/7, in quanto ci sono stati
casi di studenti che o non hanno risposto, o hanno risposto
a più di una domanda) per
calcolare la correlazione ho usato
V(k1,k2) = \sum_i \sum_j (P(i,j,k1)-m) (P(i,j,k2)-m)
e da questa
C(k1,k2) = V(k1,k2)/sqrt(V(k1,k1)*V(k2,k2))
Risultati:
| 1990 | 1991 | 1992 | 2004 | 2004* | |
| 1990 | 1.00 | .976 | .966 | .926 | .865 |
| 1991 | 1.00 | .979 | .949 | .887 | |
| 1992 | 1.00 | .934 | .873 | ||
| 2004 | 1.00 | 1.00 |
Si nota una perdita di correlazione nelle risposte fornite nel 2004. Per cercare di rendere "visivamente" questa perdita di correlazione, nella domanda 1 (a cui in tutti gli anni hanno risposto correttamente più del 60% degli studenti) ho azzerato la distribuzione di probabilità relativa all'anno 2004, ottenendo i risultati della colonna 2004*. Mi pare di poter concludere che in effetti come popolazione c'è stato uno spostamento, anche se questo spostamento è quantificabile come inferiore alla perdita secca di una risposta a cui mediamente sia stato risposto ragionevolmente bene, in una delle distribuzioni.
Una conclusione sensata mi pare che possa essere che si osserva uno spostamento (da 7.7 a 6.7 risposte corrette, tenendo a mente che sono comunque distribuzioni larghe), ma che le distribuzioni delle risposte alle varie domande non sono terribilmente diverse. Lo spostamento del voto medio è imputabile a un ridimensionamento della coda della distribuzione verso i voti più alti. Altre conclusioni interessanti sono, a mio avviso, la disparità nel numero di ore di fisica nella scuola superiore, e la mancanza di correlazione tra voto di maturità e numero di risposte giuste nel test. Sembra poter emergere una correlazione tra voto nel test e ore di contatto con un docente di fisica, che potrebbe essere interessante investigare meglio l'anno prossimo.
Ringraziamenti al Prof Fabri per aver messo a disposizione il testo del test, averci apportato opportune modifiche, per aver contribuito all'analisi dei dati e per utili commenti; e ai docenti ed esercitatori di Fisica A1 per avermi consentito di svolgere il test nelle loro ore, ed avermi aiutato nella vigilanza e nella raccolta dei questionari. Un ringraziamento infine a tutti coloro che hanno contribuito con commenti e suggerimenti.
