Amerikansk skoleprojekt til 21 milliarder kroner havde ingen nævneværdig effekt

Vi har før skrevet kritiske indlæg om forsøg på at udligne sociale forskelle med investeringer i skoler m.v.  Der er nu udkommet et nyt stort offentligt amerikansk studie. Der er tale om den endelige vurdering af det såkaldte The School Improvement Grants program (SIG). Den endelige rapport er på 419 sider (download) og omtales i Washington Post. Nuvel er det bedre at læse den egentlige rapport end avisomtalerne, særligt hvis avisen har en kendt ideologisk vinkel (WP er konservativ). I kapitlet om effekterne kan man på side 60 læse:

There were no significant impacts of SIG-funded models on math or reading test scores, high school graduation, or college enrollment of students in schools at the SIG eligibility cutoff (Figure VI.1 shows results for 2012–2013; Appendix A, Figure A.1 shows results for earlier years [2010–2011 and 2011–2012]). For 2012–2013, the impact on math test scores was 0.01 standard deviations, the impact on reading test scores was 0.08 standard deviations, and the impact on high school graduation was -5 percentage points, but these impacts were not statistically significant. We were unable to calculate an impact on college enrollment for 2012– 2013 due to insufficient sample sizes, but we found no significant impacts on college enrollment for the other two school years (the impacts for 2010-2011 and 2011-2012 were -11 and 2 percentage points; see Appendix A for more details on this analysis).

Altså, skolerne som deltog i programmet producerede ikke elever med højere testscorer, eller havde højere gennemførselsrater eller endda optag på college/universitet senere. I nogle delgruppe-analyser fandt man små ændringer, men disse er statistisk tvivlsomme som rapporten også selv skriver. Og det er en temmelig ringe trøst når man har brugt knap 21 milliarder kroner på et stort projekt, at konklusionen er “det virker måske lidt for børn i 6-12. klasse men kun på 60 ud af 220 skoler”.

De overordnede resultater ser således ud:

SIG1 SIG2

Projektet er enormt, så manglen på observerbare effekter skyldes næppe at man ikke havde inkluderet nok personer (lav statistical power). I alt deltog 480 skoler (220 i forsøgsgruppen) fra 22 forskellige stater, og 60 forskellige skoledistrikter. Jeg kunne ikke finde et elevtal, men det må være mange tusind.

Udgivet af

Emil

Forsker i psykologi, sociologi, lingvistik, statistik, m.fl. Stifter af Teknologipartiet og OpenPsych. Arbejder indenfor data science/biotech/web dev.