Lehetett-e látni előre a 2012. évi PISA fiaskót?

Magyarország a 2012. évi PISA felmérésen igencsak gyengén szerepelt. Mindhárom tesztben az OECD országok átlaga alá kerültünk. Azonnal megjelentek a politikai értékelések: tessék, itt van a katasztrofális oktatáspolitika eredménye. Az érdekes az volt, hogy mindkét oldal ezt mondta, természetesen a másikra utalva. A fennálló hatalom a korábbiakra mutogatott, mondván, hogy a 2010-et megelőző oktatáspolitika a hibás, és persze az ellenzék a 2010 óta megtett oktatáspolitikai lépéseket kárhoztatta. Melyiküknek lehetett igaza? Egyáltalán, igaza lehetett-e bármelyik félnek is? A kérdésre hiteles, meggyőző választ adni gyakorlatilag lehetetlen. Nagyon valószínű, hogy ha igaz az, hogy a 2012. évi tényleg gyenge eredmények tendenciát jeleznek (hiszen még ez sem „halálbiztos”), akkor az okok nagyon mélyen lehetnek, valószínűleg egy hosszú ideje tartó, a világszínvonaltól való leszakadást eredményező összetett folyamat eredményéről van szó, olyan folyamatról, amihez képest egy-egy-kormány intézkedései múló rosszullétet jelentenek csak. Egy szakember valóban nem mondhat olyasmit, hogy az ilyen eredmény, a színvonal jelentős romlása egyértelműen betudható az osztályozás és a buktatás tiltásának, vagy az iskolakötelezettség korhatára 16 éves korra csökkentésének.

A felmerülő kérdések rendkívül összetettek, valószínű, hogy még egy évtized múlva is csak óvatosan fogalmaznak majd az akkori szakemberek a probléma elemzésekor. Valamit azonban mégis megnézhetünk. Megválaszolhatjuk azt a kérdést, hogy vajon a saját kompetenciamérési adataink alapján lehetséges volt-e előre jelezni a várható eredményeket? Vajon azok a tanulók, akik 2012. májusában megírták a PISA teszteket, hogyan teljesítettek korábban, látszott-e már valami a korábbi teljesítményükön? Összehasonlíthatjuk az eredményeiket a korábbi, vagyis 2009. évi PISA teszteket megíró tanulók hazai kompetenciamérésben elért eredményeivel, de akár a közbeeső évfolyamokat is megvizsgálhatjuk. Nos, én ezt a nem különösebb erőfeszítést jelentő számítást elvégeztem, és most közreadom az eredményt. A lenti táblázatban láthatók az adatok, de mielőtt azokat elemezném, a számítások módjáról kell leírnom néhány tényt.

A PISA teszteket mindig a megírásuk pillanatában 15 év és 2 hónaposnál nem fiatalabb, valamint 16 év és 3 hónaposnál nem idősebb tanulókból vett mintába bekerülők írják meg. Ez azt jelenti, hogy az ilyen korosztályba tartozók adatait kellett figyelembe venni az országos kompetenciamérésnél (OKM) is. Egy-egy ilyen korosztályba tartozók az OKM teszteket különböző tanévekben írják meg, ezért több év adatait is fel kellett használni a számításhoz. Általában elég négy év, az érintett tanulók legalább 95%-a így már tekintetbe vehető. A számításhoz a tanulók 8. osztályos eredményeit vettem alapul. Ezek a gyerekek, legalábbis azok, akik 2009-ben vagy 2012-ben voltak 15 évesek, a PISA felmérésben való részvételhez képest a 8-adikos  OKM teszteket vagy előbb, vagy ugyanabban az évben, vagy egy évvel később írták meg. Azokat is figyelembe vehetjük, akik nem írtak ugyan PISA teszteket 2010-ben és 2011-ben, hiszen akkor nem volt nemzetközi felmérés, de meg tudjuk határozni az OKM 8-adikos eredményeiket, és össze tudjuk hasonlítani azon évjáratokba tartozókéval, mely évjáratok számára (kb. a 2009-ben és 2012-ben 15 évesek) volt PISA vizsgálat. Az OKM sajátosságai miatt a 2009. évi PISA teszt esetében nem tudunk mindenkit számításba venni, mert 2008-at megelőzően írták meg az OKM tesztjeiket, és azokat az adatokat nem tudjuk összehasonlítani a későbbiekkel. Nem lehet nagy a számuk, hiszen a 2009. évi PISA felméréssel összefüggésben is 74 072 tanuló OKM adatai vehetők számításba, ehhez képest a másik három esetben csak 10-20 ezerrel nagyobbak a létszámok. A különböző években OKM teszteket írók átlagos eredményeinek megtekintése alapján is kijelenthető, hogy az első adatsort is jó szívvel elfogadhatjuk: a PISA vizsgálatot megelőző évi OKM tesztet írják meg a legtöbben egy-egy esetben, és az ő eredményük jelentős mértékben nem különbözik a még egy évvel korábban kompetenciamérésben részt vevők adataitól. A táblázatban azokat az adatokat, amelyek tényleges PISA tesztet megíró évfolyamokra vonatkoznak, kék színnel jelöltem.

Mikor születtek	OKM 8. osztá- lyos mérés éve	Mate- matika átlag	Szöveg- értés átlag	Létszám az OKM teszt évében (valid)	Létszám  összesen (valid)	Melyik évben írnak v. írnának PISA-t?	Mate- matika átlag együtt	Szöveg- értés átlag együtt
1993.03- 1994.02	2008	1613,92	1594,14	61653	74072	2009	1591,93	1566,07
	2009	1494,66	1440,55	10634
	2010	1411,66	1346,04	1785
1994.03- 1995.02	2008	1624,37	1601,54	11459	84195	2010	1600,22	1563,23
	2009	1617,92	1579,54	59963
	2010	1515,22	1468,82	10996
	2011	1373,48	1350,30	1777
1995.03- 1996.02	2009	1635,45	1592,23	11471	96468	2011	1613,20	1576,41
	2010	1634,43	1596,06	72027
	2011	1489,46	1472,74	11302
	2012	1382,30	1322,55	1668
1996.03- 1997.04	2010	1650,99	1613,83	10965	89188	2012	1602,94	1574,06
	2011	1615,52	1592,70	65744
	2012	1507,71	1457,50	11092
	2013	1388,14	1310,72	1387

Mi olvasható ki ezekből az adatokból? Én úgy látom, hogy az, hogy a 2012-es PISA tesztet megírókkal egykorúak OKM eredményeiből egyáltalán nem lehetett következtetést levonni arra, hogy a PISÁ-ban bajok lesznek. A 2012. évi PISA tesztben érintett korosztály OKM tesztátlagai egy kicsit még nagyobbak is, mint a 2009. évi PISA felmérésben érintetteké. A tíz pontos különbség nagyon kicsi. A 2012-es PISA felmérésben érintett korosztályban a legtöbben 2011-ben írtak OKM teszteket (65 744 tanuló az összesen 89 188-ból, sőt, 2011-ben, vagy egy évvel előtte összesen 76709-en, ami 86%). Úgy is fogalmazhatunk, hogy ezek a tanulók 2010-ben és 2011-ben még olyan eredménnyel írják meg az OKM teszteket, mint három évvel korábban az elődeik, sőt, még egy kicsit jobban, majd 2012-ben már a PISA tesztben amazoknál sokkal rosszabb teljesítményt nyújtanak. Itt most az ellenzék felkiálthatna, hogy lám-lám, megmondtuk, 2012-re már beértek a hatások, s az a gyereksereg, amely az OKM-ben ugyanúgy teljesített, mint a három évvel korábbi, a PISÁ-ban már lényeges mértékben alulteljesít. Hatottak Hoffmann Rózsa „reformjai”.

Lehet, hogy így van, lehet, hogy nem. Én most alternatív magyarázatot a jelenségre nem látok. De jó szívvel azt sem tudom elfogadni, hogy egy-két év alatt képesek hatni olyan oktatáspolitikai változások, amelyek a tanulókat igazán még nem is érték el, sőt, olyanok, amelyek még valójában erőteljesen a pedagógusokra sem hatottak. Felmerül bennem az a kérdés is, hogy vajon mekkora szerepe lehet a véletlennek. És számos más tényező lehet, amely figyelembe vehető az oktatáspolitikai magyarázatok helyett. Nem akarom ezt a kérdést lezárni, nagyon érdekelne, hogy olvasóimnak mi a véleményük.