2014. április 22., kedd

Lehetett-e látni előre a 2012. évi PISA fiaskót?



Magyarország a 2012. évi PISA felmérésen igencsak gyengén szerepelt. Mindhárom tesztben az OECD országok átlaga alá kerültünk. Azonnal megjelentek a politikai értékelések: tessék, itt van a katasztrofális oktatáspolitika eredménye. Az érdekes az volt, hogy mindkét oldal ezt mondta, természetesen a másikra utalva. A fennálló hatalom a korábbiakra mutogatott, mondván, hogy a 2010-et megelőző oktatáspolitika a hibás, és persze az ellenzék a 2010 óta megtett oktatáspolitikai lépéseket kárhoztatta. Melyiküknek lehetett igaza? Egyáltalán, igaza lehetett-e bármelyik félnek is? A kérdésre hiteles, meggyőző választ adni gyakorlatilag lehetetlen. Nagyon valószínű, hogy ha igaz az, hogy a 2012. évi tényleg gyenge eredmények tendenciát jeleznek (hiszen még ez sem „halálbiztos”), akkor az okok nagyon mélyen lehetnek, valószínűleg egy hosszú ideje tartó, a világszínvonaltól való leszakadást eredményező összetett folyamat eredményéről van szó, olyan folyamatról, amihez képest egy-egy-kormány intézkedései múló rosszullétet jelentenek csak. Egy szakember valóban nem mondhat olyasmit, hogy az ilyen eredmény, a színvonal jelentős romlása egyértelműen betudható az osztályozás és a buktatás tiltásának, vagy az iskolakötelezettség korhatára 16 éves korra csökkentésének.

A felmerülő kérdések rendkívül összetettek, valószínű, hogy még egy évtized múlva is csak óvatosan fogalmaznak majd az akkori szakemberek a probléma elemzésekor. Valamit azonban mégis megnézhetünk. Megválaszolhatjuk azt a kérdést, hogy vajon a saját kompetenciamérési adataink alapján lehetséges volt-e előre jelezni a várható eredményeket? Vajon azok a tanulók, akik 2012. májusában megírták a PISA teszteket, hogyan teljesítettek korábban, látszott-e már valami a korábbi teljesítményükön? Összehasonlíthatjuk az eredményeiket a korábbi, vagyis 2009. évi PISA teszteket megíró tanulók hazai kompetenciamérésben elért eredményeivel, de akár a közbeeső évfolyamokat is megvizsgálhatjuk. Nos, én ezt a nem különösebb erőfeszítést jelentő számítást elvégeztem, és most közreadom az eredményt. A lenti táblázatban láthatók az adatok, de mielőtt azokat elemezném, a számítások módjáról kell leírnom néhány tényt.

A PISA teszteket mindig a megírásuk pillanatában 15 év és 2 hónaposnál nem fiatalabb, valamint 16 év és 3 hónaposnál nem idősebb tanulókból vett mintába bekerülők írják meg. Ez azt jelenti, hogy az ilyen korosztályba tartozók adatait kellett figyelembe venni az országos kompetenciamérésnél (OKM) is. Egy-egy ilyen korosztályba tartozók az OKM teszteket különböző tanévekben írják meg, ezért több év adatait is fel kellett használni a számításhoz. Általában elég négy év, az érintett tanulók legalább 95%-a így már tekintetbe vehető. A számításhoz a tanulók 8. osztályos eredményeit vettem alapul. Ezek a gyerekek, legalábbis azok, akik 2009-ben vagy 2012-ben voltak 15 évesek, a PISA felmérésben való részvételhez képest a 8-adikos  OKM teszteket vagy előbb, vagy ugyanabban az évben, vagy egy évvel később írták meg. Azokat is figyelembe vehetjük, akik nem írtak ugyan PISA teszteket 2010-ben és 2011-ben, hiszen akkor nem volt nemzetközi felmérés, de meg tudjuk határozni az OKM 8-adikos eredményeiket, és össze tudjuk hasonlítani azon évjáratokba tartozókéval, mely évjáratok számára (kb. a 2009-ben és 2012-ben 15 évesek) volt PISA vizsgálat. Az OKM sajátosságai miatt a 2009. évi PISA teszt esetében nem tudunk mindenkit számításba venni, mert 2008-at megelőzően írták meg az OKM tesztjeiket, és azokat az adatokat nem tudjuk összehasonlítani a későbbiekkel. Nem lehet nagy a számuk, hiszen a 2009. évi PISA felméréssel összefüggésben is 74 072 tanuló OKM adatai vehetők számításba, ehhez képest a másik három esetben csak 10-20 ezerrel nagyobbak a létszámok. A különböző években OKM teszteket írók átlagos eredményeinek megtekintése alapján is kijelenthető, hogy az első adatsort is jó szívvel elfogadhatjuk: a PISA vizsgálatot megelőző évi OKM tesztet írják meg a legtöbben egy-egy esetben, és az ő eredményük jelentős mértékben nem különbözik a még egy évvel korábban kompetenciamérésben részt vevők adataitól. A táblázatban azokat az adatokat, amelyek tényleges PISA tesztet megíró évfolyamokra vonatkoznak, kék színnel jelöltem.

Mikor
születtek
OKM 8. osztá-
lyos mérés éve
Mate- matika átlag
Szöveg-
értés átlag
Létszám az OKM teszt évében (valid)
Létszám  összesen (valid)
Melyik évben írnak v. írnának PISA-t?
Mate-
matika átlag együtt
Szöveg-
értés átlag együtt
1993.03-
1994.02
2008
1613,92
1594,14
61653
74072
2009
1591,93
1566,07
2009
1494,66
1440,55
10634
2010
1411,66
1346,04
1785
1994.03-
1995.02
2008
1624,37
1601,54
11459
84195
2010
1600,22
1563,23
2009
1617,92
1579,54
59963
2010
1515,22
1468,82
10996
2011
1373,48
1350,30
1777
1995.03-
1996.02
2009
1635,45
1592,23
11471
96468
2011
1613,20
1576,41
2010
1634,43
1596,06
72027
2011
1489,46
1472,74
11302
2012
1382,30
1322,55
1668
1996.03-
1997.04
2010
1650,99
1613,83
10965
89188
2012
1602,94
1574,06
2011
1615,52
1592,70
65744
2012
1507,71
1457,50
11092
2013
1388,14
1310,72
1387


Mi olvasható ki ezekből az adatokból? Én úgy látom, hogy az, hogy a 2012-es PISA tesztet megírókkal egykorúak OKM eredményeiből egyáltalán nem lehetett következtetést levonni arra, hogy a PISÁ-ban bajok lesznek. A 2012. évi PISA tesztben érintett korosztály OKM tesztátlagai egy kicsit még nagyobbak is, mint a 2009. évi PISA felmérésben érintetteké. A tíz pontos különbség nagyon kicsi. A 2012-es PISA felmérésben érintett korosztályban a legtöbben 2011-ben írtak OKM teszteket (65 744 tanuló az összesen 89 188-ból, sőt, 2011-ben, vagy egy évvel előtte összesen 76709-en, ami 86%). Úgy is fogalmazhatunk, hogy ezek a tanulók 2010-ben és 2011-ben még olyan eredménnyel írják meg az OKM teszteket, mint három évvel korábban az elődeik, sőt, még egy kicsit jobban, majd 2012-ben már a PISA tesztben amazoknál sokkal rosszabb teljesítményt nyújtanak. Itt most az ellenzék felkiálthatna, hogy lám-lám, megmondtuk, 2012-re már beértek a hatások, s az a gyereksereg, amely az OKM-ben ugyanúgy teljesített, mint a három évvel korábbi, a PISÁ-ban már lényeges mértékben alulteljesít. Hatottak Hoffmann Rózsa „reformjai”.

Lehet, hogy így van, lehet, hogy nem. Én most alternatív magyarázatot a jelenségre nem látok. De jó szívvel azt sem tudom elfogadni, hogy egy-két év alatt képesek hatni olyan oktatáspolitikai változások, amelyek a tanulókat igazán még nem is érték el, sőt, olyanok, amelyek még valójában erőteljesen a pedagógusokra sem hatottak. Felmerül bennem az a kérdés is, hogy vajon mekkora szerepe lehet a véletlennek. És számos más tényező lehet, amely figyelembe vehető az oktatáspolitikai magyarázatok helyett. Nem akarom ezt a kérdést lezárni, nagyon érdekelne, hogy olvasóimnak mi a véleményük.

4 megjegyzés:

  1. Úgy tűnik meg kell várni a következő méréseket, hogy van-e határozott tendencia. Mindenesetre az új negatív irányba forduló adatok jobban ráirányíthatják a szakemberek, döntéshozók és a társadalom figyelmét az oktatási kérdések értékelésére, új hatékony megoldások keresésére.

    (Azért a fiaskóval kapcsolatban zárójelben megjegyzem, hogy a magyar eredmények korábban sem az igazán jók közé tartoztak, átlag körüliek voltak, ez esett most az átlag alá.)

    Pihelevics Attila

    VálaszTörlés
  2. Kedves István!
    Örülök, hogy megint írsz blogot!

    Ami először eszembe jut, hogy majd a következő felmérés adja meg a választ. Ha az még rosszabb, akkor hajlunk arra, hogy IGEN, ez már a hatás. Ha nem, akkor nem.

    Nekem eszembe jutott az is, hogy az eltelt időben a gyerekeket érő (főleg IKT) hatások milyen szerepet játszhatnak ebben. Ha egyáltalán játszanak. Azért érdekel ez, mert fiaim beléptek az aktív online fogyasztásba (9 és 11 évesek) és látom, hogy formálja őket. Persze még nem tudok párhuzamokat vonni (és nem is keresek) a tanulmányi eredményeikkel.

    Mire gondolok? Az elmúlt években nagyon terjedtek a hordozható játék eszközök. Kis konzolok, okostelefonok....Azt látom az utcán, hogy sok gyerek még többet lóg ezeken, mint korábban az asztali gépeken. Azt ugyanis a szülők jobban tudták ellenőrizni, szabályozni. Eszembe jutott egy kutatás, ami azt bizonyítja, hogy a tanulási képességek nem romlanak, de szociális kompetenciáik igen. Ez továbbra is tartható kijelentés? Tekintettel az első kijelentésre, a tanulásra...
    Lehet hogy ezt is újra kellene gondolni és megérne egy ellenőrzést. Gyanakszom erre.
    Az iskolai oktatás szövegközpontúsága és visszamondás díjazása valamint az ettől egyre élesebben eltérő - és bárhol elérhető - összetettebb képi világokat nyújtó online játékokon keresztüli "játszva tanulás" (edutainement) belejátszik-e a romlásba?

    Idáig ezek párhuzamos dolgok voltak. De lehet történt elmozdulás? Nem képességek romlása, hanem növekvő érdektelenség, unalom az iskolai tanulásban.... ami kijön a tesztekben.

    Remélem érthető voltam.... :) és a véletlenekben nem hiszek. Ha romlott, annak oka van.



    VálaszTörlés
  3. S annak vajon mi a magyarázata, hogy - egyetlen kivételtől eltekintve - mindegyik korosztály OKM-eredményei mindkét területen évről évre romlanak? (Mármint saját magukhoz képest.) (Az egyetlen kivétel a 95-96-os korosztály, amelynél 2009 és 2010 között a szövegértési átlag egy árnyalatnyit javult, a matematikai pedig ugyanezen időszakban csaknem ugyanannyi maradt.) Nekem ez is beszédesnek tűnik, bár más szempontból (pl. a teszteken elért teljesítmény jelentőségét illetően a diákok szemében). A 2012-es kompetenciamérés átlagai és a PISA-átlagok ugyanabban az évben összevethetők? Ha igen, mit mutat az összehasonlítás? A változások pedig ugyan akkor még elvileg nem érik el a diákokat (és a tanáraikat), de a légkör megváltozása? Annak is van nem csekély motiváló vagy demotiváló hatása mindkét szereplőre.

    VálaszTörlés
    Válaszok
    1. Ajjaj! Sejtettem, hogy ez nem lesz elég érthető. Egy korosztály, például az első, az 1993.03-1994.02 korosztály esetében a második oszlopban lévő évszámok kompetenciamérési évszámok, de nem ugyanazon gyerekek számára. Több év kompetenciamérési eredményeiből kellett összegyűjtenem az adott időszakban születettek, vagyis a 2009. évi PISÁ-ban érintettek OKM teszteredményeit. Azért csökkennek az eredmények az egyre később nyolcadikos OKM-et írók esetében, mert egyre később az iskolába került, vagy évismétlő gyerekekről van szó. Körükben nagyon magas a hátrányos helyzetű gyerekek aránya. Lehetett például olyan, aki 1993-ban született (mondjuk áprilisban), és 2010-ben, vagyis 17 éves korában írta meg az OKM tesztjeit, akkor volt nyolcadikos.
      Nahalka

      Törlés