Nőnek az egyenlőtlenségek a közoktatásban – I.: A pedagógiai hozzáadott értékről

A Népszabadságban Ónodi Molnár Dóra már írt bizonyos érdekességekről a 2013. évi országos kompetenciamérés (OKM) adataival összefüggésben. Szeretném részletesebben is bemutatni az egyenlőtlenségekkel kapcsolatos eredményeket. Tekintve, hogy a pedagógiai hozzáadott érték (ezután PHÉ-nek rövidítem) fontos szerepet játszik az elemzésben, ezért a két részesre tervezett írás első részében bemutatom a PHÉ értelmezését, és majd a második részben elemzem a 2013. évi adatokat.

Az OKM-ben a 6., 8. és 10. osztályos tanulók írnak minden év májusában egy matematika és egy szövegértés tesztet. E három évfolyamon kb. száz-százezer tanulónak van tehát két alapvető adata az aktuális teljesítményéről. Ezen kívül azonban még számtalan más információval rendelkezünk róluk (tudjuk a nemüket, hogy melyik iskolában tanulnak, iskolájuk (képzésük) típusát, hogy HHH, SNI, BTM tanulók-e, és még nagyon sok más adatot meghatároznak a szakemberek a mérés során). Az adatok egy része „csak” egy háttér kérdőív diákok, illetve szüleik által történő kitöltése alapján van meg, amivel két probléma van. Az egyik baj, hogy ezeknek az adatoknak egy része (például, hogy milyen tanterv szerint tanul a diák) nem megbízható, a másik, hogy ezeket a kérdőíveket a tanulóknak csak mintegy 70-75%-a tölti ki (nem kötelező ugyanis).

2008 óta olyan módszerekkel zajlik a felmérés, amely módszerek biztosítják, hogy a tanulók adatait folyamatosan nyomon kövessük. Lehetőségünk van például arra, hogy nagyon sok tanuló eredményét hatodikos, nyolcadikos majd tizedikes korában is lássuk, ezek az eredmények a modern tesztelméleti alapon zajló mérés keretei között összehasonlíthatók. 2008-ban olyan skálán helyezték el külön a matematika, külön a szövegértés teszteredményeket, hogy a hatodikosok eredményeinek átlaga az egész évfolyamon, mindkét teszt esetén 1500, a szórás 200 legyen. 2008-ban a nyolcadikos és tízedikes eredmények kalibrálását már ehhez igazították, tehát a két évfolyam a hatodikossal is, és egymással is összehasonlítható, illetve az ezt követő években elért eredmények is összevethetők egymással. A tesztelésnek ez a tulajdonsága már azelőtt is érvényesült, 2008-ban egyrészt újra kalibrálták a szakemberek a teszteket, másrészt, ahogy már írtam, a tanulók követése is lehetővé vált (erre 2008-at megelőzően nem volt lehetőség az tesztelésenként változó tanulói azonosítók miatt).

Mint minden mérés, ez is hibákkal terhelt. Tegyük fel, hogy egy tanulónak 1660 pont a nem ismert, a méréssel csak becsült szövegértés képességfejlettsége. Ha tesztet íratunk a tanulóval, akkor ezt a látens, a háttérben meghúzódó értéket csak becsüljük, attól a teszteredmény kisebb-nagyobb mértékben eltérhet. Azt nagyjából tudjuk, hogy a teszteredmény kb. kétharmad valószínűséggel (~66%) esik kb. az 1600-1720-as tartományon belülre. Még annak is van 0,05-os (5%) esélye, hogy a tanuló teszteredménye szövegértésből 1540 pont alatt, vagy akár 1780 pont felett lesz. Ez az oka annak, hogy az OKM eredményekből soha nem szabad levonni következtetéseket az egyes tanulókra. Viszont ha nagyobb tanulócsoportok eredményeit vizsgáljuk, és elsősorban a teszteredmények átlagát számoljuk ki, akkor ugyan igaz, hogy az egyes tanulók teszteredményei a látens szövegértés (vagy matematika) képességfejlettségüktől kisebb nagyobb távolságra vannak, de minél nagyobb a vizsgált csoport, annál jobban megegyezik a teszteredmények átlaga a látens szövegértés (vagy matematika) képességfejlettségek átlagával. Úgy mondanánk szemléletesen, hogy a csoportban az eltérések kiegyenlítik egymást. Amikor tehát iskolatípusokban, településtípusok iskoláiban, régiókban, vagy akár egyes intézményekben tanulók teszteredményeinek átlagát vizsgáljuk, igencsak jó, megbízható adatokkal dolgozhatunk, azokat bátran tekinthetjük a látens képességfejlettségek átlagának.

Feltehető a kérdés, hogy van-e értelme egyáltalán szövegértés (vagy matematika) képességfejlettségről beszélni, illetve, hogy ha van is ennek értelme, vajon az OKM tesztjei tényleg azt mérik-e. Ezek hallatlanul fontos kérdések, és van is – szerintem – megnyugtató válasz rájuk, de ezek a válaszok meghaladnák most ennek a bejegyzésnek a kereteit. Nem akarok elmenekülni a feladat elől, ezért tervezem, hogy írok majd egy „ismeretterjesztő” bejegyzést a kérdésről. (Ami egy igazi kihívás, mert bizony itt keményebb matematikáról van szó, és majd úgy kell írnom róla, hogy szinte egyáltalán ne kerüljön szóba szinte semmi, ami egy gimnáziumi, legalább hármas matematika érettségi tudással nem érthető meg.)

Ott tartunk tehát, hogy minden évben három évfolyam tanulói esetében rendelkezünk két-két tesztadattal, és számtalan további ismerettel. Nyilván nagyon sok összehasonlítás végezhető. A 2013-ban lebonyolított OKM mérés adataival, használva az összehasonlításokhoz a korábbi évek eredményeit is, egy jó nagy körben az Oktatási Hivatal (OH) munkatársai ezt meg is tették, és egy alapos tanulmányban számoltak be a tapasztalatokról. Én ebben az írásban egy lépéssel tovább megyek, és a pedagógiai hozzáadott értékeket (PHÉ) elemzem, de majd csak a második részben. Ebben az első részben igyekszem válaszolni arra a kérdésre, hogy mi az a PHÉ?

Egy tanuló tudására nagyon sok tényező van befolyással. Ám e tényezőket csoportosíthatjuk, és azt mondhatjuk, hogy ténylegesen, tevőlegesen kétféle hatótényező játszik kiemelt szerepet: az iskola, mint intézményes tanulási környezet, illetve a tanuló szociális környezete. E két tényező összetevői – most szemléletesen fogalmazva – hozzátesznek valamit a tanuló tudásához, ténylegesen növelik azt. Vannak ezeken kívül még olyan sajátosságok, amelyeknek különböző értékei szerint eltérhet a hatás. Ugyanaz a hatás más lehet egy fiú és egy lány esetén. Ugyanaz a hatás más egy nyugat- és egy észak-magyarországi iskolában. Ugyanolyan hatások módosulhatnak attól függően, hogy kire érvényesülnek, és maguk a hatások eltérhetnek attól függően, hogy „honnan jönnek”.

Ha oktatáspolitikai döntéseket akar valaki meghozni, ha intézmények irányításának feladatait látja el, vagy akár egy iskola továbbfejlődése számára dolgoz ki programot, és persze még számtalan más esetben is fontos kérdés, hogy vajon a tanulók tudásának növekedéséből mennyi írható az iskola „számlájára”. Általánosan ezt hívhatjuk iskolai hozzáadott értéknek. Úgy képzeljük, hogy egy tanuló látens képességfejlettsége (tehát most a „valódi”, és nem a mért képességfejlettségről van szó) növekedéséből valamennyi, egészen pontosan fogalmazva valahány pont a szociális környezetének hatására, míg a többi az intézményes nevelés hatására alakul ki. Nekünk szükségünk lenne arra az információra, hogy ez az utóbbi egy nagyobb tanulócsoportban átlagosan mennyi (mint láttuk, a számítások soha nem végezhetők egyetlen tanulóra, csak nagyobb csoportokra). Ezt ma még nem tudjuk meghatározni. Tudunk azonban egy olyan mértéket mondani, ez a PHÉ, ami ugyan nem „tisztán” az iskola által produkált hozzáadott érték, de annak valószínűleg egy jelentős hányada, erős kapcsolatban van azzal, és értékeinek (átlagainak) összehasonlításával a „tudásnövelő” hatással összefüggésben jutunk információkhoz. De hogyan alakul ki a mért teszteredmények lapján a PHÉ?

A matematikai szempontból alaposabb ismereteket igénylő részeket egy lábjegyzetbe helyeztem e rész végére, aki érti a lineáris regresszió nyelvét, ott olvassa el a megfelelő definíciót. Itt azonban megkísérlek egy szemléletes meghatározást adni. Mindenki számára nyilván világos, hogy az, hogy egy tanulónak, mondjuk nyolcadikos korára milyen szintre emelkedik a szövegértés (vagy matematika) képességfejlettsége, jelentős mértékben függ attól, hogy korábban már milyen szintet ért el. Ha mi azt szeretnénk vizsgálni, hogy mekkora (hány pontos) fejlődés következett be a tanulóban hatodikos és nyolcadikos kora között, akkor nyilván figyelembe kell vennünk, hogy hol állt hatodikos korában. De van még egy lényeges tényező. Ez a családi háttér. Mint már fentebb írtam, a tanuló tudása a szociális környezete hatására is nő, ez nem az iskola hatása, tehát valamilyen módon „ki kellene vonnunk”, ha az iskola hatását szeretnénk elemezni.

Ha megnézzük, hogy a nyolcadikosok szövegértés teszteredménye milyen összefüggésben van a hatodikos teszteredményükkel és a családi háttérindexükkel (a szociális helyzet mérésére használt mérték, CSHI-vel rövidítem), akkor azt tapasztaljuk, hogy elég erősen érvényesül egy tendencia: minél jobb a tanuló korábbi eredménye, és minél jobb a szociális helyzete, annál jobb lesz a nyolcadikos eredmény. Sőt, a nyolcadikos teszteredmény a másik két változónak nagyjából lineáris függvénye. Nem határozza meg ugyan a korábbi teszteredmény és a CSHI egyértelműen az új teszteredményt, de a tendenciákat, az összefüggés lényegét jól jellemezhetjük egy lineáris összefüggésként. Ezt mutatom be az alábbi két ábrán, amelyek a 2013. évi OKM mérésből mintegy 1680 véletlenszerűen kiválasztott tanuló adatait tartalmazzák. A három változó közötti összefüggés három dimenziós, azaz a térbeli viszonyokat mutató „ábrán” szemléltethető, és hogy valóban érzékelni lehessen némileg a viszonyokat, két különböző nézetben is elkészítettem az ábrát. Ezeken az ábrákon a körök egy-egy tanulót jelentenek. Az egyik ábrán inkább az látszik, hogy minél nagyobb a korábbi teszteredmény, annál nagyobb az új, a másikon inkább az, hogy minél jobb a tanuló szociális helyzete (az egyre nagyobb CSHI értékek), annál magasabb teszteredményt ér el a tanuló.

Ezután képzeljük el, hogy azt figyeljük, hogy a korábbi teszteléskor meglévő képességfejlettség egy kis, szűk tartományában, és a szociális helyzetet számszerűsítő CSHI egy szűk tartományában elhelyezkedő tanulók hogyan teljesítettek. Mondjuk, azokat figyeljük, akik korábban (hatodikos korukban) 1480 és 1482 pont közötti teszteredményt értek el, és a nyolcadikos mérésben a CSHI-ük 0,6 és 0,65 között volt. E tanulók teszteredményei is különböznek egymástól, de az egész évfolyamra jellemző összefüggés alapján meghatározhatunk egy értéket, egy jellemző teszteredményt, amit e csoport tanulóitól várunk, ha csak azt vesszük figyelembe, hogy milyen eredményt értek el korábban, és mekkora a CSHI-jük. És most jön a lényeg: a meghatározó értékek alapján várt teszteredmény és a valóságos teszteredmény eltérése (vagyis a különbségük) a PHÉ. Kivonjuk a valóságos teszteredményből azt, amit a tanuló korábbi teszteredménye és CSHI-je alapján várnánk, és ez lesz a PHÉ.

Talán jól érzékelhető, hogy egy tanuló vagy jobban, vagy gyengébben teljesít, mint amit várunk tőle. Ezért a PHÉ lehet negatív is, pozitív is. Az összes tanulóra a PHÉ átlaga nulla. Ez nem azt jelenti, hogy az iskolák az összes tanuló esetén átlagosan nem tesznek hozzá semmit a tudáshoz. A teszteredmények maguk is, vagy a belőlük számolható különböző mértékek, így a PHÉ is nagyon sokféleképpen kifejezhetők, hasonlóan ahhoz, ahogy a hőmérsékletet is meghatározhatjuk Celsius skálán, Fahrenheit fokokkal, vagy az abszolút skálán. Akár a teszteredménnyel is megtehetnénk azt, hogy nem a mostani formájában fejezzük ki, hanem mondjuk egy nulla átlagú, és 1 szórású változó értékeiként. Furcsa lenne, de teljesen korrekt. Igaz, lennének negatív teszteredmények is. Ami természetesen nem a tudás negatív voltát jelentené, nem is értenénk, mit jelent az. Ugyanígy vagyunk a PHÉ-val is, egy olyan mennyiség, ami reményeink szerint valamennyire jellemzi az iskolai hozzáadott értéket, amivel az iskola növeli a tudást, de sokféle skálán kifejezhető, mi most éppen egy olyat használunk, amely esetén az egész évfolyam tanulóinak átlaga nulla.

Miért jellemzi ez a PHÉ az iskola által nyújtott tudást az adott képesség szempontjából? (Ugye észrevehető volt, hogy a „tudás” szót nem az „ismeret” szinonimájaként, hanem jóval tágabb értelemben használom?) Szeretnénk a tanuló előző tesztelésétől kezdve bekövetkezett tudásnövekedését jellemezni, és ezt a teszteredmény alapján tesszük, tehát nem lenne jó, ha a pedagógiai hozzáadott érték csak azért lenne nagy (vagy kicsi), mert már az előző teszteredmény az volt. Ezért az előző teszteredmény „hatását” mintegy „ki kell küszöbölnünk”. Kifejezetten az iskola hatását szeretnénk mérni, valahogy szeretnénk „levakarni” az eredményekről azt a hatást, ami a tanulót a szociális környezete részéről éri. Úgy gondoljuk, hogy ez utóbbi a CSHI-vel állhat szoros kapcsolatban, ezért van az, hogy a CSHI-t is figyelembe vesszük a számításban. Amit kapunk, az tehát már nem tartalmazza az előző teszteredmény növelő hatását, és a szociális környezet hatását. Arra gondolhatnánk, hogy akkor az, ami marad, már tisztán az előző és az újabb tesztelés között bekövetkezett, intézményes (iskolai) növelő hatások eredménye. Szép lenne, ha ez így lenne, de sajnos itt van némi probléma, ami miatt ez a PHÉ nem tökéletes.

Arról van szó ugyanis, hogy amikor eltüntetjük a korábbi teszteredmény, valamint a CSHI hatását, akkor „egy kicsit” kiöntjük a fürdővízzel a gyereket is. Ugyanis az iskolák különböző korábbi eredménnyel rendelkező, és ugyanígy a különböző szociális helyzetű tanulókra kifejtett hatása lehet némileg más. Ezeket a különbségeket az alkalmazott matematikai módszer eltünteti. Ez a probléma érzékeltethető a következőképpen is: igencsak valószínű, hogy a magyar iskolarendszerben a jobb szociális helyzetben lévő tanulók nem csak azért érnek el jobb eredményeket, mert szociális környezetük szocializációs hatásai, amit e környezetben spontán módon megtanulnak, az nagyobb értéket képvisel tudásuk növekedésében. Ez a különbség azért is kialakul, mert az iskolában is valószínűleg többet kapnak, mint amúgy minden más vonatkozásban (elsősorban korábbi teszteredményüket tekintve) velük azonos tulajdonságokkal jellemezhető, és tőlük csak szociális helyzetükben eltérő társaik. Vagyis azt várnánk, hogy az „igazi” iskolai hozzáadott érték korrelál a CSHI-vel, minél jobb egy tanuló szociális helyzete, annál nagyobb az a mérték, amennyivel az iskola ténylegesen növeli a tudását. Ezt azonban a PHÉ „nem tudja”, hiszen a számítás módszeréből következik, hogy a PHÉ és a CSHI közötti korreláció nulla. Teljesen hasonló mondható el a korábbi teszteredménnyel való összefüggésről is. A PHÉ számítási módjából következik, hogy a PHÉ és a korábbi teszteredmény korrelációs együtthatója nulla, miközben nagyon valószínű, hogy a magyar iskolarendszerben az az érték, amivel az iskola növeli a gyerekek tudását egy adott idő alatt, pozitívan korrelál a korábbi teszteredménnyel (a magyar iskola növeli a különbségeket). Mindebből az következik, hogy a PHÉ nem tartalmazza a teljes iskolai hozzáadott értéket. Ettől azonban nem válik értéktelenné. Különösen azokban a vizsgálatokban lehet hasznos, amelyekben az adatokból levonható következtetésekkel kapcsolatban szinte biztosak lehetünk benne, hogy e következtetések még élesebbekké válnának, ha a teljes iskolai hozzáadott értéket figyelembe tudnánk venni.

(A következő részben bemutatom a PHÉ adatokat sokféle bontásban, alátámasztva azt az állításomat, hogy több területen is nőttek az egyenlőtlenségek a magyar iskolarendszerben.)

Lábjegyzet

A PHÉ definíciója: a matematika, illetve a szövegértés PHÉ egy lineáris regresszió nem sztenderdizált reziduálisa, függő változó a (matematika vagy szövegértés) teszteredmény, független változói pedig a korábbi (matematika vagy szövegértés) teszteredmény és a CSHI. A lineáris regressziót „stepwise” módszerrel, az egész évfolyamra, minden olyan tanulóra számoljuk, akinek megvannak a számításhoz szükséges adataik.