Utóteszt: 

Az angol emelt szintű érettségi eredményeinek értelmezéséhez

Sokan szeretnék tudni, hogy indokolatlanul nehéz volt-e az idei emelt szintű érettségi hallgatási feladata.  Jogosak a diákok követelései? Indítson alapos és szakszerű vizsgálatot, az Oktatási Hivatal annak felderítésére, hogy túl ment-e a hallgatási feladat nehézsége az elvárt szintnél? Az idei problémák nyomán megkérdőjeleződött az érettségi feladatsor összeállításának módszere is. Ha ugyanis a vizsgálat azzal zárulna, hogy  az idei érettségi eredményei  kiugróan alacsonyak a sokévi átlaghoz képest, akkor ez önmagában bizonyítja, hogy a jelenlegi eljárás nem garantálja azonos követelményszintű feladatsorok összeállítását. Márpedig a méltányosság elve megköveteli, hogy előzetes figyelmeztetés és korrekciók hiányában, évről-évre azonos nehézségűek legyenek az egyetemi továbbtanuláshoz életbevágóan fontos érettségi vizsgák.

A következő összefoglaló e kérdések megválaszolásához kíván hozzá járulni. Négy tanár kolléga különböző iskolákban egymástól függetlenül, jó akusztikai körülmények között elvégeztette a hallgatási feladatsort nyelvvizsgázott, vagy nyelvvizsga előtt álló diákjaival. A hallgatási feladatsor 3 feladatból áll, az ezekre kapott pontszámok, a tanuló azonosítója, a tanulói csoport azonosítója és  nyelvvizsgájának szintje (nincs, valamilyen középfokú, illetve felsőfokú nyelvvizsga) alkotott egy-egy elemezendő adatsort. Összesen 49 diák eredményeit, két, olyan vezető oktató illetve kutató elemezte egymástól függetlenül, akik semmiféle módon nem kapcsolódnak a nyelvoktatáshoz.

Az eredmények a következőek. Mindegyik feladatra 10 pontot lehet kapni. A diákok átlagosan 5,7 pontot kaptak feladatonként. A feladatok nehézségi szintje azonban különbözött. Az első feladaton 3,9, a másodikon 6,8 a harmadikon  pedig 6,4 pontot szereztek átlagosan.

Ha diákonként megvizsgálják az első és a másik két feladatra adott pontszámok értéke közti különbséget, azt találják, hogy szignifikánsan alacsonyabb az első feladat eredménye a másik kettőnél. (Szignifikáns azt jelenti, hogy a különbség nem magyarázható azzal, hogy csak 49 diák vett részt a vizsgálatban.) Egy a mintából véletlenszerűen kiválasztott diák első feladata átlagosan 2,9 ponttal lett rosszabb a másodiknál, illetve 2,45-el a harmadiknál. Az elemzések tehát alátámasztják a diákok azon tapasztalatát, hogy a feladatsor nehéz volt, hisz az átlagos eredmény nem éri el a 60%-ot, s azt is, hogy az első feladat jóval nehezebb volt a rákövetkezőknél.

A következő kérdés az, hogy mennyire volt nehéz az első feladat? Vajon a felsőfokú nyelvvizsgával rendelkező diákok könnyebben meg tudták-e oldani? A válasz az, hogy igen, a felsőfokúval rendelkező diákok egyformán jobban teljesítettek, mind a három feladatban. Azonban az első feladat még a felsőfokú nyelvvizsgával rendelkező diákok számára is nehezebb volt, mint a következő kettő, amint ezt a következő két ábra is mutatja. Csaknem 2 ponttal alacsonyabb körükben az első feladatra kapott pontszám (a megszerezhető pontszám 20%-a!), mint a következő két feladatra kapott pontszám. A felsőfokú nyelvvizsgával rendelkező diákok átlagosan alig több, mint 6 pontot (6,1) tudtak szerezni ebből a feladatból egy olyan vizsgán, amelynek a követelményszintje alacsonyabb kell legyen a felsőfokú nyelvvizsga követelmény szintjénél.

A 2. és 3. feladatra kapott pontszámok között nem volt szignifikáns különbség ezért arról nem mutatok ábrát.

Egyik kollégám azt is megvizsgálta, hogy az adatszolgáltató  tanárok csoportjainak eredményei között volt-e szignifikáns különbség, azonban ilyen különbséget nem talált.

Az elemzések alapjául szolgáló minta nem nagy. Az átlagokról adott eredmények azonban így is elég pontosak. Ezt a következő, professzionálisabb ábra mutatja:

A pontok körüli "bajszok" az átlagos érték megbízhatóságáról tájékoztatnak, azt adják meg, hogy ha a vizsgálatot sok azonos nagyságú mintán megismételnénk, milyen értékek között szórna az átlagos eredmények túlnyomó többsége. A különbség olyan nagy a feladatok nehézségi szintjében (csaknem 30%!), hogy az még egy ilyen közepes-kis mintából is kimutatható. A mintavétel módja nem egészen felel meg a sztenderdeknek, mert esetleges, hogy melyik tanár, milyen csoporttal végeztette el a feladatokat. Ami miatt mégis általánosíthatónak érzem az eredményeket az az, hogy a diákokat a nemzetközi standardoknak megfelelő nyelvvizsga szintjük minősíti, ehhez képest mindegy, hogy melyik iskolában, hogyan szerezték meg a nyelvvizsgához szükséges tudást.Az adatokból az eredmények reprodukálhatóak, mint azt a két függetlenül, más szoftverrel, más módszerrel, más elemző által elvégzett elemzés megegyező eredményei is mutatják.  Mindezek előrebocsátása után, úgy látom, hogy az idei emelt szintű angol érettségit elszenvedő diákok panasza jogos. A hallgatási feladatsor első feladata még a felsőfokú nyelvvizsgával rendelkező diákok számára is nagyon nehéz volt. A hallgatási feladatsor első feladata volt a legnehezebb. Azt a kérést is alátámasztottnak látom, hogy az idei érettségi hallgatási feladatsorának eredményeit az Oktatási Hivatal megbízásából vessék össze a korábbi évek eredményeivel. Ez rutinszerűen elvégezhető, értelmezhető statisztikai vizsgálatot igényel. Amennyiben az átlagos eredmények szignifikánsan rosszabbnak mutatkoznak a korábbi évek hallgatási feladataiban kapott eredményeknél, alkalmazzanak korrekciót a követelményszint kiegyenlítésére.

Végül szeretném megköszönni az önkéntes, ad hoc vizsgálatban résztvevő angol tanárok és kollégáim közreműködését. Az esetleges hibákért én vagyok felelős.