Magyarországon csak a felsőfokú nyelvvizsgával rendelkezők nem tudnak angolul

Olvasom az Átlátszó Oktatás blogbejegyzéséhez írt kommenteket és elámulok: könnyű volt a szöveg, minek ez a hiszti. Az eredmények azt bizonyítják, hogy a felsőfokú nyelvvizsga nem ér semmit. A kommentelő bezzeg tökéletesen megoldotta a feladatot. Mindent értett, pedig csak x (x=2,3,4) éve tanul angolul. Igen, elképzelte, hogy megoldotta otthon, a gép előtt ülve, nem egy tanteremben, huszad magával, közelebb-távolabb ülve a hangszórótól egy óriási téttel terhelt vizsgán. Ha halkították nem lehetett hallani, ha hangosították torzult, nem lehetett érteni. Mindegy is.

A lényeg, hogy a magyar érettségi jó, a nemzetközi standardokkal dolgozó nemzetközi nyelvvizsga-rendszer rossz. Ebben a hitében nem lehet megingatni azokat, akiknek az a fontos, hogy megmutassák: okosabbak, jobbak  másoknál. Nekik a 35%-os átlagos teljesítmény az első feladatban a másik kettő 65%-os teljesítéséhez képest nem a feladat hibája, hanem a vizsgázóé. Vajon akkor is ezt gondolnák, ha ők lettek volna a szenvedő alanyok? Ha az ő egyetemi felvételijük múlik ezen a pár ponton? Hányan képesek az országban 470 pontot összeszedni? És ha csak 469 pontot érnek el, vajon hány van közülük, akiknek a családja képes az egyetemi tandíjat megfizetni?

Ha nálam teljesítenek ilyen rosszul a hallgatók, első körben magamban keresem a hibát. Elszúrtam a feladatot? Mit nem tanítottam meg? Hol fogalmaztam rosszul? Milyen készség hiányozhat, ami miatt rosszul teljesítenek? Ha elszúrtam egy feladatot, azt azonnal kompenzálom. Ha nem, következő évben változtatok  azon, AHOGY az adott témát tanítom. Vannak olyan országok, ahol az egyetemi oktatók nincsenek egyedül ezekkel a problémákkal. Dániában például a vizsga dolgozatokat más egyetemen javítják, mint ahol íratják és a tömegesen rosszul sikerült dolgozatok érvénytelenítésére külön eljárás van. Nálunk nem ismeretes ilyen intézmény.

Ezek után jobban megértem a hallgatásba burkolódzó angol tanárokat. Jobb az érettségi vizsga korrektségét nem firtatni, mert pillanatok alatt ellenük lehet fordítani a közhangulatot. A kirívóan rossz részeredmény semmiképpen nem lehet az érettségit összeállító csapat hibája, szinte szentségtörésnek számít maga a gondolat is. Ők csak haladni akartak a korral. Csak egy kicsit nyomták meg, csak egy kicsit visszhangosítottak. Meghallgatták, hogy ez egy osztályban, egy szál lejátszóról, hogyan fog szólni? Tesztelték átlagos vizsgakörülmények között valakiken, akik megfelelő szinten beszélik az angolt? Biztosan nem, mert az ilyesfajta javaslatoknak évek óta ellenállnak.De nem hibázhatnak, hisz Magyarországon a kormány és intézményei, az általuk kiválasztott személyek és csoportok nem hibáznak. Ez a hibátlanság a magyarság teljesítményük.

Szóval itt mindenki tökéletes és remekül tud angolul, remekül készít feladatsort és javító kulcsot, csak azok a felsőfokú nyelvvizsgával rendelkező érettségizők gyengék, akiknek csaknem az ötöde nulla pontot kapott erre a feladatra. Gratulálok!

Összevetés: 

Mennyire reprezentálhatják az országos eredményeket a Facebook Csoport eredményei?

 

Az Átlátszó Oktatás eredményeinkről szóló posztjában felveti a kérdést, hogy mennyire képesek reprezentálni az országos eredményeket egy elkeseredett diákokból álló Facebook csoport tagjainak eredményei. Ugyan előző bejegyzésemben (Gyorsjelentés) már diszkutáltam ezt a kérdést, azonban nem állítottam érveim mellé további adatokat. Most ezt teszem. Összehasonlítom az angol tanár kollégák által, az érettségi után, jó körülmények között tesztelt vizsgaanyag eredményeit (Utóteszt bejegyzés; 49 fő) a diákok által beküldött valódi eredményekkel (257 fő). Nyilvánvaló, hogy az angol tanárok által küldött eredmények nem függnek attól, hogy hogyan sikerült a teszt. Minden diák teszteredményét megadták, az eredménytől függetlenül. Csak a felsőfokú nyelvvizsgával rendelkezők eredményeit mutatom. Nem tartom valószínűnek, hogy az országos átlag érdemben jobb lenne a felsőfokú nyelvvizsgával rendelkező diákok átlagos eredményénél. Tehát, felső becslést adhatunk az országos eredményekre. Ime az eredmények:

Mit mutatnak ezek az adatok? Azt, hogy nincs lényeges, érdemi különbség a  Facebook csoport felsőfokú nyelvvizsgával rendelkező tagjai által beküldött eredmények és az utótesztet elvégző felsőfokús diákok eredményei között. Ezt is várjuk, ha a felsőfokú vizsga jól működik! Ez arra is utalhat, hogy nem a helyi körülmények miatt volt a feladat extra nehéz. A másik két feladat sem volt azonban könnyű, mert 65%-os átlagos eredmény, egy elvileg könnyebb vizsgán nem tekinthető jónak.

Ezek alapján nagyon-nagyon meg lennék lepve, ha az első feladat eredményeinek országos átlaga 3,5 fölött lenne. Ez volt a vizsga összeállítóinak célja? Minden vizsgában van ilyen nehézségű feladat? Ráadásul olyan feladat, amin a felsőfokú nyelvvizsgával rendelkezők sem érik el a 40%-ot?? Ha igen, talán meg kellene indokolniuk, hogy miért. Ha nem, akkor egyrészt elnézést kellene kérniük a diákoktól, másrészt sürgősen kimódolhatnák, hogy hogyan kompenzálják őket a pontveszteségért. Arról nem is beszélve, hogy valószínűleg az érettségi összeállításának módján is változtatni kell, hogy jövőre még csak véletlenül se ismétlődhessen meg az idei kudarc.

Gyorsjelentés az idei angol emeltszintű érettségi eredményeiről

 

Tegnap tekinthették meg kiértékelt dolgozataikat az érettségizők. Az Angol emelt szintű érettségi listening feladat botrány 2014 Facebook csoportban meghírdetett eredménygyűjtő kampány keretében dél és éjfél között egy Google kérdőív segítségével 259-en küldték be az eredményeiket. Ebből 257 rekord tartalmazott kiértékelhető adatokat. Elsősorban arra vagyunk kiváncsiak, hogy mennyire bizonyultak nehéznek ezek a feladatok a diákok számára. A hallgatás utáni szövegértés feladatcsoport 3 elkülönült feladatból áll, Mindegyikre maximum 10 pontot lehetett kapni. Ime az eredmények megoszlása.

	1.feladat	2.feladat	3.feladat
0 pont	54	2	4
1-2 pont	105	15	13
3-4 pont	60	63	83
5-6 pont	23	64	67
7-8 pont	13	77	57
9-10 pont	2	36	33
	257	257	257

Az ábra a táblázat eredményeit mutatja. Mi látható rajta? Az első feladatban 54-en szereztek 0 pontot, azaz a diákok 21%, vagyis ötöde! 10 pontot két diák szerzett, (9 pontos nem volt). Ezzel szemben ugyanezeknek a diákoknak felfele kerekítve csak 1% illetve 2%-a  szerzett nulla pontot a második illetve harmadik feladatból, amiből 10 pontot azaz maximumot szerzett 14% illetve 12%-kuk. Azaz az első feladat extrém rosszul sikerült a másik kettőhöz képest.



Az Oktatási Hivatal mindeddig elutasította a hanganyag minőségével, a feladat nehézségével kapcsolatos reklamációkat és felülvizsgálati kérelmeket. Egyik érvük az volt, hogy idén 15%-al többen választották az emeletszintű vizsgát, mint tavaly, ezért színvonal esés várható. A fenti eredmények sem vonatkoztathatóak az összes vizsgázóra - érvelhetnek - hisz a kitöltés önkéntes és a Facebook csoportba is inkább azok jelentkeztek, akiknek a vizsgájuk rosszul sikerült.
Vizsgáljuk meg ezeket az érveket! Van az országban egy olyan rendszer, ami a nyelvtudás szintjét nemzetközi standardok alapján, egységesen minősíti. Ez a nyelvvizsga rendszer. Aki felsőfokú nyelvvizsgával rendelkezik, az bizonyította, hogy az emelt szintű érettséginél magasabb szinten tudja az angol nyelvet, hisz a sikeres emelt szintű vizsga középfokú nyelvvizsgával egyenértékű minősítést ad! Szerencsére a mintában nagy százalékban vannak jelen felsőfokú nyelvvizsgával rendelkező diákok. Lássuk az adatokat!

Nyelvvizsga
nincs	75
alap	2
közép	94
felső	80
	251

 Az adatok kördiagrammon ábrázolva:

Vagyis az adatszolgáltatók csaknem harmadának VAN felsőfokú nyelvvizsgája. Ez alapján nem tűnik megalapozottnak az a felvetés, hogy a válaszolók a gyenge teljesítményű diákok voltak. Sőt, lehetségesnek tartom, hogy a legjobbak nagyobb arányban háborodtak fel, és maradtak aktívak a Facebook csoportban, mint az egyébként is gyengén teljesítők.

Ezek után nézzük meg, hogyan teljesítetettek a felsőfokú nyelvvizsgával rendelkezők. azt várjuk, hogy mindegyik feladatot átlagosan jelesre oldják meg, hisz nyelvtudásuknak a hivatalosan elvártnál magasabb szintjét már egy független, standardizált rendszerben bizonyították. Íme az eredmények:

	1.feladat	2.feladat	3.feladat
0 pont	15	0	1
1-2 pont	25	3	0
3-4 pont	20	15	16
5-6 pont	12	16	29
7-8 pont	7	31	21
9-10 pont	1	15	13
	80	80	80

A táblázatból készített ábra:

A felsőfokú nyelvvizsgával rendelkezők 19%-a sem tudott egyetlen pontot sem szerezni az első feladatból!

Ez egy sokkoló eredmény.

Mit mutat? Azt mutatja, hogy az első feladat valami mást mért, nem a nyelvtudás szintjét. Jobb nyelvtudás ugyan javított egy hajszálnyit az eredményen, de csak egy hajszálnyit.Ugyanezt mutatják az utólagos teszt eredmények is, amit előző bejegyzésemben ismertettem.


  Az angol emelt szintű érettségit elszenvedő diákok egy része e feladat miatt nem fog bejutni egyes kiemelt szakokra, jelentős hátrányba kerül a más tárgyból vagy korábbi években érettségizettekkel szemben. A feladatsor és a vizsgakörülmények együttes eredményeképpen (Az okok megkeresése részletesebb adatokat és elemzéseket igényel.). Első lépésben nem a hiba okának felderítése, hanem a diákok kompenzálása a fontos.

Történt már olyan a magyar érettségik történetében, hogy az oktatási kormányzat megváltoztatta az érettségi eredmények meghatározásának módját - történetesen a feladatok kiszivárgása miatt. Most is valamilyen korrekciót kell alkalmazni. Hogy milyet azt döntsék el a szakterület specialistái.

Utóteszt: 

Az angol emelt szintű érettségi eredményeinek értelmezéséhez

Sokan szeretnék tudni, hogy indokolatlanul nehéz volt-e az idei emelt szintű érettségi hallgatási feladata.  Jogosak a diákok követelései? Indítson alapos és szakszerű vizsgálatot, az Oktatási Hivatal annak felderítésére, hogy túl ment-e a hallgatási feladat nehézsége az elvárt szintnél? Az idei problémák nyomán megkérdőjeleződött az érettségi feladatsor összeállításának módszere is. Ha ugyanis a vizsgálat azzal zárulna, hogy  az idei érettségi eredményei  kiugróan alacsonyak a sokévi átlaghoz képest, akkor ez önmagában bizonyítja, hogy a jelenlegi eljárás nem garantálja azonos követelményszintű feladatsorok összeállítását. Márpedig a méltányosság elve megköveteli, hogy előzetes figyelmeztetés és korrekciók hiányában, évről-évre azonos nehézségűek legyenek az egyetemi továbbtanuláshoz életbevágóan fontos érettségi vizsgák.

A következő összefoglaló e kérdések megválaszolásához kíván hozzá járulni. Négy tanár kolléga különböző iskolákban egymástól függetlenül, jó akusztikai körülmények között elvégeztette a hallgatási feladatsort nyelvvizsgázott, vagy nyelvvizsga előtt álló diákjaival. A hallgatási feladatsor 3 feladatból áll, az ezekre kapott pontszámok, a tanuló azonosítója, a tanulói csoport azonosítója és  nyelvvizsgájának szintje (nincs, valamilyen középfokú, illetve felsőfokú nyelvvizsga) alkotott egy-egy elemezendő adatsort. Összesen 49 diák eredményeit, két, olyan vezető oktató illetve kutató elemezte egymástól függetlenül, akik semmiféle módon nem kapcsolódnak a nyelvoktatáshoz.

Az eredmények a következőek. Mindegyik feladatra 10 pontot lehet kapni. A diákok átlagosan 5,7 pontot kaptak feladatonként. A feladatok nehézségi szintje azonban különbözött. Az első feladaton 3,9, a másodikon 6,8 a harmadikon  pedig 6,4 pontot szereztek átlagosan.

Ha diákonként megvizsgálják az első és a másik két feladatra adott pontszámok értéke közti különbséget, azt találják, hogy szignifikánsan alacsonyabb az első feladat eredménye a másik kettőnél. (Szignifikáns azt jelenti, hogy a különbség nem magyarázható azzal, hogy csak 49 diák vett részt a vizsgálatban.) Egy a mintából véletlenszerűen kiválasztott diák első feladata átlagosan 2,9 ponttal lett rosszabb a másodiknál, illetve 2,45-el a harmadiknál. Az elemzések tehát alátámasztják a diákok azon tapasztalatát, hogy a feladatsor nehéz volt, hisz az átlagos eredmény nem éri el a 60%-ot, s azt is, hogy az első feladat jóval nehezebb volt a rákövetkezőknél.

A következő kérdés az, hogy mennyire volt nehéz az első feladat? Vajon a felsőfokú nyelvvizsgával rendelkező diákok könnyebben meg tudták-e oldani? A válasz az, hogy igen, a felsőfokúval rendelkező diákok egyformán jobban teljesítettek, mind a három feladatban. Azonban az első feladat még a felsőfokú nyelvvizsgával rendelkező diákok számára is nehezebb volt, mint a következő kettő, amint ezt a következő két ábra is mutatja. Csaknem 2 ponttal alacsonyabb körükben az első feladatra kapott pontszám (a megszerezhető pontszám 20%-a!), mint a következő két feladatra kapott pontszám. A felsőfokú nyelvvizsgával rendelkező diákok átlagosan alig több, mint 6 pontot (6,1) tudtak szerezni ebből a feladatból egy olyan vizsgán, amelynek a követelményszintje alacsonyabb kell legyen a felsőfokú nyelvvizsga követelmény szintjénél.

A 2. és 3. feladatra kapott pontszámok között nem volt szignifikáns különbség ezért arról nem mutatok ábrát.

Egyik kollégám azt is megvizsgálta, hogy az adatszolgáltató  tanárok csoportjainak eredményei között volt-e szignifikáns különbség, azonban ilyen különbséget nem talált.

Az elemzések alapjául szolgáló minta nem nagy. Az átlagokról adott eredmények azonban így is elég pontosak. Ezt a következő, professzionálisabb ábra mutatja:

A pontok körüli "bajszok" az átlagos érték megbízhatóságáról tájékoztatnak, azt adják meg, hogy ha a vizsgálatot sok azonos nagyságú mintán megismételnénk, milyen értékek között szórna az átlagos eredmények túlnyomó többsége. A különbség olyan nagy a feladatok nehézségi szintjében (csaknem 30%!), hogy az még egy ilyen közepes-kis mintából is kimutatható. A mintavétel módja nem egészen felel meg a sztenderdeknek, mert esetleges, hogy melyik tanár, milyen csoporttal végeztette el a feladatokat. Ami miatt mégis általánosíthatónak érzem az eredményeket az az, hogy a diákokat a nemzetközi standardoknak megfelelő nyelvvizsga szintjük minősíti, ehhez képest mindegy, hogy melyik iskolában, hogyan szerezték meg a nyelvvizsgához szükséges tudást.Az adatokból az eredmények reprodukálhatóak, mint azt a két függetlenül, más szoftverrel, más módszerrel, más elemző által elvégzett elemzés megegyező eredményei is mutatják.  Mindezek előrebocsátása után, úgy látom, hogy az idei emelt szintű angol érettségit elszenvedő diákok panasza jogos. A hallgatási feladatsor első feladata még a felsőfokú nyelvvizsgával rendelkező diákok számára is nagyon nehéz volt. A hallgatási feladatsor első feladata volt a legnehezebb. Azt a kérést is alátámasztottnak látom, hogy az idei érettségi hallgatási feladatsorának eredményeit az Oktatási Hivatal megbízásából vessék össze a korábbi évek eredményeivel. Ez rutinszerűen elvégezhető, értelmezhető statisztikai vizsgálatot igényel. Amennyiben az átlagos eredmények szignifikánsan rosszabbnak mutatkoznak a korábbi évek hallgatási feladataiban kapott eredményeknél, alkalmazzanak korrekciót a követelményszint kiegyenlítésére.

Végül szeretném megköszönni az önkéntes, ad hoc vizsgálatban résztvevő angol tanárok és kollégáim közreműködését. Az esetleges hibákért én vagyok felelős.