Thursday, 5 June 2014

Magyarországon csak a felsőfokú nyelvvizsgával rendelkezők nem tudnak angolul


Olvasom az Átlátszó Oktatás blogbejegyzéséhez írt kommenteket és elámulok: könnyű volt a szöveg, minek ez a hiszti. Az eredmények azt bizonyítják, hogy a felsőfokú nyelvvizsga nem ér semmit. A kommentelő bezzeg tökéletesen megoldotta a feladatot. Mindent értett, pedig csak x (x=2,3,4) éve tanul angolul. Igen, elképzelte, hogy megoldotta otthon, a gép előtt ülve, nem egy tanteremben, huszad magával, közelebb-távolabb ülve a hangszórótól egy óriási téttel terhelt vizsgán. Ha halkították nem lehetett hallani, ha hangosították torzult, nem lehetett érteni. Mindegy is.

A lényeg, hogy a magyar érettségi jó, a nemzetközi standardokkal dolgozó nemzetközi nyelvvizsga-rendszer rossz. Ebben a hitében nem lehet megingatni azokat, akiknek az a fontos, hogy megmutassák: okosabbak, jobbak  másoknál. Nekik a 35%-os átlagos teljesítmény az első feladatban a másik kettő 65%-os teljesítéséhez képest nem a feladat hibája, hanem a vizsgázóé. Vajon akkor is ezt gondolnák, ha ők lettek volna a szenvedő alanyok? Ha az ő egyetemi felvételijük múlik ezen a pár ponton? Hányan képesek az országban 470 pontot összeszedni? És ha csak 469 pontot érnek el, vajon hány van közülük, akiknek a családja képes az egyetemi tandíjat megfizetni?

Ha nálam teljesítenek ilyen rosszul a hallgatók, első körben magamban keresem a hibát. Elszúrtam a feladatot? Mit nem tanítottam meg? Hol fogalmaztam rosszul? Milyen készség hiányozhat, ami miatt rosszul teljesítenek? Ha elszúrtam egy feladatot, azt azonnal kompenzálom. Ha nem, következő évben változtatok  azon, AHOGY az adott témát tanítom. Vannak olyan országok, ahol az egyetemi oktatók nincsenek egyedül ezekkel a problémákkal. Dániában például a vizsga dolgozatokat más egyetemen javítják, mint ahol íratják és a tömegesen rosszul sikerült dolgozatok érvénytelenítésére külön eljárás van. Nálunk nem ismeretes ilyen intézmény.

Ezek után jobban megértem a hallgatásba burkolódzó angol tanárokat. Jobb az érettségi vizsga korrektségét nem firtatni, mert pillanatok alatt ellenük lehet fordítani a közhangulatot. A kirívóan rossz részeredmény semmiképpen nem lehet az érettségit összeállító csapat hibája, szinte szentségtörésnek számít maga a gondolat is. Ők csak haladni akartak a korral. Csak egy kicsit nyomták meg, csak egy kicsit visszhangosítottak. Meghallgatták, hogy ez egy osztályban, egy szál lejátszóról, hogyan fog szólni? Tesztelték átlagos vizsgakörülmények között valakiken, akik megfelelő szinten beszélik az angolt? Biztosan nem, mert az ilyesfajta javaslatoknak évek óta ellenállnak.De nem hibázhatnak, hisz Magyarországon a kormány és intézményei, az általuk kiválasztott személyek és csoportok nem hibáznak. Ez a hibátlanság a magyarság teljesítményük.

Szóval itt mindenki tökéletes és remekül tud angolul, remekül készít feladatsort és javító kulcsot, csak azok a felsőfokú nyelvvizsgával rendelkező érettségizők gyengék, akiknek csaknem az ötöde nulla pontot kapott erre a feladatra. Gratulálok!

Wednesday, 4 June 2014

Összevetés: 

Mennyire reprezentálhatják az országos eredményeket a Facebook Csoport eredményei?

 

Az Átlátszó Oktatás eredményeinkről szóló posztjában felveti a kérdést, hogy mennyire képesek reprezentálni az országos eredményeket egy elkeseredett diákokból álló Facebook csoport tagjainak eredményei. Ugyan előző bejegyzésemben (Gyorsjelentés) már diszkutáltam ezt a kérdést, azonban nem állítottam érveim mellé további adatokat. Most ezt teszem. Összehasonlítom az angol tanár kollégák által, az érettségi után, jó körülmények között tesztelt vizsgaanyag eredményeit (Utóteszt bejegyzés; 49 fő) a diákok által beküldött valódi eredményekkel (257 fő). Nyilvánvaló, hogy az angol tanárok által küldött eredmények nem függnek attól, hogy hogyan sikerült a teszt. Minden diák teszteredményét megadták, az eredménytől függetlenül. Csak a felsőfokú nyelvvizsgával rendelkezők eredményeit mutatom. Nem tartom valószínűnek, hogy az országos átlag érdemben jobb lenne a felsőfokú nyelvvizsgával rendelkező diákok átlagos eredményénél. Tehát, felső becslést adhatunk az országos eredményekre. Ime az eredmények:

Mit mutatnak ezek az adatok? Azt, hogy nincs lényeges, érdemi különbség a  Facebook csoport felsőfokú nyelvvizsgával rendelkező tagjai által beküldött eredmények és az utótesztet elvégző felsőfokús diákok eredményei között. Ezt is várjuk, ha a felsőfokú vizsga jól működik! Ez arra is utalhat, hogy nem a helyi körülmények miatt volt a feladat extra nehéz. A másik két feladat sem volt azonban könnyű, mert 65%-os átlagos eredmény, egy elvileg könnyebb vizsgán nem tekinthető jónak.
Ezek alapján nagyon-nagyon meg lennék lepve, ha az első feladat eredményeinek országos átlaga 3,5 fölött lenne. Ez volt a vizsga összeállítóinak célja? Minden vizsgában van ilyen nehézségű feladat? Ráadásul olyan feladat, amin a felsőfokú nyelvvizsgával rendelkezők sem érik el a 40%-ot?? Ha igen, talán meg kellene indokolniuk, hogy miért. Ha nem, akkor egyrészt elnézést kellene kérniük a diákoktól, másrészt sürgősen kimódolhatnák, hogy hogyan kompenzálják őket a pontveszteségért. Arról nem is beszélve, hogy valószínűleg az érettségi összeállításának módján is változtatni kell, hogy jövőre még csak véletlenül se ismétlődhessen meg az idei kudarc.


Tuesday, 3 June 2014

Gyorsjelentés az idei angol emeltszintű érettségi eredményeiről

 

Tegnap tekinthették meg kiértékelt dolgozataikat az érettségizők. Az Angol emelt szintű érettségi listening feladat botrány 2014 Facebook csoportban meghírdetett eredménygyűjtő kampány keretében dél és éjfél között egy Google kérdőív segítségével 259-en küldték be az eredményeiket. Ebből 257 rekord tartalmazott kiértékelhető adatokat. Elsősorban arra vagyunk kiváncsiak, hogy mennyire bizonyultak nehéznek ezek a feladatok a diákok számára. A hallgatás utáni szövegértés feladatcsoport 3 elkülönült feladatból áll, Mindegyikre maximum 10 pontot lehetett kapni. Ime az eredmények megoszlása.



1.feladat 2.feladat 3.feladat
0 pont 54 2 4
1-2 pont 105 15 13
3-4 pont 60 63 83
5-6 pont 23 64 67
7-8 pont 13 77 57
9-10 pont 2 36 33

257 257 257


Az ábra a táblázat eredményeit mutatja. Mi látható rajta? Az első feladatban 54-en szereztek 0 pontot, azaz a diákok 21%, vagyis ötöde! 10 pontot két diák szerzett, (9 pontos nem volt). Ezzel szemben ugyanezeknek a diákoknak felfele kerekítve csak 1% illetve 2%-a  szerzett nulla pontot a második illetve harmadik feladatból, amiből 10 pontot azaz maximumot szerzett 14% illetve 12%-kuk. Azaz az első feladat extrém rosszul sikerült a másik kettőhöz képest.



Az Oktatási Hivatal mindeddig elutasította a hanganyag minőségével, a feladat nehézségével kapcsolatos reklamációkat és felülvizsgálati kérelmeket. Egyik érvük az volt, hogy idén 15%-al többen választották az emeletszintű vizsgát, mint tavaly, ezért színvonal esés várható. A fenti eredmények sem vonatkoztathatóak az összes vizsgázóra - érvelhetnek - hisz a kitöltés önkéntes és a Facebook csoportba is inkább azok jelentkeztek, akiknek a vizsgájuk rosszul sikerült.
Vizsgáljuk meg ezeket az érveket! Van az országban egy olyan rendszer, ami a nyelvtudás szintjét nemzetközi standardok alapján, egységesen minősíti. Ez a nyelvvizsga rendszer. Aki felsőfokú nyelvvizsgával rendelkezik, az bizonyította, hogy az emelt szintű érettséginél magasabb szinten tudja az angol nyelvet, hisz a sikeres emelt szintű vizsga középfokú nyelvvizsgával egyenértékű minősítést ad! Szerencsére a mintában nagy százalékban vannak jelen felsőfokú nyelvvizsgával rendelkező diákok. Lássuk az adatokat!

Nyelvvizsga
nincs 75
alap 2
közép 94
felső 80

251

 Az adatok kördiagrammon ábrázolva:
Vagyis az adatszolgáltatók csaknem harmadának VAN felsőfokú nyelvvizsgája. Ez alapján nem tűnik megalapozottnak az a felvetés, hogy a válaszolók a gyenge teljesítményű diákok voltak. Sőt, lehetségesnek tartom, hogy a legjobbak nagyobb arányban háborodtak fel, és maradtak aktívak a Facebook csoportban, mint az egyébként is gyengén teljesítők.

Ezek után nézzük meg, hogyan teljesítetettek a felsőfokú nyelvvizsgával rendelkezők. azt várjuk, hogy mindegyik feladatot átlagosan jelesre oldják meg, hisz nyelvtudásuknak a hivatalosan elvártnál magasabb szintjét már egy független, standardizált rendszerben bizonyították. Íme az eredmények:


1.feladat 2.feladat 3.feladat
0 pont 15 0 1
1-2 pont 25 3 0
3-4 pont 20 15 16
5-6 pont 12 16 29
7-8 pont  7 31 21
9-10 pont 1 15 13

80 80 80

A táblázatból készített ábra:
A felsőfokú nyelvvizsgával rendelkezők 19%-a sem tudott egyetlen pontot sem szerezni az első feladatból!

Ez egy sokkoló eredmény.

Mit mutat? Azt mutatja, hogy az első feladat valami mást mért, nem a nyelvtudás szintjét. Jobb nyelvtudás ugyan javított egy hajszálnyit az eredményen, de csak egy hajszálnyit.Ugyanezt mutatják az utólagos teszt eredmények is, amit előző bejegyzésemben ismertettem.


  Az angol emelt szintű érettségit elszenvedő diákok egy része e feladat miatt nem fog bejutni egyes kiemelt szakokra, jelentős hátrányba kerül a más tárgyból vagy korábbi években érettségizettekkel szemben. A feladatsor és a vizsgakörülmények együttes eredményeképpen (Az okok megkeresése részletesebb adatokat és elemzéseket igényel.). Első lépésben nem a hiba okának felderítése, hanem a diákok kompenzálása a fontos.

Történt már olyan a magyar érettségik történetében, hogy az oktatási kormányzat megváltoztatta az érettségi eredmények meghatározásának módját - történetesen a feladatok kiszivárgása miatt. Most is valamilyen korrekciót kell alkalmazni. Hogy milyet azt döntsék el a szakterület specialistái.