ЕГЭ явно переоценили

kommersant.ru — Оценки половины высокобалльных (от 80 и выше) и стобалльных работ ЕГЭ по ряду предметов оказались неоправданно завышены сотрудниками региональных экзаменационных комиссий. Такой вывод следует из результатов закрытой выборочной перепроверки, которая проводилась разработчиками заданий ЕГЭ.
Новости, Наука | RockSysteM 06:13 24.06.2013
45 комментариев | 56 за, 1 против |
#1 | 06:48 24.06.2013 | Кому: Всем
А как такое может быть? Насколько я знаю - в ЕГЭ вопросы и ответы, надо выбрать правильный. Набрал столько-то правильных ответов - получаешь такой-то балл. Как можно завысить балл? Посчитать неправильные ответы как правильные?
#2 | 07:16 24.06.2013 | Кому: OctopusVulgaris
Журналидзы же. ПМСМ, речь идет от проверке региональной комиссией ответов в свободной форме aka часть С. Но вообще странно, я думал, уже реализовали кросс-региональную перепроверку
#3 | 07:33 24.06.2013 | Кому: Всем
> Ревизоры обнаружили серьезные нарушения в 77% перепроверенных работ. Оценки более чем половины материалов оказались сильно завышены (см. таблицу) — от одного добавленного балла до четырех и выше. "Можно констатировать либо низкую квалификацию эксперта, либо злой умысел",— говорят проверяющие.

Самый законный вариант прост, как мычание: на инструктаже или курсах для экспертов дается прямое указание ставить как можно более высокий балл, если можно хоть за что-то зацепиться. Например, если в работе по русскому языку просто переписан кусок исходного текста, надо ставить за все задание 0. Но если к этому прицеплена хотя бы пара фраз типа "Я с автором согласен, он сказал все правильно, это очень важная проблема" - велено оценивать по всем критериям.
А есть еще "подаренные" баллы. Например, есть критерий фактической точности. По уму балл за него надо ставить, если эти самые факты присутствуют в работе и изложены верно. Однако часто бывает, что все сочинение - сплошное ИМХО без отсылок к литературе, истории и т.д., то есть этот критерий применять не к чему, но балл выставляется.
Или критерий этичности - надо быть совсем уж мудаком, чтобы этот балл не начислили. Я за несколько лет проверки могу вспомнить не более 5 таких отмороженных малолетних либералов ("Автор - неудачник", "Не надо рассказывать детям эти байки о войне" - потому и запомнились, что не массово).
#4 | 07:43 24.06.2013 | Кому: бабаня
Прямое следствие проверки работ заинтересованными лицами. и никуда от этого не деться, к сожалению
#5 | 07:45 24.06.2013 | Кому: OctopusVulgaris
Там три части:
A. выбор ответа из предложенных вариантов
B. решаем на бумажке, записываем только ответ
C. записываем решение.

По математике части A нет.
#6 | 07:51 24.06.2013 | Кому: rahs
> Прямое следствие проверки работ заинтересованными лицами. и никуда от этого не деться, к сожалению

Ну и нафига тогда вся это финансоемкая карусель?

Уточнение: подаренные баллы приходится презентовать строго по инструкции к критериям, то есть это заложено в самой системе и от конкретного проверяющего не зависит.
#7 | 08:31 24.06.2013 | Кому: бабаня
> от конкретного проверяющего не зависит

Вот примерно для этого. Оценка на ЕГЭ конкурсная, от этих "добавленных" баллов мало что зависит


ЗЫ: От проверяемого тоже не зависит, кстати

ЗЗЫ: И не такая уж она финансоемкая
#8 | 09:01 24.06.2013 | Кому: rahs
> Оценка на ЕГЭ конкурсная, от этих "добавленных" баллов мало что зависит

Как раз от 1-2-3 баллов очень многое зависит, если получилось на грани проходного. Особенно если вспомнить, что это первичные баллы, которые при переводе в 100-балльную шкалу могут "потяжелеть".

> ЗЗЫ: И не такая уж она финансоемкая


Да ну? Ты еще скажи, что вся эта красота не дорожает с каждым годом, например, за счет "обеспечения мер безопасности и контроля".
#9 | 10:06 24.06.2013 | Кому: бабаня
> Как раз от 1-2-3 баллов очень многое зависит

Если их почти всем добавляют? Ничего не зависит

> Да ну? Ты еще скажи, что вся эта красота не дорожает с каждым годом, например, за счет "обеспечения мер безопасности и контроля".


За всю страну не скажу, а на уровне региона - нет.

Да и вообще, не такие уж и гигантские затраты на ЕГЭ
#10 | 10:07 24.06.2013 | Кому: бабаня
> А есть еще "подаренные" баллы.

А есть примеры "украденных" баллов в части формы "С"? Скажем, по причине банального нежелания члена комиссии тщательно проверять (усталость, сотая по счету работа...) Просто приведу пример сдачи дочери (олимпиадницы по математике), когда за свободную форму было начислено 0! баллов, хотя по её словам часть задач был решена однозначно правильно, а в остальных не уверена. В общем, получаем за математику 47 баллов , и в тоже время, откровенно слабые в расчетах девочки из её класса набирают больше 60 баллов...Слез было шо пыпец.
#11 | 10:26 24.06.2013 | Кому: сохач
> А есть примеры "украденных" баллов в части формы "С"? Скажем, по причине банального нежелания члена комиссии тщательно проверять

В теории - да, на практике - маловероятно.Проверяют два эксперта независимо, если серьезное расхождение в оценках - проверяет третий

> по её словам часть задач был решена однозначно правильно


Для этого есть апелляция, которая на ЕГЭ реально работает
Shtirliz
малолетний »
#12 | 10:30 24.06.2013 | Кому: сохач
> А есть примеры "украденных" баллов в части формы "С"? Скажем, по причине банального нежелания члена комиссии тщательно проверять (усталость, сотая по счету работа...) Просто приведу пример сдачи дочери (олимпиадницы по математике), когда за свободную форму было начислено 0! баллов, хотя по её словам часть задач был решена однозначно правильно, а в остальных не уверена. В общем, получаем за математику 47 баллов , и в тоже время, откровенно слабые в расчетах девочки из её класса набирают больше 60 баллов...Слез было шо пыпец.

Что показала аппеляция?
Ну и да - 47 баллов, это надо откровенно слабо написать часть B.
У меня брат по математике набрал 60 баллов, при этом за часть С у него 0, как и у большинства из его класса. Часть С по математике оценивается изрядно идиотски.
#13 | 10:33 24.06.2013 | Кому: сохач
Бывает, но на это есть апелляционные комиссии. Они обычно решают в пользу ученика (у одной моей ученицы так решался вопрос о медали - не хватало ровно одного балла до пятерки по шкале, добавили целых три).
#14 | 11:04 24.06.2013 | Кому: Ulmerer
> A. выбор ответа из предложенных вариантов
> B. решаем на бумажке, записываем только ответ
> C. записываем решение.

Ну вот мне и непонятно, как тут можно переоценить?

Ответ/решение правильное - даем балл, неправильное - не даем балл.
#15 | 11:09 24.06.2013 | Кому: rahs
> Если их почти всем добавляют? Ничего не зависит

А пороговый балл для совсем серых дятлов? А нижняя граница проходного в вузе?

> Да и вообще, не такие уж и гигантские затраты на ЕГЭ


И поэтому полные суммы не раскрываются, ага. Разве что по совсем давним, когда еще в режиме эксперимента шло:
Достижение этой цели (уничтожение нашей системы образования) обошлось государству весьма не дёшево. В 2005 году непосредственно на проведение ЕГЭ только из Федерального бюджета было затрачено 543,4 млн. рублей. А за весь период проведения эксперимента на него затрачено только из средств федерального бюджета 370 млн. долларов.

А по тем цифрам, которые время от времени всплывают, создается ощущение, что это какая-то черная дыра. Например:
Планы совершенствования информационной защиты в период сдачи единых госэкзаменов обойдутся в дополнительные 300 млн рублей. Они уже подготовлены, сообщила сегодня журналистам вице-премьер правительства РФ Ольга Голодец на саммите девушек из стран "большой двадцатки" в Москве.
или:
Одним из родоначальников ЕГЭ является Владимир Хлебников – доктор технических наук, директор Федерального Центра тестирования при Министерстве образования и науки РФ. Он занимался апробацией ЕГЭ с момента его внедрения в 2001 г. по 2006 г. А в 2007 прокуратура обвинила Хлебникова в злоупотреблении служебным положением в связи с фиктивными договорами с ООО «Рустест», которое возглавляла его супруга Наталья. В связи с чем в 2009 году родоначальник ЕГЭ уволен по обвинению в растрате 60 миллионов рублей.
#16 | 11:15 24.06.2013 | Кому: OctopusVulgaris
> Ну вот мне и непонятно, как тут можно переоценить?
>
> Ответ/решение правильное - даем балл, неправильное - не даем балл.

Части А и В проверяет компьютер, там возможно всякое интересное при распознавании ответов (буква не по образцу, крестик кривой).
Часть С оценивается по куче критериев, часть из них допускает очень разные интерпретации. Например, комментарий к проблеме (по русскому языку) - бывает, за откровенное словоблудие ставится высокий балл, бывает и наоборот - за вполне толковый выставляется нолик, потому что кратко.
#17 | 11:15 24.06.2013 | Кому: бабаня
> > Если их почти всем добавляют? Ничего не зависит
>
> А пороговый балл для совсем серых дятлов? А нижняя граница проходного в вузе?

Для дятлов вообще неактуально, они часть С не пишут.
Если для всех участников баллы начисляют единообразно, то влияния на конкурс они почти не оказывают

> И поэтому полные суммы не раскрываются, ага. Разве что по совсем давним, когда еще в режиме эксперимента шло:


Надо посмотреть на госзакупках, кажется, там все есть. В любом случае, гигантские суммы в пересчете на ученика гигантскими вовсе не выглядят
#18 | 11:20 24.06.2013 | Кому: бабаня
> Части А и В проверяет компьютер, там возможно всякое интересное при распознавании ответов (буква не по образцу, крестик кривой).

А потом идет верификация оператором, в итоге 99.9% ошибок исправляется. А потом идет проверка ответа центральной предметной (после обработки, кажется, 70% бланков и выкидывают списки ответов на каждое задание, а они уже определяют, какие из них правильные. Во всяком случае, раньше так было). Так что ответить правильно, но неверно надо еще умудриться

> Часть С оценивается по куче критериев, часть из них допускает очень разные интерпретации. Например, комментарий к проблеме (по русскому языку) - бывает, за откровенное словоблудие ставится высокий балл, бывает и наоборот - за вполне толковый выставляется нолик, потому что кратко.


Поэтому два эксперта и проверяют
#19 | 11:46 24.06.2013 | Кому: rahs
> Поэтому два эксперта и проверяют

И бывает, что оба ошибаются. Я на третьей проверке такие чудеса видела!

> Для дятлов вообще неактуально, они часть С не пишут.


По математике - может быть. А по русскому языку редко когда этот бланк сдается пустым, хоть ахинею, да напишут (71 слово и более) - и думаешь, что с этим делать.

> Если для всех участников баллы начисляют единообразно, то влияния на конкурс они почти не оказывают


Если одному начисляют заслуженно, а другому так просто - влияют.
#20 | 11:59 24.06.2013 | Кому: бабаня
> > Поэтому два эксперта и проверяют
>
> И бывает, что оба ошибаются. Я на третьей проверке такие чудеса видела!

а если и третий эксперт накосячит, то есть апелляция, точнее, две
Короче, вероятность неправильной оценки невысока

> > Для дятлов вообще неактуально, они часть С не пишут.

>
> По математике - может быть. А по русскому языку редко когда этот бланк сдается пустым, хоть ахинею, да напишут (71 слово и более) - и думаешь, что с этим делать.
>
> > Если для всех участников баллы начисляют единообразно, то влияния на конкурс они почти не оказывают
>
> Если одному начисляют заслуженно, а другому так просто - влияют.

Как раз НЕ влияют. Общая точность оценки падает, да
#21 | 12:11 24.06.2013 | Кому: бабаня
> Части А и В проверяет компьютер, там возможно всякое интересное при распознавании ответов (буква не по образцу, крестик кривой).

Так тут наоборот, речь может идти о недооценке.

>Часть С оценивается по куче критериев, часть из них допускает очень разные интерпретации. Например, комментарий к проблеме (по русскому языку) - бывает, за откровенное словоблудие ставится высокий балл, бывает и наоборот - за вполне толковый выставляется нолик, потому что кратко.


Понятно, что по русскому языку могут быть критерии субъективные.
Но в заметке-то шла речь о завышении оценок по ряду предметов.
Как можно субъективно завысить оценки по математике или химии?
#22 | 12:31 24.06.2013 | Кому: OctopusVulgaris
> Как можно субъективно завысить оценки по математике или химии?

Можно. Везде, где есть человек, есть субъективизм. Или тебе в школе не попадалось "вот тут решил неправильно, но думал-то верно! Три!"
#23 | 12:33 24.06.2013 | Кому: OctopusVulgaris
> А как такое может быть? Насколько я знаю - в ЕГЭ вопросы и ответы, надо выбрать правильный. Набрал столько-то правильных ответов - получаешь такой-то балл. Как можно завысить балл? Посчитать неправильные ответы как правильные?

Потому что ЕГЭ -- это не тест. Например, в ЕГЭ по математике нет заданий с выбором вариантов. Региональная комиссия проверяет задания с развернутым ответом.
#24 | 12:36 24.06.2013 | Кому: OctopusVulgaris
> Как можно субъективно завысить оценки по математике или химии?

Нашла, например, такое:
Обоснованно получен правильный ответ - 4
Получена система необходимых и достаточных условий на пару искомых чисел и найдено ее решение, но недостаточно обоснована его единственность -3
Составлено верное уравнение в натуральных числах, из которого сделаны существенные выводы для нахождения искомой пары чисел, уравнение до конца не решено, но верный ответ приведен - 2
Составлено, но не решено верное уравнение в натуральных числах, верный ответ приведен - 1
Решение не соответствует ни одному из критериев, перечисленных выше - 0
Максимальный балл - 4

Думаю, это тот самый случай: ответ взят с потолка, хотя и верный, обоснований нет, но выставлен высший балл.
#25 | 12:37 24.06.2013 | Кому: rahs
> Как раз НЕ влияют. Общая точность оценки падает, да

И это мы запишем в плюсы системы?
#26 | 12:39 24.06.2013 | Кому: rahs
> а если и третий эксперт накосячит, то есть апелляция, точнее, две
> Короче, вероятность неправильной оценки невысока

Если на всех уровнях политика направлена на завышение результата, очень даже высока. А она таки направлена!
#27 | 12:54 24.06.2013 | Кому: rahs
> Можно. Везде, где есть человек, есть субъективизм. Или тебе в школе не попадалось "вот тут решил неправильно, но думал-то верно! Три!"

Да меня самого как-то наказали за то, что решил задачу по геометрии "не по учебнику". Но в ЕГЭ-то, как я понимаю, задания формализованные и не допускают двояких толкований? По крайней мере, по физике-химии-математике?
#28 | 12:56 24.06.2013 | Кому: toofast
> Потому что ЕГЭ — это не тест. Например, в ЕГЭ по математике нет заданий с выбором вариантов. Региональная комиссия проверяет задания с развернутым ответом.

И вариантов у комиссии ровно два - задача решена правильно или неправильно, как написано в методичке. Как в таком случае можно завысить баллы?
#29 | 12:59 24.06.2013 | Кому: бабаня
> Думаю, это тот самый случай: ответ взят с потолка, хотя и верный, обоснований нет, но выставлен высший балл.

Или экзаменуемый решил сэкономить время и не стал подробно расписывать. Потому как вероятность угадывания правильного решения уравнений с двумя неизвестными представляется мне невысокой.
#30 | 13:37 24.06.2013 | Кому: OctopusVulgaris
> Или экзаменуемый решил сэкономить время и не стал подробно расписывать.

В критерии сказано, что для высшего балла надо подробно расписать (а иначе обоснование не считается достаточным). Если проверять строго по инструкции, в твоем примере оценка получается ниже.

> Потому как вероятность угадывания правильного решения уравнений с двумя неизвестными представляется мне невысокой.


А вероятность получения ответа по СМС?
#31 | 13:48 24.06.2013 | Кому: бабаня
> > Как раз НЕ влияют. Общая точность оценки падает, да
>
> И это мы запишем в плюсы системы?

Нет, конечно, но это далеко не самый серьезный недостаток
#32 | 13:49 24.06.2013 | Кому: бабаня
> > а если и третий эксперт накосячит, то есть апелляция, точнее, две
> > Короче, вероятность неправильной оценки невысока
>
> Если на всех уровнях политика направлена на завышение результата, очень даже высока. А она таки направлена!

Ну и что? Выстроили участников по рангу, обеспечили конкурс. Некритичная проблема.
#33 | 13:51 24.06.2013 | Кому: Всем
> В критерии сказано, что для высшего балла надо подробно расписать (а иначе обоснование не считается достаточным). Если проверять строго по инструкции, в твоем примере оценка получается ниже.

Ну это понятно. Снизить-то оценку можно. А как завысить-то?

> А вероятность получения ответа по СМС?


Если заранее известно условие задачи - кто мешает написать шпору с решением?
#34 | 13:57 24.06.2013 | Кому: Всем
О как взвыли от ЕГЭ наши власти.И в СМИ сообщили, не скрывая этого... Видимо точный градусник ЕГЭ. Вот и приняли решение его слить...
У самого сын схлопотал 2 по математике. После просмотра пробных задач было ясно, что решать вообщето задания надо. И в школе 10 лет не пень пинать. Не решил-получи. И нет тебе переписываний на дому у препода.
#35 | 14:17 24.06.2013 | Кому: OctopusVulgaris
Зачем выдумывать. Есть КИМы, в которых прописано как и за что расставляются баллы.
#36 | 14:21 24.06.2013 | Кому: OctopusVulgaris
> Ну это понятно. Снизить-то оценку можно. А как завысить-то?

Точно так же: видим неполное решение, ставим как за полное. В особо циничных случаях ставим как за решенную задачу, если просто записаны ее условия.
#37 | 14:23 24.06.2013 | Кому: toofast
> Есть КИМы, в которых прописано как и за что расставляются баллы.

Это - теория. А на практике бывает очень интересно.
#38 | 14:25 24.06.2013 | Кому: бабаня
Человек спрашивал у меня, как можно завысить баллы. Я ответил, что проставив баллы не так как в КИМах.
#39 | 16:22 24.06.2013 | Кому: Shtirliz
> Что показала аппеляция?

Отклонили. Не только нам, но и всем кто подавал (больше 10 человек из класса).
У нас (живу в таежном поселке) результаты экзамена уходят в Ханты-Мансийск (600 км). До конца не разобрался с механизмом аппеляции, но со слов наших учителей, в прошлой год от района выехала группа родителей и учителей для участия в аппеляционной комиссии, так их как бы развернули, хотя (опять же со слов учителей) документы были формлены надлежаще. ХЗ короче, что там было и как на самом деле. Может в городах и не так - имею ввиду то, что и педколектив друг друга знает, встречается, знает аппеляционные нюансы, где куда надавить, чтобы "прямо вышло", но у нас как-то вот так. Я вместе с ней эту неудачу переживал, и больше чем поданная ею аппеляция, ничего не мог сделать. Посмотреть бы оригинал её работы и перепроверить, хотя бы для себя, чтобы уверенным хоть в чем-то. А пока сделал такие выводы: ЕГЭ по обязательным предметам - немножко лотерея, ибо комиссии нелегко одинаково внимательно рассмотреть все работы - их просто ВАЛ. А вот экзамен по выборочным, тут да. Их малочисленность (как мне кажется) благотворно влияет на качество проверки. И здесь получилось финально отлично - 98 из 100 :). Горечь сгладило ощутимо. Ну и медаль высшей пробы - достойная награда её 11-летнего забега! Вотт! :)
#40 | 16:27 24.06.2013 | Кому: сохач
> А пока сделал такие выводы: ЕГЭ по обязательным предметам - немножко лотерея, ибо комиссии нелегко одинаково внимательно рассмотреть все работы - их просто ВАЛ.

Чистая правда. И эксперты, мягко говоря, разные бывают. Одно дело - когда проверяют 10 действительно лучших учителей по области, другое - когда 50-70-100.
#41 | 17:18 24.06.2013 | Кому: toofast
> Человек спрашивал у меня, как можно завысить баллы. Я ответил, что проставив баллы не так как в КИМах.

Ну то есть как я и предполагал - внаглую нарисовать, невзирая на реальную работу ученика?
Shtirliz
малолетний »
#42 | 19:43 24.06.2013 | Кому: сохач
> Отклонили. Не только нам, но и всем кто подавал (больше 10 человек из класса)

Это как? Подаётся апелляция о несогласии с результатами ЕГЭ. Потом ваша дочь должна приехать в место проведения апелляции и предстать перед конфликтной комиссией. И только потом, если ваша дочь не сумеет доказать правильность решения - должны будут апелляцию отклонить. Так во всяком случае у нас в городе поступали. Или вы пожелали чтобы апелляцию рассмотрели без вашего участия?
#43 | 21:26 24.06.2013 | Кому: Shtirliz
> Потом ваша дочь должна приехать в место проведения апелляции и предстать перед конфликтной комиссией. И только потом, если ваша дочь не сумеет доказать правильность решения - должны будут апелляцию отклонить

Никакого «доказать», перепроверяется только то, что реально написано в бланке. Участник на апелляции может не присутствовать, а если и присутствует, все, на что он имеет право - убедиться, что проверяют именно его работу и что ее действительно проверяют. Обычно еще эксперт кратенько поясняет, почему выставлены именно такие баллы и все.
Shtirliz
малолетний »
#44 | 00:44 25.06.2013 | Кому: rahs
> Никакого «доказать», перепроверяется только то, что реально написано в бланке. Участник на апелляции может не присутствовать, а если и присутствует, все, на что он имеет право - убедиться, что проверяют именно его работу и что ее действительно проверяют. Обычно еще эксперт кратенько поясняет, почему выставлены именно такие баллы и все.

Ну.
#45 | 02:31 25.06.2013 | Кому: Shtirliz
> Так во всяком случае у нас в городе поступали

Одно дело съездить в соседний район с возможностью повлиять нас ситуацию, в случае возникновения "вопросов", другое - когда, когда перед тобой путь в 600 верст и транспорт 3 раза в неделю.
В этом случае, перед тобой выбор: или спокойно готовится к следующему экзамену или убить 4 дня на поездку с "призрачной" возможностью что-либо решить.
Я не придумываю отмазки, почему так дочь не смогла присутствовать на аппеляции, просто на самом деле стоял такой выбор. Поэтому все аппеляции - через "интернет".
Войдите или зарегистрируйтесь чтобы писать комментарии.