Кровавые соки СОКО

Система оценки качества образования (СОКО) уже успела изрядно попортить кровь учителям, управленцам и теоретикам, начиная с дискуссий о том, что именно она должна оценивать, и заканчивая конкретными процедурами, влияющими на конкретные зарплаты.

Тема СОКО давно раздражает и я понимаю, что ее существование– некая ритуальная неизбежность современной управленческой моды. На данный текст меня спровоцировала прекрасная статья А.Б. Воронцова «Нужно ли бояться мониторингов?». В ней есть рациональное зерно, цепляющее мои размышления. Ключевым аспектом статьи, на мой взгляд, является построение иерархии оценочных процедур. Здесь я хочу развить ее конструктивную логику, собрать вместе собственные мысли на эту тему и оспорить некоторые утверждения автора.

Соображения общего характера

Общесистемное соображение, что управление на основе контрольных показателей предназначено, прежде всего, для ресурсных задач, а не для ценностных, есть в моей предыдущей публикации на эту тему.

Само словосочетание «качество образования» в сочетании с попыткой его измерения вызывает напряжение, т.к. слово «качество» в языке является антиподом слова «количество», а слово «образование» слишком многозначно, чтобы однозначно понимать, что именно нужно измерять. Одним из проявлений этой многозначности являются постоянные столкновения по поводу интерпретации результатов оценок. Тем не менее, оно уже предусмотрено в Федеральном законе Российской Федерации от 29 декабря 2012 г. N 273-ФЗ «Об образовании в Российской Федерации» (п.29 статья 2):

«качество образования - комплексная характеристика образовательной деятельности и подготовки обучающегося, выражающая степень их соответствия федеральным государственным образовательным стандартам, образовательным стандартам, федеральным государственным требованиям и (или) потребностям физического или юридического лица, в интересах которого осуществляется образовательная деятельность, в том числе степень достижения планируемых результатов образовательной программы;».

Степень соответствия ФГОС при их контурном характере определить невозможно. Степень соответствия потребностям– тем более: как измерить потребности? Наиболее доступна измерению последняя часть этого декларативного определения про достижение планируемых результатов.

Оценки и мониторинги

Чтобы развести оценки и мониторинги, чтобы четче очертить круг рассматриваемых проблем, хочу сначала обозначить свое понимание проблематики мониторинга.

Я понимаю мониторинг как аналитическую сводку результатов оценочных процедур с сохранением признаков принадлежности объекту оценки. В эпоху Интернета и перевода документооборота в электронный вид задача стоит исключительно в повышении информационной культуры и использовании давно наработанных информационных технологий. Сбор данных мониторинга сегодня должен осуществляться без ручного вмешательства на основе информационного обмена между соответствующими информационными системами через машинно-читаемые форматы. Для этого необходимо согласовать и утвердить открытые протоколы и процедуры обмена данными, что позволит самым разным и абсолютно несвязанным друг с другом системам прекрасно обмениваться необходимой на разных уровнях информацией без вмешательства человека. Естественно, кроме необходимых в технике отладочных процедур и ситуаций сбоя.

Теперь я не буду разводить оценку и мониторинг, полагая мониторинг многопараметрической (векторной) оценкой, позволяющей комбинировать ее по различным параметрам, что не отменяет ее оценочного характера.

Расставляем акценты

Для начала, приведу внутренний диалог, который, возможно, породит у читателя желание предложить альтернативные ответы:

• Для чего нужна оценка?
• Для проверки достижения цели.
• Различаются ли цели у разных участников образовательного процесса, органов управления?
• Безусловно. В противном случае, не было бы столь жарких дискуссий об образовании.
• Различаются ли цели на разных уровнях системы образования?
• Видимо, да. Но это можно предположить из общих соображений– формально декларированных целей нет, кроме желания повлиять на зарплату учителя. Особое место занимает целеполагание в отношении итогового оценивания.
• Оставим пока итоговое оценивание в стороне. Что тогда пытаются оценить?
• Примерно то же, что и раньше, но с учетом нового этапа развития системы.
• Насколько оправдан безцелевой подход к оцениванию?
• Боюсь, единственное оправдание– так принято, и нельзя ломать привычное, не имея вразумительного ответа, что делать вместо.
• В чем новость нового этапа развития, предлагаемого Воронцовым?
• В сформированности образовательных целей самой школы. И именно это в статье выглядит особенно убедительно.
• А что кажется неубедительным?
• Несколько аспектов:
  
  1. Предложение по итоговому (внешнему) оцениванию и призыв обобщить изложенные подходы на всех.
  2. Не все бесспорно с точки зрения целей ученика во внутришкольном оценивании.
  3. Далеко не у всех школ есть внятная образовательная цель. Большинство, как и органы управления, действуют по инерции. В том числе, в виду отсутствия содержательной собственной цели, ставят ЕГЭ в качестве цели.
  4. Обращение к портфолио, которое не имеет нормативной поддержки, кроме названия. (см. другой подход)
• Может ли в другой школе быть иначе?
• Безусловно. Но позиция Воронцова опирается на строгое соблюдение закона, который предполагает самоопределение школы в вопросах системы оценивания.
• Как решать вопрос с оцениванием/мониторингом на разных уровнях?
• Я полагаю, как минимум, разделить вопрос на 2 части: внутренюю и внешнюю. Это совершенно разные сферы, которые даже законодательно (и совершенно справедливо!) разведены. С внешним надо срочно разбираться, чтобы не наступать все больнее и больнее на грабли ГИА/ЕГЭ (в современном исполнении, как минимум). Внутреннее оценивание школа может и должна вести сама. При этом определенность внешнего оценивания неизбежно окажет влияние на внутреннее. Более четкое определение целей на каждом уровне позволит точнее распределить предмет оценки. 

Степень достижения планируемых результатов можно измерить либо социометрически, либо с помощью контрольно-измерительных материалов (КИМ) при их наличии в образовательной программе. Социометрическая оценка наиболее адекватна определяемому словосочетанию, но может меняться со временем, причем весьма существенно. Оценка по КИМ отражает способность решать определенные задачи, представленные в КИМ– и ничего больше! Это важное замечание, т.к. часто оценки качества образования начинают толковать расширительно, безотносительно методики получения оценки.

Оценка по КИМ за рамками программы имеет смысл в отношении одного курса. Когда и если в программе несколько курсов, интегральная оценка качества имеет смысл только в том случае, если эта программа является стандартизированным модулем, имеющим самостоятельный смысл для других образовательных программ. В противном случае, эта оценка имеет исключительно локальное значение для оценки образовательных отношений между заказчиком и образовательной организацией.

Внешние тестовые процедуры могут быть актуальны при модульном построении курсов, чтобы можно было самостоятельно изучать их, а затем подтверждать освоение.

Почему-то принято считать, что испытания демонстрируют высший уровень достижений обучающегося. Однако ситуация абсолютно обратная: экзамен (или тест) не могут измерить высший уровень– он неизмерим. Любая оценка учебных достижений дает только нижнюю отсечку– на уровне, зафиксированном при проверке! Любая экзаменационная процедура представляет собой барьер, который либо проходят, либо нет– это основной смысл и цель процедуры. Именно поэтому существует достоверное утверждение, что экзамен– лотерея: либо удается обмануть экзаменатора, чтобы он завысил оценку реального уровня владения материалом, либо не удается продемонстрировать в полной мере свой реальный уровень и он занижает оценку. Тестирование отличается от экзамена только уровнем формализации: вероятность субъективного изменения сложности заданий и, соответственнно, масштаба оценок при тестировании существенно ниже.

В связи с этим, очень остро стоит вопрос, насколько адекватен такой подход при текущем и промежуточном оценивании, если перед нами уже не стоит проблема «ОТК» и оценивание должно стимулировать мотивацию к обучению? Также уместен вопрос критикам ЕГЭ, возмущающимся его неспособностью оценить все аспекты образованности выпускника: а кто-то может? Личное общение на традиционном экзамене с предельно субъективной оценкой результата? И нужно ли это? Кому и зачем?

Сейчас я отпускаю, забываю, игнорирую проблемы внутреннего оценивания, полагаясь на заботу школы, например, в изложенном Воронцовым варианте или любом другом, и концентрируюсь на проблемах внешнего оценивания.

Что оценивать извне

При переходе к проблемам внешнего оценивания необходимо учесть 2 замечания:

1. Внешний по отношению к школе мониторинг не может включать персонифицированные данные. Это должно быть предельно жестко и четко обозначено во всех нормативных документах– исключительно статистические неперсонифицированные данные. 
2. В условиях распространения государственных услуг в электронном виде внешние мониторинги должны быть органично с ними увязаны, т.к. там есть большая доля нужной для мониторингов информации, формируемая независимым и правильным образом.

Каковы цели внешней оценки образования?

В единственном документе, в котором явно определены цели системы образования— в государственной программе Российской Федерации «Развитие образования» на 2013 - 2020 годы,— они выглядят так:

«обеспечение высокого качества российского образования в соответствии с меняющимися запросами населениями и перспектинными задачами развития российского общества и экономики; повышение эффективности реализации молодежной политики в интересах инновационного социально ориентированного развития страны».

Декларативность формулировки и невозможность ее операционального использования в логике SMART очевидна. Дальше в программе сразу идут целевые показатели в виде чисел, связь которых с данным определением весьма условна, т.к. определение целей весьма обтекаемо и увязать с ним можно, что угодно. Единственное, что меня радует в данном определении,– на первом месте декларируется необходимость учета запросов населения. Поскольку опереться на нормативное определение сложно, дальнейшая логика изложения пойдет из соображений здравого смысла.

Государство хочет оценить эффективность вложения средств и понять, как ему рулить образованием. При этом, как определить оба аспекта без декларации прозрачных операциональных целей системы образования, совершенно непонятно.

• Если предположить адекватность старой системы образования современным реалиям, можно действовать путем сравнительной оценки со старыми результатами. Но тогда нельзя систему менять, а ее, во-первых, уже изменили, и, во-вторых, ее нельзя не менять, т.к. старая система совершенно не отвечает современным задачам. Впрочем, современные задачи тоже сформулированы очень сомнительно, но это другая тема.
• Можно проводить сравнительные измерения международного уровня, но без собственных целей и задач отставание неизбежно, т.к. невозможно управлять процессом без ясной цели.

В данных условиях «хотелки» государства требуют кардинального пересмотра. Простыми процедурными изменениями, что происходит в управлении все последние годы с начала реформ, проблему не решить. Именно поэтому отношение общества к любым изменениям теперь порождают истерические реакции. Необходимо вернуться к базовым этапам построения любой деятельности в отношении образования и обсудить с обществом совершенно новую современную модель системы образования. Перспективы государства подробнее обсудим позже.

Глобальные цели родителей наиболее определены, на мой взгляд, хотя в деталях могут отличаться. При этом я опускаю за скобки как полных «пофигистов», которые не интересуются образованием детей, так и «суперстратегов», которые сами знают, как образовывать своих детей. Для основной массы родителей я предполагаю 2 цели:

1. В процессе образования, быть уверенным, что ребенок не теряет темп по сравнению с ровесниками.
2. На этапе итоговой аттестации, быть уверенным, что ребенок сможет попасть на желаемое профессиональное образование.

Проблема темпа может стоять только в логике традиционной системы, когда все учатся по стандартным программам. Если же принять позицию нового ориентира образования как индивидуальной образовательной траектории, то о темпе говорить не приходится– не с чем сравнивать. Остается оценка собственной динамики и волнение по поводу итоговой аттестации, которая когда-то грядет. А собственная динамика всегда уникальна. Как и по каким параметрам ее оценить, без опыта представить сложно. Все сразу по этой модели не пойдут, а первопроходцы обычно самые сильные– они и станут ориентиром.

Поскольку внешние для родителей оценки являются для школы внутренними, вернемся ненадолго к ним. В модели Воронцова внутренние оценки и ориентиры есть. Они позволяют родителям оценивать образовательный прогресс ребенка. Те, кого устраивают такие подходы, могут опереться на разработки школы развивающего обучения.

Меня смутило в статье, что ориентиры задаются внешние по отношению к ребенку, родителям. Образование слишком необъятное поле развития, чтобы ребенок по совершенно непонятной для меня причине ориентировался на внешние (чужие) критерии. Это можно себе представить, если у ребенка есть широкий выбор школ с различными критериями и даже моделями обучения, чтобы выбирать из них наиболее подходящую его представлению о развитии, образе жизни в школе.

В устном общении с Воронцовым у меня сложилось несколько иное впечатление: что образовательные ориентиры в системе развивающего обучения для себя лично учится формировать каждый ученик и по системе внутреннего оценивания проверяет уровень их достижения.

Итоговая аттестация в классическом виде появилась как аналог заводского ОТК на конвейерном производстве. Это позволяло произвести выбраковку негодной продукции. По мере признания на выходе образовательного конвейера разнообразия «человеческого материала», задача выбраковки начала давать сбои– постепенно стали выпускать практически всех, за очень редким исключением. Выбраковка при строгом исполнении создавала больше проблем, чем выпуск человека в жизнь как есть.

Поскольку в ВУЗы шла небольшая часть выпускников школ, отдельное вступительное испытание для них было вполне логично: хочешь продолжать учебу– докажи свое право на нее. По мере роста числа желающих поступить в ВУЗ, в том числе, чтобы избежать службы в армии, которая все сильнее и сильнее деградировала и пугала своими нравами, появился спрос на услуги по оказанию помощи. Наконец, количество абитуриентов и всех вступительных проблем перешло в качество– родилась идея единого для всех экзамена, отсекающего «кормушки» при поступлении и «сюси-пуси» на выпускных в школе.

Именно ЕГЭ нужно благодарить за то, что он актуализировал проблему: у подавляющего большинства есть желание (цель?) добиться максимального результата. Одним это нужно для поступления, другим– для отчетности, третьим результат не важен, а хочется просто побыстрее его провести и забыть. Отсюда массовые фальсификации: всех интересует результат, а не честность. Особняком в этом обобщении стоят ВУЗы, но они не могут повлиять на процедуру.

Главная беда ЕГЭ в том, что он несколько запоздал, т.к. исчез смысл переходного экзамена: в школе практически никого не задерживают (это бессмысленно) и практически все выпускники школ при желании поступают в ВУЗы, в том числе полуфиктивные. И не надо думать, что абитуриенты не сознают их реальный уровень.

В этих условиях нужно в корне пересматривать логику перехода со ступени общего образования на ступень профессионального. Тем более, что профессиональное образование находится на пороге кардинальных изменений. Снять проблему фиктивных баллов может только личная ответственность студента за свой выбор. Категорически и срочно нужна отмена лишнего возбудителя для мальчиков в виде призыва в армию. Армия– это отдельная тема, но как родитель служивого могу с уверенностью сказать, что это просто черная дыра. Закрыть ее может только контрактная служба.

Простейшим принципом ответственности может быть сквозное правило доступа к учебному курсу только тех, кто готов к нему. Критерий готовности определяет преподаватель или кафедра, в рамках которой этот курс проводится. Можно предусматривать негативную или позитивную оплату, в том числе, в виде государственных образовательных сертификатов: кто не осилил курс, попал на необходимость погашения стоимости.

Грустную логику, что незачем государству вмешиваться в отношения заказчика и подрядчика (учителя или образовательной организации), я уже неоднократно в соцсетях излагал. Тема «заказчика образования» в педагогических кругах, к сожалению, не обсуждается, хотя заслуживает серьезного внимания. Убежден, что отсутствие вменяемого адекватного заказчика образования и приводит к чехарде с оценкой качества: кто, как не заказчик, формирует критерии?

Нет вменяемого заказчика– нет вменяемых целей– нет вменяемых критериев.

Декларация в определении закона о следовании запросам населения не делает население заказчиком образования. Но и государство при этом давно перестало быть адекватным заказчиком: оно не в состоянии поставить задачу, оно не знает, что и когда ему нужно. В ранне-советское время было иначе– государство, действительно, выступало заказчиком: оно четко понимало, что ему нужно, четко ставило задачи и строго спрашивало за их исполнение. Сегодня ситуация заметно изменилась, но новые цели и задачи системы образования остались недоосмысленны, поэтому большинство процедурных особенностей просто унаследовано от устаревшей системы. Важно признать, что государство по инерции продолжает контролировать образование, но не знает, что с ним делать.

Я считаю, что пришло время пересмотреть всю систему образования, чтобы построить новую. Ключевым моментом новой системы должно стать осознание множественности заказчиков образования и необходимости передачи им функций формирования критериев оценки качества оказываемых им образовательных услуг. Государство должно определить свой минимум, необходимый для исполнения своих обязанностей. Важнейшее качество государственного управления в информационный век– умение управлять информацией, а не руками.

Мое предложение по новой системе образования доступно в сети.