Ну вот, теперь ознакомился с подходом из первоисточника. Многие вещи полностью совпадают с тем, как мы работаем: необходимость формулирования хороших вопросов в задании, необходимость аргументирования ответов на основе полученных данных, подход к написанию отчета (общие принципы), осторожность в выработке рекомендаций. Сами по себе оценочные шкалы считаю полезным изобретением в контексте оценки. Думаю, это пригодится нам.
Не совпадает:
1) Джейн исходит из более узкого определения оценки, чем очень многие другие (включая нас). Для нее вопросы на прояснение, скажем, механизма работы программы или того, в какой мере достигнуты цели программы и почему, не являются "оценочными". Хотя очень часто именно такого рода вопросы возникают у клиентов. Джейн - вслед за Скривеном - считает, что оценка - это аргументированное вынесение суждения о ценности или значимости программы. А мы вслед за Пэттоном считаем, что оценка - это аналитическая процедура, направленная на предоставление информации для принятия управленческих решений, касающихся программы (как ее настоящего, так и будущего).
Аргументация Джейн мне понятна. В принципе, я, может, и согласился бы даже, что наш жанр точнее называть оценочным консультированием (evaluation consulting) чем оценкой (evaluation).
2) Джейн считает, что любые подходы кроме оценочных шкал являются "свободными ассоциациями" по поводу вопросов задания. Понимаю, откуда это взялось. Согласен, что многие именно так отчеты пишут, и что это плохо. Не согласен, что только шкалы являются выходом. Если следовать хрестоматийной процедуре анализа данных "факты-интерпретации-выводы-рекомендации", то получается хороший результат и без шкал. Здесь Джейн не согласилась бы со мной, т.к. она оценку уже трактует (см. п.1.).
3) Джейн тратит каждый раз массу времени на формирование шкал, потому что без этого оценка не получится. Я считаю, что этот подход лучше применять выборочно и что шкалы нужны не всегда.
4) Я согласен с критиками шкал которые говорят о том, что эти шкалы не вполне корректны местами (they are not clean). Джейн отвечает им, что это lickert-thinking (мышление, зашоренное шкалами Ликерта), а она предлагает использовать evaluative thinking (настоящее оценочное мышление). Вот тут ее аргументация не вполне убедительна для меня. У шкал есть методологически слабые места - вне всякого сомнения.
За 5 долларов можно купить короткую электронную книжку Джейн Дэвидсон, где описана ее концепция. Красивый маркетинговый ход, кстати! И вообще Джейн - молодец. Изобрела свой подход к оценке, который для нее очень органичен и активно его продвигает по всему миру. В Новой Зеландии она де-факто со своими шкалами доминирует сегодня. Но я бы все же не стал говорить о всемирной "шкальной революции" (rubric revolution) в оценке программ.
Еще один полезный новый подход к оценке? Да!
Кардинально новое понимание того, как следует делать оценку? Нет.
PS О, оказалось, что это 100-я публикация в этом блоге :)
Не совпадает:
1) Джейн исходит из более узкого определения оценки, чем очень многие другие (включая нас). Для нее вопросы на прояснение, скажем, механизма работы программы или того, в какой мере достигнуты цели программы и почему, не являются "оценочными". Хотя очень часто именно такого рода вопросы возникают у клиентов. Джейн - вслед за Скривеном - считает, что оценка - это аргументированное вынесение суждения о ценности или значимости программы. А мы вслед за Пэттоном считаем, что оценка - это аналитическая процедура, направленная на предоставление информации для принятия управленческих решений, касающихся программы (как ее настоящего, так и будущего).
Аргументация Джейн мне понятна. В принципе, я, может, и согласился бы даже, что наш жанр точнее называть оценочным консультированием (evaluation consulting) чем оценкой (evaluation).
2) Джейн считает, что любые подходы кроме оценочных шкал являются "свободными ассоциациями" по поводу вопросов задания. Понимаю, откуда это взялось. Согласен, что многие именно так отчеты пишут, и что это плохо. Не согласен, что только шкалы являются выходом. Если следовать хрестоматийной процедуре анализа данных "факты-интерпретации-выводы-рекомендации", то получается хороший результат и без шкал. Здесь Джейн не согласилась бы со мной, т.к. она оценку уже трактует (см. п.1.).
3) Джейн тратит каждый раз массу времени на формирование шкал, потому что без этого оценка не получится. Я считаю, что этот подход лучше применять выборочно и что шкалы нужны не всегда.
4) Я согласен с критиками шкал которые говорят о том, что эти шкалы не вполне корректны местами (they are not clean). Джейн отвечает им, что это lickert-thinking (мышление, зашоренное шкалами Ликерта), а она предлагает использовать evaluative thinking (настоящее оценочное мышление). Вот тут ее аргументация не вполне убедительна для меня. У шкал есть методологически слабые места - вне всякого сомнения.
За 5 долларов можно купить короткую электронную книжку Джейн Дэвидсон, где описана ее концепция. Красивый маркетинговый ход, кстати! И вообще Джейн - молодец. Изобрела свой подход к оценке, который для нее очень органичен и активно его продвигает по всему миру. В Новой Зеландии она де-факто со своими шкалами доминирует сегодня. Но я бы все же не стал говорить о всемирной "шкальной революции" (rubric revolution) в оценке программ.
Еще один полезный новый подход к оценке? Да!
Кардинально новое понимание того, как следует делать оценку? Нет.
PS О, оказалось, что это 100-я публикация в этом блоге :)
Комментариев нет:
Отправить комментарий