среда, 30 ноября 2016 г.

Две статьи

В последнее время ко мне несколько раз обращались журналисты из различных изданий с вопросами об оценке проектов, программ и организаций. Наши беседы с ними были достаточно продолжительными от 30-40 минут до 1,5 часов. Как правило, из всего разговора журналист выбирает одно-два высказывания и включает их в свою статью наряду с мнениями других экспертов. Такой жанр. Я каждый раз стараюсь отвечать развернуто, чтобы помочь человеку разобраться в интересующем его вопросе. Результаты получаются очень разные. Чем это можно объяснить?
Вот, например, сегодня опубликована статья в "Ведомостях" (автор - Мария Подцероб). Название статьи: "Аршином не измеришь". Подзаголовок: "Компании все жестче оценивают результаты своих благотворительных программ и их бюджет. Но им приходится изощряться, чтобы измерить реальную социальную пользу от проекта". Сам факт такой публикации очень отраден! В статье много фактических данных, приводятся мнения более десятка экспертов, материал выстроен логично. Общее впечатление от статьи у меня сложилось хорошее. Но вот читаю собственные высказывания, и возникают вопросы:
"Большинство российских компаний проводят собственными силами лишь так называемую индикаторную оценку, говорит гендиректор компании «Процесс консалтинг» по оценке и мониторингу программ Алексей Кузьмин. Это довольно просто: компания выводит несколько простых индикаторов успеха вроде числа мероприятий и потом собирает статистику".
Сразу бросается в глаза странное описание нашей компании. Времени проверить текст у меня не было: он мне был отправлен в 13.55, а ответить надо было до 15.00. В это время я был на совещании и интернетом не пользовался. Я не говорил, что индикаторную оценку провести просто. Термин "индикаторы успеха" не использовал. Тем более, в сочетании со словом "простые". Там еще приводятся два моих высказывания, и оба тоже содержат неточности.
Интересно, другие эксперты, мнения которых приводятся в статье, тоже не вполне узнали то, что они говорили или это только меня касается? Если только меня, то, может, я так говорю, что журналист не может это пересказать?
Но вот есть для сравнения другая статья в журнале Филантроп (автор - Ольга Павлова). Название статьи: "Что ты хочешь узнать, зачем и кому это нужно": разговор с экспертами об оценке". Ну чудо что за название! Из продолжительного разговора с тремя экспертами автору действительно удалось выбрать ключевой содержательный момент. Все названия организаций написаны правильно (текст вообще я не согласовывал, кстати). Все без исключения высказывания, авторство которых приписывается мне, приведены точно. Готов подписаться. То есть здесь-то все получилось! Могу, значит? Небезнадёжен...
В любом случае читателям моего блога рекомендую обе статьи, если вдруг еще они вам не попадались. В "Ведомостях" то, что я сказал, пропустите :)

четверг, 24 ноября 2016 г.

Классика

Обнаружил сегодня в свободном доступе статью Майкла Скривена (Michael Scriven) от 1967 года, в которой он вводит понятия формирующей (formative) и  суммирующей (summative) оценки. Статья называется "Методология оценки" (The Methodology of Evaluation) и относится, в первую очередь, к сфере образования (точнее, к curriculum evaluation).  

воскресенье, 20 ноября 2016 г.

Проектирование. Конвергенция?

16 ноября Форум Доноров провел "круглый стол", где выступили участники недавних конференций в Атланте Ольга Евдокимова, Ирина Ефремова-Гарт, Наталья Кошелева и я. Идея была поделиться впечатлениями, поговорить о том, что показалось важным. Свое небольшое сообщение я назвал так: "Проектирование. Конвергенция?".
Дело в том, что тема конференции Американской ассоциации оценки включала разговор о связи проектирования (design) и оценки.  Вот как говорится об этом в описании темы конференции на сайте ассоциации: "Мы называем программами специально спланированные действия, которые предпринимаются организациями для улучшения социальной среды либо мира природы. Каждая программа включает фазу проектирования (дизайна), при этом специалисты по оценке пока не предложили систематического подхода к дизайну программ.
Следует ли нам это сделать? Сможем ли мы? Как этот подход будет выглядеть? Какую роль будут играть специалисты по оценке? Как оценка может быть встроена в программу с самого начала? Может ли дизайн быть ориентирован на устойчивое развитие? Что такое «образцовый дизайн» применительно к программам?".
В рамках обсуждения этой темы в Атланте выступали в числе прочих специалисты по дизайну продуктов. Мне кажется очень перспективным стремление американских коллег изучить опыт дизайна продуктов и инженерного проектирования, чтобы применить его в социальном проектировании (термин конвергенция в названии моего выступления относился именно к этому сближению). Вероятно, мне это особенно близко как бывшему инженеру. Уже в ближайшее время кое-что новое включу в наш курс по социальному проектированию. В том числе, в МГППУ.

среда, 2 ноября 2016 г.

Вспоминая Атланту

Конференция Evaluation'2016 уже стала воспоминанием. Возможно, в ноябре в Москве удастся провести обсуждение ее итогов со всеми, кому это будет интересно. Пока - в завершение репортажа - хотел бы поделиться несколькими фотографиями.
Участники конференции из нашего региона сразу после закрытия конференции. Слева направо: Камила Товбаева (Таджикистан), Наталья Кошелева, Ольга Евдокимова, Ирина Ефремова-Гарт, Алексей Кузьмин (все - Россия), Нино Саакашвили (Грузия).







Здание отеля, где проводилась конференция, изнутри впечатляет больше, чем снаружи.









Вид на Атланту с 43 этажа.

воскресенье, 30 октября 2016 г.

Конференция в Атланте завершилась

Утром был на сессии, где обсуждалась оценка деятельности фондов. Среди выступающих была Ирина Ефремова-Гарт, которая рассказала об исследовании культуры оценки в российских фондах. Отчет об этом исследовании доступен на сайте Форума Доноров. Выступление Ирины было очень достойным во всех отношениях - по содержанию, и по подаче. Мне показалось интересным еще одно выступление, где проводилась мета-оценка качества оценок международных программ в сфере здравоохранения. Авторы, в частности, обнаружили, что подавляющее большинство оценок проводится с использованием качественных методов (даже не смешанных!).

Вторая сессия проводилась командой специалистов, которые занимаются оценкой образовательных программ в структуре National Geographic. Они рассказывали об оценке чудесных фильмов, которые снимает NG, с точки зрения их обучающего эффекта. Потом было обсуждение возможных шагов по усилению этого эффекта. 

На третьей сессии, которую удалось посетить, шла речь об испjльзовании видео для оценки влияния по методике выявления наиболее значимых изменений (Most Significant Change). Мне вообще кажется очень перспективным использование фото и видео при проведении оценки, чего у нас в регионе практически никто не делает. 

После этого была пленарная сессия, где с заключительным словом выступил Джон Гаргани, потом результаты конференции обсудили четыре президента - 2014,16, 17 и 18 гг. Завершилась эта сессия выступлением нового президента АЕА Кэти Ньюкамер, которая объявила тему следующей конференции: научение и оценка (Learning and Evaluation). Конференция пройдет в Вашингтоне с 6 по 11 ноября 2017 года. 

суббота, 29 октября 2016 г.

Атланта. День 3.

Утром Майкл Пэттон рассказывал об оценке, основанной на принципах. Как всегда, много пищи для размышлений. Такая оценка подходит для динамичных ситуаций, когда все быстро меняется, и приходится программу по ходу дела формировать. Его книга выйдет летом 2017 года в издательстве Gilford Press. 600 страниц. 
Цитата из выступления гуру: "Когда вы сформулируете принцип, снимется вопрос о разделении процесса и результата". Этот так, к размышлению :) 

Потом была пленарная сессия, на которой четверо ветеранов говорили о том, о чем они считали нужным. Выступали (на фото - справа налево): Малика Самаранаяке (Шри Ланка), Роб Чамберс (Канада), Майкл Скривен (США),  и Стаффор Худ (США). Например, Майкл Скривен обратил внимание на то, что спустя 50 лет после выделения оценки как особой сферы профессиональной деятельности ни в смежных областях, ни в обществе в целом нет ясного понимания того, чем является оценка. И это при том, что, по мнению Скривена, оценка является "альфа-дисциплиной". Этот тезис зал встретил бурными аплодисментами.

На сессии по  использованию оценки для предсказания будущего выступали специалисты по работе с большими данными (big data) и малыми данными (small data). Рассказывали о том, что уже могут компьютеры и что они смогут в ближайшем будущем. 

После этого состоялся традиционный торжественный обед, на котором чествовали лауреатов премий, ежегодно присуждаемых ассоциацией. Это мероприятие тоже впечатляет своими масштабами (см. фото). Было очень приятно узнать, что премию за выдающийся вклад в практику оценки получила давняя моя знакомая Гейл Баррингтон из Канады. А за вклад в теорию оценки премию получил Марвин Алкин, который придумал "дерево теорий оценки". Всего премий - 8

После обеда был на сессии, где рассказывали о том, как систему оценки внедряют в Google. Естественно, демонстрировали некоторые инструменты, созданные на платформе Google Docs.  

В заключение послушал интересное сообщение про технологию анализа и визуализации данных, которая называется data placemats. Надо будет посмотреть об этом подробнее. Идея отличная! 

пятница, 28 октября 2016 г.

Атланта. Четверг.

Сегодня у нас с Натальей Кошелевой первое выступление состоялось в 7 утра! Мы думали, что не придет никто, и мы будем друг другу рассказывать. Но пришли четверо - к нашему огромному удивлению. Наталья рассказала о том, как была задумана и как развивалась программа поддержки партнерских инициатив между национальными ассоциациями в сфере оценки. Дело в том, что Наталья стояла у истоков этой программы и руководила этой программой. А я потом рассказал, как мы участвовали в этой программе и как повлиял дизайн программы на наше в ней участие. Презентация здесь

Вторая сессия, на которой я побывал, была посвящена провалам и неудачам в оценке. Вначале выступили четверо опытных специалистов, включая Майкла Пэттона. Потом народ из аудитории выступал. Надо отметить, что некоторые были весьма эмоциональны... Ну, тема такая. 

Далее была пленарная сессия, на которой выступала основательница компании, разрабатывающей технические устройства, облегчающие жизнь людей. Они профессионально занимаются инженерным проектированием в целях развития. 

На следующей сессии Партиция Роджерс и ее коллега из Австралии представляли свою новую разработку - руководство по оценке для менеджеров. Этот продукт уже доступен онлайн в тестовом режиме для пользователей сайта BetterEvaluation. Регистрация на сайте бесплатная. 
Там даже есть встроенная функция для разработки ТЗ на проведение оценки. Очевидно, что это руководство можно использовать и для обучения.

Было интересно узнать последние новости от группы, которая разрабатывает компетенции для специалистов по оценке в США. Там же выступила президент Европейской ассоциации оценки Рита Оксанен, которая рассказала об экспериментальном проекте по аттестации специалистов по оценке в Европе.

Потом я участвовал в сессии, посвященной тому, какой вклад может сделать оценка в дизайн программы. Вместе со мной выступали Майкл Бамбергер из США и Томаз Чианка из Бразилии. На этой сессии было очень много слушателей. Думаю, человек 70, не меньше. Моя презентация здесь.   

Дальше была сессия, на которой обсуждали, что происходит в сфере оценки в Индии, России и Китае. Оказалось, что очень много общего. Эта сессия транслировалась в онлайне.

В заключение послушал обсуждение насчет принципов. Это новая тема. Пэттон ее обозначил как "оценку, основанную на принципах". Весной выйдет его новая книга (600 страниц). Обещал прислать. 

По плану у меня еще одна сессия, где будут обсуждать планы работы тематической группы по дизайну программ. Что-то длинный день получился...