воскресенье, 30 октября 2016 г.

Конференция в Атланте завершилась

Утром был на сессии, где обсуждалась оценка деятельности фондов. Среди выступающих была Ирина Ефремова-Гарт, которая рассказала об исследовании культуры оценки в российских фондах. Отчет об этом исследовании доступен на сайте Форума Доноров. Выступление Ирины было очень достойным во всех отношениях - по содержанию, и по подаче. Мне показалось интересным еще одно выступление, где проводилась мета-оценка качества оценок международных программ в сфере здравоохранения. Авторы, в частности, обнаружили, что подавляющее большинство оценок проводится с использованием качественных методов (даже не смешанных!).

Вторая сессия проводилась командой специалистов, которые занимаются оценкой образовательных программ в структуре National Geographic. Они рассказывали об оценке чудесных фильмов, которые снимает NG, с точки зрения их обучающего эффекта. Потом было обсуждение возможных шагов по усилению этого эффекта. 

На третьей сессии, которую удалось посетить, шла речь об испjльзовании видео для оценки влияния по методике выявления наиболее значимых изменений (Most Significant Change). Мне вообще кажется очень перспективным использование фото и видео при проведении оценки, чего у нас в регионе практически никто не делает. 

После этого была пленарная сессия, где с заключительным словом выступил Джон Гаргани, потом результаты конференции обсудили четыре президента - 2014,16, 17 и 18 гг. Завершилась эта сессия выступлением нового президента АЕА Кэти Ньюкамер, которая объявила тему следующей конференции: научение и оценка (Learning and Evaluation). Конференция пройдет в Вашингтоне с 6 по 11 ноября 2017 года. 

суббота, 29 октября 2016 г.

Атланта. День 3.

Утром Майкл Пэттон рассказывал об оценке, основанной на принципах. Как всегда, много пищи для размышлений. Такая оценка подходит для динамичных ситуаций, когда все быстро меняется, и приходится программу по ходу дела формировать. Его книга выйдет летом 2017 года в издательстве Gilford Press. 600 страниц. 
Цитата из выступления гуру: "Когда вы сформулируете принцип, снимется вопрос о разделении процесса и результата". Этот так, к размышлению :) 

Потом была пленарная сессия, на которой четверо ветеранов говорили о том, о чем они считали нужным. Выступали (на фото - справа налево): Малика Самаранаяке (Шри Ланка), Роб Чамберс (Канада), Майкл Скривен (США),  и Стаффор Худ (США). Например, Майкл Скривен обратил внимание на то, что спустя 50 лет после выделения оценки как особой сферы профессиональной деятельности ни в смежных областях, ни в обществе в целом нет ясного понимания того, чем является оценка. И это при том, что, по мнению Скривена, оценка является "альфа-дисциплиной". Этот тезис зал встретил бурными аплодисментами.

На сессии по  использованию оценки для предсказания будущего выступали специалисты по работе с большими данными (big data) и малыми данными (small data). Рассказывали о том, что уже могут компьютеры и что они смогут в ближайшем будущем. 

После этого состоялся традиционный торжественный обед, на котором чествовали лауреатов премий, ежегодно присуждаемых ассоциацией. Это мероприятие тоже впечатляет своими масштабами (см. фото). Было очень приятно узнать, что премию за выдающийся вклад в практику оценки получила давняя моя знакомая Гейл Баррингтон из Канады. А за вклад в теорию оценки премию получил Марвин Алкин, который придумал "дерево теорий оценки". Всего премий - 8

После обеда был на сессии, где рассказывали о том, как систему оценки внедряют в Google. Естественно, демонстрировали некоторые инструменты, созданные на платформе Google Docs.  

В заключение послушал интересное сообщение про технологию анализа и визуализации данных, которая называется data placemats. Надо будет посмотреть об этом подробнее. Идея отличная! 

пятница, 28 октября 2016 г.

Атланта. Четверг.

Сегодня у нас с Натальей Кошелевой первое выступление состоялось в 7 утра! Мы думали, что не придет никто, и мы будем друг другу рассказывать. Но пришли четверо - к нашему огромному удивлению. Наталья рассказала о том, как была задумана и как развивалась программа поддержки партнерских инициатив между национальными ассоциациями в сфере оценки. Дело в том, что Наталья стояла у истоков этой программы и руководила этой программой. А я потом рассказал, как мы участвовали в этой программе и как повлиял дизайн программы на наше в ней участие. Презентация здесь

Вторая сессия, на которой я побывал, была посвящена провалам и неудачам в оценке. Вначале выступили четверо опытных специалистов, включая Майкла Пэттона. Потом народ из аудитории выступал. Надо отметить, что некоторые были весьма эмоциональны... Ну, тема такая. 

Далее была пленарная сессия, на которой выступала основательница компании, разрабатывающей технические устройства, облегчающие жизнь людей. Они профессионально занимаются инженерным проектированием в целях развития. 

На следующей сессии Партиция Роджерс и ее коллега из Австралии представляли свою новую разработку - руководство по оценке для менеджеров. Этот продукт уже доступен онлайн в тестовом режиме для пользователей сайта BetterEvaluation. Регистрация на сайте бесплатная. 
Там даже есть встроенная функция для разработки ТЗ на проведение оценки. Очевидно, что это руководство можно использовать и для обучения.

Было интересно узнать последние новости от группы, которая разрабатывает компетенции для специалистов по оценке в США. Там же выступила президент Европейской ассоциации оценки Рита Оксанен, которая рассказала об экспериментальном проекте по аттестации специалистов по оценке в Европе.

Потом я участвовал в сессии, посвященной тому, какой вклад может сделать оценка в дизайн программы. Вместе со мной выступали Майкл Бамбергер из США и Томаз Чианка из Бразилии. На этой сессии было очень много слушателей. Думаю, человек 70, не меньше. Моя презентация здесь.   

Дальше была сессия, на которой обсуждали, что происходит в сфере оценки в Индии, России и Китае. Оказалось, что очень много общего. Эта сессия транслировалась в онлайне.

В заключение послушал обсуждение насчет принципов. Это новая тема. Пэттон ее обозначил как "оценку, основанную на принципах". Весной выйдет его новая книга (600 страниц). Обещал прислать. 

По плану у меня еще одна сессия, где будут обсуждать планы работы тематической группы по дизайну программ. Что-то длинный день получился... 

четверг, 27 октября 2016 г.

Атланта: открытие конференции и первые сессии

Конференция открылась. 3500 участников, 900 выступлений.
Для начала представители индейского племени чероки (из числа членов Американской ассоциации, оба - PhD) прочли молитву и сыграли национальную музыку, подобающую случаю.
Далее блестяще выступил президент Американской ассоциации оценки Джон Гаргани. Многие слышали его выступления в Москве в прошлом году и стиль его выступлений представляют. Так вот, на этот раз он превзошел себя! Было все: и юмор, и отличные слайды, и вполне серьезные рассуждения о теме конференции "Оценка + дизайн". Если я правильно понимаю, была трансляция в онлайне. Через некоторое время будет и полная запись доступна.

После этого начались параллельные сессии. Я сходил к Майклу Пэттону на сессию, посвященную тому, как специалисты по оценке могут в большей мере взять на себя ответственность за решение задач планетарного масштаба (борьба с голодом, миротворчество, предотвращение торговли людьми и т.д.). Проводилась эта сессия в интерактивной форме, было о чем поговорить и подумать. Описать все это сейчас не смогу. Отмечу, что спонсором этого и других подобных мероприятий является фонд "Быстрее вперед" (Faster Forward Foundation), созданный специально для развития практики и теории оценки.  

среда, 26 октября 2016 г.

Оценка сотрудничества - новости из Атланты

С утра сегодня был на семинаре по оценке сотрудничества между организациями (здесь описание по-английски  Evaluating Organizational Collaboration and Networks ). Тема важная. Нас довольно часто просят (в числе прочего) оценить развитие взаимодействия между организациями. Семинар понравился. Интенсивно (три часа всего) и содержательно. В очередной раз обращаю внимание на то, какая может быть узкая специализация у наших американских коллег. Проводившая семинар Ребекка Вудланд в начале 2000 защитилась по этой теме (PhD) и с тех пор продолжает ее развивать: разрабатывает методики, пишет статьи, проводит семинары, оказывает консультационные услуги. И все это в сфере оценки сотрудничества между организациями! 

Выделю два момента, которые мне показались интересными.
 
5 принципов (принципами это назвала г-жа Вудланд) сотрудничества: 
- Общность цели
- Сотрудничают люди (не "организации"!)
- Сотрудничество предполагает развитие социальной сети 
- Сотрудничество в своем развитии проходит ряд предсказуемых стадий
- Уровни интеграции ("совместности") могут быть разными. Существует оптимальный уровень, зависящий от общей цели.

5 шагов по оценке сотрудничества: 
- Операционализировать понятие "сотрудничество". 
- Сформировать "карту" изучаемого сообщества.
- Отслеживать стадии развития сотрудничества.
- Оценить уровни интеграции.
- Оценить происходящии в рамках сотрудничества процессы. 

Презентацию с семинара можно скачать здесь.  

Через 2 часа - официальное открытие конференции и очень насыщенная программа - до 9 вечера. Последние 2 часа - стендовые доклады.

вторник, 25 октября 2016 г.

Завтра открывается конференция АЕА в Атланте

Завтра во второй половине дня официально открывается ежегодная конференция Американской ассоциации оценки в Атланте. Вчера, сегодня и завтра с утра проходят обучающие семинары. Скорее всего, на конференции будет около 3-3,5 тыс. участников, которые сделают порядка 1000 сообщений. Продолжительность сессий - 45 минут и 90 минут. Приходится выбирать тщательно и заранее. Выбор не становится от этого легче... Вначале выбираю по именам выступающих: надо послушать нескольких коллег, мнение которых для меня важно. После этого выбираю по тематике. Тут главное не "купиться" на название и внимательно прочесть описание сессии. В программе конференции выступления Ирины Ефремовой-Гарт, Натальи Кошелевой и мои. Про выступления других россиян не знаю пока. Постараюсь ежедневно писать здесь о том, что мне покажется особенно интересным. 

вторник, 18 октября 2016 г.

С людьми советуйся, а своего ума не теряй!

Дорогие друзья, количество откликов на опрос про пословицы превзошло все мои ожидания! На данный момент у нас уже 64 ответа, и, полагаю, голосование можно закрыть, т.к. есть 3 пословицы, которым явно отдано предпочтение.

Вот табличка с результатами голосования (в лучших традициях открытых данных):
 
А вот пословицы-победители:

Всем участникам опроса большое спасибо! Как мне кажется, мы сделали большой вклад в развитие оценки именно в русскоязычном пространстве :) 

PS  В Турине результаты были такими же. 

воскресенье, 16 октября 2016 г.

Викторина про оценку

В конце семинара по мониторингу и оценке программ развития в международном учебном центре МОТ в Турине у меня впервые появилась возможность использовать технологию, с которой раньше был знаком только по ток-шоу на телевидении. Организаторы семинара предложили разработать и провести итоговую викторину для участников. С помощью специальной программы вопросы и ответы (на русском) размещались на экране, потом открывалось голосование, и участники с помощью маленьких пультов должны были выбрать один из ответов. Результаты такого "голосования" выводились на большой экран, и мы их кратко обсуждали. Прошло отлично. Очень хороший вариант завершения обучения!
Всего вопросов было 15. В последнем вопросе я предложил участникам выбрать пословицу, которая полезнее всего при проведении оценки. Предлагаю гостям этого блога принять участие в аналогичном опросе. Голосование будет открыто до вечера 19 октября. 20-го опубликую результаты и сравним их с тем, что получилось у нас в Турине (в той группе были участники из Армении, Беларуси, Болгарии, Кыргызстана и Швеции).  
ПЕРЕЙТИ К ОПРОСУ  - там один вопрос с несколькими вариантами ответов :)

среда, 12 октября 2016 г.

Индикаторная оценка: интересные дискуссии

Продолжается семинар в Турине. Как всегда, интересные (и оживленные!) дискуссии возникают вокруг следующих вопросов: 
  • Чем мониторинг отличается от оценки?
  • Могут ли значения качественных индикаторов быть выражены в числах?
  • Как перейти от реальности (жизнь как она есть) к модели при формировании системы индикаторной оценки? 
  • Как быть, если нет базовых значений индикаторов? 
  • Можно ли корректировать систему индикаторов по ходу программы?
  • Как быть с нежеланием людей принять систему показателей и отчитываться по ней?
  • Что делать с возможным манипулированием значениями показателей?
В очередной раз убеждаюсь, что масса проблем, связанных с показателями, вызвана некорректным подходом к разработке этих самых показателей и построению системы индикаторной оценки в целом. Участники привели много примеров такого рода. 

... И любуюсь горами, что совсем рядом. 

понедельник, 10 октября 2016 г.

Налево пойдешь...

Вопрос: где нужно находиться, чтобы путь в Европу был прямо, в Америку - налево, а в Азию с Африкой - направо? 

Правильный ответ: на территории Международного учебного центра Международной организации труда в Турине. Тут корпуса называются по частям света. 

Как учесть интересы участников семинара

Продолжается наше сотрудничество с Международным тренинговым центром ILO в Турине. Сегодня начинаем семинар по оценке на русском языке. Объявление о нем проходило по рассылке АСОПП. Проанализировал состав группы и обнаружил, что, как это часто бывает, участники имеют разное отношение к оценке в силу своих должностных обязанностей. Попробуем, конечно, выяснить и учесть разные ожидания. 

суббота, 8 октября 2016 г.

Завершена конференция АСОПП в Новосибирске

Вчера завершилась конференция АСОПП в Новосибирске. Количество участников было существенно меньше, чем в прошлом году в Москве (всего около 35 человек). Тому, как мне кажется, есть две основные причины: (1) в Новосибирске меньше людей, заинтересованных в оценке настолько, чтобы оплатить регистрационный взнос за участие в конференции; (2) в прошлом году добрая половина участников конференции представляла сообщество специалистов по оценке в сфере детства. Их участие в конференции было поддержано Фондом Тимченко. Относительная немногочисленность участников никак не сказалась на качестве выступлений и дискуссий. Все без исключения выступления были хорошо подготовленными и содержательными. Мне только очень жаль, что не смогла приехать Татьяна Макарова из Тольятти, которая традиционно выступает с очень интересными сообщениями о своем опыте работы с экспертами. Надеюсь, в следующем году Татьяна к нам вновь присоединится. 
Вчера мы с Мариной Михайловой впервые рассказали о результатах работы, которую с Центром "Гарант" (Архангельск) ведем на протяжении уже нескольких месяцев. Тема: "Формирование и оценка попечительских советов НКО". 18-19 октября в Архангельске состоится семинар, где мы подробно расскажем обо всем и представим книгу (ее публикация запланирована на весну 2017 года). Книга будет доступна в онлайне. Пока предлагаю нашу вчерашнюю презентацию.   

пятница, 7 октября 2016 г.

В Новосибирске - снег

Конференция АСОПП в Новосибирске продолжается. Вчерашний день был насыщен очень интересными выступлениями и дискуссиями. Досадно, что нет возможности послушать все сообщения. 

Я вчера рассказывал о подходах к оценке влияния программ. Поделился опытом исследования влияния музейной программы Фонда Потанина. В ближайшее время мы вместе с Фондом планируем представить результаты этого исследования. Пока можно ознакомиться с краткой версией здесь.   

Сегодня утром выпал снег, но времени смотреть в окно нет. Через 10 минут начинаются утренние сессии...  

среда, 5 октября 2016 г.

АСОПП-2016: семинары завершены

Сегодня в Новосибирске прошли предконференционные семинары. На семинаре по системному мышлению в проектировании и оценке было несколько интересных обсуждений. В частности, мы затрагивали следующие вопросы: 
- Каждый ли может принять, понять и по-настоящему освоить такой стиль мышления? Всем ли это дано? 
- Что вообще означает на практике такой стиль мышления?
- Не слишком ли "накладно" будет все это внедрять в условиях кризиса, когда денег и так хронически не хватает? 
- Нужно ли рассказывать о системном мышлении людям, которые пока не освоили как следует логические модели? 
Ход обсуждений я не фиксировал, естественно. Гости моего блога могут подумать над тем, как бы они ответили на эти вопросы. С презентацией можно познакомиться здесь (около 9 Мб).    

вторник, 4 октября 2016 г.

Конференция АСОПП-2016: завтра - семинары

Завтра пройдут семинары перед конференцией. Я буду проводить семинар по использованию системного мышления в проектировании и оценке программ. По сравнению с прошлым годом логика и содержание семинара существенно переработаны. Надеюсь, получится и интереснее, и полезнее для участников. 
Пока - цитата из одной любопытной книжки:
"Мы творим собственное будущее мелкими, незначительными ежедневными поступками, и только позднее узнаем, что какие-то решения определили всю последующую жизнь". 
Джозеф О'Коннор, Иан Макдермотт «Искусство системного мышления. Необходимые знания о системах и творческом подходе к решению проблем» 

суббота, 1 октября 2016 г.

ITC ILO - технологии

В предыдущей публикации об организации семинара в учебном центре Международной организации труда в Турине забыл упомянуть одну важную деталь. Каждый участник на период обучения получает в распоряжение iPad. С учетом того, что есть специальная интернет-страничка семинара с разными ресурсами + отличный WiFi, это очень удобно. Мне кажется, отличная идея! Планшетные компьютеры сегодня не такие уж дорогие. 
А вот и наша группа...