понедельник, 20 февраля 2017 г.

Этика исследований с привлечением людей

Люди, занимающиеся исследованиями с привлечением людей, ответственны за соблюдение прав, а также за сохранение психического и физического здоровья участников исследований. Естественно, большая часть ответственности за это лежит на самом исследователе. Однако, когда исследование проводится от имени (под эгидой) университета, последний также ответственен за соблюдение этических принципов. Именно поэтому в университетах появились т.н. "этические комитеты", которые рассматривают и утверждают каждое исследование, предполагающее привлечение людей, на предмет его этичности.

Еще лет 20 тому назад в России такой практики не было, и мы могли ссылаться лишь на зарубежный опыт. В частности, план моего исследования в рамках программы PhD в США ("Изучение факторов, влияющих на использование тренингов по оценке для развития потенциала оценки в организациях") рассматривался этическим комитетом моего университета. Подтверждая этичность исследования, соответствующий комитет утверждает еще и форму т.н. информированного согласия на участие в исследовании. В моём случае утверждались две формы, поскольку для участия в исследовании привлекались и люди, и организации. Соответственно, необходимо было выстроить исследование этично по отношению и к тем, и к другим.

Мне кажется очень правильным, что аналогичная практика в начале 21 века начала распространяться и в России. Уже есть целый ряд университетов, которые создали этические комитеты. По большей части, этические комитеты (в соответствии с действующей у нас нормативной-правовой базой, их называют локальными этическими комитетами) были созданы в российских медицинских университетах (например, в КГМУ, СЗГМУ, ОмГМУ), что неудивительно. Риски для здоровья людей, участвующих в медицинских исследованиях - вопрос серьезный. Кстати, говорят, что первый в России этический комитет был создан в 1987 году именно в медицинской отрасли - в республиканской больнице КарелАССР. Этические комитеты, занимающихся исследованиями в сфере социальных наук (психология, социология), в нашей стране пока встречаются не слишком часто. В качестве примеров можно привести СПбГУ и ТГУ. Надеюсь, в ближайшем будущем ситуация изменится в лучшую сторону. 

среда, 30 ноября 2016 г.

Две статьи

В последнее время ко мне несколько раз обращались журналисты из различных изданий с вопросами об оценке проектов, программ и организаций. Наши беседы с ними были достаточно продолжительными от 30-40 минут до 1,5 часов. Как правило, из всего разговора журналист выбирает одно-два высказывания и включает их в свою статью наряду с мнениями других экспертов. Такой жанр. Я каждый раз стараюсь отвечать развернуто, чтобы помочь человеку разобраться в интересующем его вопросе. Результаты получаются очень разные. Чем это можно объяснить?
Вот, например, сегодня опубликована статья в "Ведомостях" (автор - Мария Подцероб). Название статьи: "Аршином не измеришь". Подзаголовок: "Компании все жестче оценивают результаты своих благотворительных программ и их бюджет. Но им приходится изощряться, чтобы измерить реальную социальную пользу от проекта". Сам факт такой публикации очень отраден! В статье много фактических данных, приводятся мнения более десятка экспертов, материал выстроен логично. Общее впечатление от статьи у меня сложилось хорошее. Но вот читаю собственные высказывания, и возникают вопросы:
"Большинство российских компаний проводят собственными силами лишь так называемую индикаторную оценку, говорит гендиректор компании «Процесс консалтинг» по оценке и мониторингу программ Алексей Кузьмин. Это довольно просто: компания выводит несколько простых индикаторов успеха вроде числа мероприятий и потом собирает статистику".
Сразу бросается в глаза странное описание нашей компании. Времени проверить текст у меня не было: он мне был отправлен в 13.55, а ответить надо было до 15.00. В это время я был на совещании и интернетом не пользовался. Я не говорил, что индикаторную оценку провести просто. Термин "индикаторы успеха" не использовал. Тем более, в сочетании со словом "простые". Там еще приводятся два моих высказывания, и оба тоже содержат неточности.
Интересно, другие эксперты, мнения которых приводятся в статье, тоже не вполне узнали то, что они говорили или это только меня касается? Если только меня, то, может, я так говорю, что журналист не может это пересказать?
Но вот есть для сравнения другая статья в журнале Филантроп (автор - Ольга Павлова). Название статьи: "Что ты хочешь узнать, зачем и кому это нужно": разговор с экспертами об оценке". Ну чудо что за название! Из продолжительного разговора с тремя экспертами автору действительно удалось выбрать ключевой содержательный момент. Все названия организаций написаны правильно (текст вообще я не согласовывал, кстати). Все без исключения высказывания, авторство которых приписывается мне, приведены точно. Готов подписаться. То есть здесь-то все получилось! Могу, значит? Небезнадёжен...
В любом случае читателям моего блога рекомендую обе статьи, если вдруг еще они вам не попадались. В "Ведомостях" то, что я сказал, пропустите :)

четверг, 24 ноября 2016 г.

Классика

Обнаружил сегодня в свободном доступе статью Майкла Скривена (Michael Scriven) от 1967 года, в которой он вводит понятия формирующей (formative) и  суммирующей (summative) оценки. Статья называется "Методология оценки" (The Methodology of Evaluation) и относится, в первую очередь, к сфере образования (точнее, к curriculum evaluation).  

воскресенье, 20 ноября 2016 г.

Проектирование. Конвергенция?

16 ноября Форум Доноров провел "круглый стол", где выступили участники недавних конференций в Атланте Ольга Евдокимова, Ирина Ефремова-Гарт, Наталья Кошелева и я. Идея была поделиться впечатлениями, поговорить о том, что показалось важным. Свое небольшое сообщение я назвал так: "Проектирование. Конвергенция?".
Дело в том, что тема конференции Американской ассоциации оценки включала разговор о связи проектирования (design) и оценки.  Вот как говорится об этом в описании темы конференции на сайте ассоциации: "Мы называем программами специально спланированные действия, которые предпринимаются организациями для улучшения социальной среды либо мира природы. Каждая программа включает фазу проектирования (дизайна), при этом специалисты по оценке пока не предложили систематического подхода к дизайну программ.
Следует ли нам это сделать? Сможем ли мы? Как этот подход будет выглядеть? Какую роль будут играть специалисты по оценке? Как оценка может быть встроена в программу с самого начала? Может ли дизайн быть ориентирован на устойчивое развитие? Что такое «образцовый дизайн» применительно к программам?".
В рамках обсуждения этой темы в Атланте выступали в числе прочих специалисты по дизайну продуктов. Мне кажется очень перспективным стремление американских коллег изучить опыт дизайна продуктов и инженерного проектирования, чтобы применить его в социальном проектировании (термин конвергенция в названии моего выступления относился именно к этому сближению). Вероятно, мне это особенно близко как бывшему инженеру. Уже в ближайшее время кое-что новое включу в наш курс по социальному проектированию. В том числе, в МГППУ.

среда, 2 ноября 2016 г.

Вспоминая Атланту

Конференция Evaluation'2016 уже стала воспоминанием. Возможно, в ноябре в Москве удастся провести обсуждение ее итогов со всеми, кому это будет интересно. Пока - в завершение репортажа - хотел бы поделиться несколькими фотографиями.
Участники конференции из нашего региона сразу после закрытия конференции. Слева направо: Камила Товбаева (Таджикистан), Наталья Кошелева, Ольга Евдокимова, Ирина Ефремова-Гарт, Алексей Кузьмин (все - Россия), Нино Саакашвили (Грузия).







Здание отеля, где проводилась конференция, изнутри впечатляет больше, чем снаружи.









Вид на Атланту с 43 этажа.

воскресенье, 30 октября 2016 г.

Конференция в Атланте завершилась

Утром был на сессии, где обсуждалась оценка деятельности фондов. Среди выступающих была Ирина Ефремова-Гарт, которая рассказала об исследовании культуры оценки в российских фондах. Отчет об этом исследовании доступен на сайте Форума Доноров. Выступление Ирины было очень достойным во всех отношениях - по содержанию, и по подаче. Мне показалось интересным еще одно выступление, где проводилась мета-оценка качества оценок международных программ в сфере здравоохранения. Авторы, в частности, обнаружили, что подавляющее большинство оценок проводится с использованием качественных методов (даже не смешанных!).

Вторая сессия проводилась командой специалистов, которые занимаются оценкой образовательных программ в структуре National Geographic. Они рассказывали об оценке чудесных фильмов, которые снимает NG, с точки зрения их обучающего эффекта. Потом было обсуждение возможных шагов по усилению этого эффекта. 

На третьей сессии, которую удалось посетить, шла речь об испjльзовании видео для оценки влияния по методике выявления наиболее значимых изменений (Most Significant Change). Мне вообще кажется очень перспективным использование фото и видео при проведении оценки, чего у нас в регионе практически никто не делает. 

После этого была пленарная сессия, где с заключительным словом выступил Джон Гаргани, потом результаты конференции обсудили четыре президента - 2014,16, 17 и 18 гг. Завершилась эта сессия выступлением нового президента АЕА Кэти Ньюкамер, которая объявила тему следующей конференции: научение и оценка (Learning and Evaluation). Конференция пройдет в Вашингтоне с 6 по 11 ноября 2017 года. 

суббота, 29 октября 2016 г.

Атланта. День 3.

Утром Майкл Пэттон рассказывал об оценке, основанной на принципах. Как всегда, много пищи для размышлений. Такая оценка подходит для динамичных ситуаций, когда все быстро меняется, и приходится программу по ходу дела формировать. Его книга выйдет летом 2017 года в издательстве Gilford Press. 600 страниц. 
Цитата из выступления гуру: "Когда вы сформулируете принцип, снимется вопрос о разделении процесса и результата". Этот так, к размышлению :) 

Потом была пленарная сессия, на которой четверо ветеранов говорили о том, о чем они считали нужным. Выступали (на фото - справа налево): Малика Самаранаяке (Шри Ланка), Роб Чамберс (Канада), Майкл Скривен (США),  и Стаффор Худ (США). Например, Майкл Скривен обратил внимание на то, что спустя 50 лет после выделения оценки как особой сферы профессиональной деятельности ни в смежных областях, ни в обществе в целом нет ясного понимания того, чем является оценка. И это при том, что, по мнению Скривена, оценка является "альфа-дисциплиной". Этот тезис зал встретил бурными аплодисментами.

На сессии по  использованию оценки для предсказания будущего выступали специалисты по работе с большими данными (big data) и малыми данными (small data). Рассказывали о том, что уже могут компьютеры и что они смогут в ближайшем будущем. 

После этого состоялся традиционный торжественный обед, на котором чествовали лауреатов премий, ежегодно присуждаемых ассоциацией. Это мероприятие тоже впечатляет своими масштабами (см. фото). Было очень приятно узнать, что премию за выдающийся вклад в практику оценки получила давняя моя знакомая Гейл Баррингтон из Канады. А за вклад в теорию оценки премию получил Марвин Алкин, который придумал "дерево теорий оценки". Всего премий - 8

После обеда был на сессии, где рассказывали о том, как систему оценки внедряют в Google. Естественно, демонстрировали некоторые инструменты, созданные на платформе Google Docs.  

В заключение послушал интересное сообщение про технологию анализа и визуализации данных, которая называется data placemats. Надо будет посмотреть об этом подробнее. Идея отличная!