пятница, 31 июля 2015 г.

Конференция в Чикаго

В этом году конференция Американской ассоциации оценки посвящена лучшему опыту, который имеется в мире. Естественно, это связано с Международным годом оценки. Конференция пройдет в Чикаго с 9 по 14 ноября. Вчера был открыт сайт конференции, и теперь можно посмотреть программу семинаров (до и после) и программу конференции.
В программе, как минимум, 5 выступлений с участием российских специалистов:
  1. 2547:Child-Friendly Evaluation Model: How Nonprofits Can Make Their Evaluation More Child-Focused? (Дарья Шамрова, Татьяна Подушкина, Анна Тихомирова)
  2. 2720:Moving Towards Exemplar Humanistic Evaluation: Experience in Establishing A New Way Of Thinking About Children’s Roles in Evaluation in Russia (Дарья Шамрова, Татьяна Подушкина)
  3. 1228:Using Critical Systems Heuristics to reflect upon adaptive evaluation consulting process (Боб Вильямс, Геннадий Подольный, Алексей Кузьмин)
  4. NPF2:Evaluation from the Inside Out: Foundation and Nonprofit Perspectives (Ирина Ефремова-Гарт)
  5. PD1:Evaluators’ roles in Program Design – Perspectives and Practice (Алексей Кузьмин, Ирина Ефремова-Гарт) 

среда, 29 июля 2015 г.

Оценка как вредная навязанная идея

На сайте Форума Доноров опубликовано небольшое интервью с Олегом Шарипковым - директором фонда местного сообщества в г.Пенза. На вопрос о том, следует ли фондам целевого капитала использовать оценку в своей работе, Олег ответил следующее:
"Оценку считаю чрезвычайно вредной, это навязанная идея. Появилось у нас много экспертов по оценке, которые кроме прочтения двух книг в жизни ничего больше не сделали и теперь разъезжают по России, надувая щеки. 90% этих экспертов – шарлатаны. Я считаю оценку вредной, никому не нужной кроме самих оценщиков и ведущих семинаров по оценке. Это навязанная идея, под которую «рубят бабло».
Интересно, кто и каким образом так "достал" Олега? Что за шарлатаны массово бороздят просторы нашей страны и "рубят бабло"? Еще один вопрос, который у меня возникает, связан с 10% экспертов, которые - по классификации Олега  - в число шарлатанов не входят. Будучи носителями вредной навязанной нам идеи они все равно, получается, относятся к "темным силам"?
Решил написать об этом, потому что достаточно давно знаю Олега и уважаю его как профессионала. Мнением такого человека пренебрегать не стоит. Вероятнее всего, в консерватории надо что-то поправлять, как говаривал классик.
Бросать заниматься оценкой пока не стану - надо вначале разобраться :)

среда, 22 июля 2015 г.

10 гуманистических принципов, лежащих в основе качественного исследования

В этом году вышло новое издание книги Майкла Пэттона по качественным методам:
Patton, M. Q. (2015) Qualitative research & evaluation methods: Integrating theory and practice (Fourth edition. ed.).

На стр.234 приводятся 10 гуманистических принципов, лежащих в основе качественного исследования (перевод мой):

  1. Каждый человек либо сообщество людей уникальны. 
  2. Каждый человек либо сообщество людей заслуживают уважения.
  3. Равенство, справедливость, уважение и взаимность должны составлять основу взаимодействия между людьми.
  4. Уважение и забота о других проявляются в том, чтобы лучше узнать и понять их, их взгляды, их мир. 
  5. Процессы изменений должны быть личностно-центрированными. Изменения должны планироваться с учетом возможных эффектов для реальных людей, имеющих свои уникальные потребности и интересы.  
  6. Эмоции и чувства являются естественными составляющими человеческой жизни и значимой частью живого опыта людей. 
  7. Агент изменений, психотерапевт, исследователь или специалист по оценке занимает непредвзятую уважительную позицию, принимает и поддерживает других в осуществлении их права самостоятельно принимать решения и жить в соответствии с их собственным выбором. Эмпатическая нейтральность как особая позиция характеризуется искренней глубокой заинтересованностью в опыте людей и их взглядах при сохранении нейтральности (непредвзятости) по отношению к содержанию.
  8. Людей и сообщества людей следует рассматривать и изучать как целое и в определенном контексте. 
  9. Процесс (то, как осуществляется деятельность) столь же важен, как и результаты. 
  10. Обмен информацией должен происходить открыто и честно как знак взаимного уважения как демонстрация прозрачности в качестве ценности.  

Мне кажется, это важное дополнение к нашему разговору о гуманистической оценке и о принципах оценки вообще. 

вторник, 21 июля 2015 г.

Качественные индикаторы

В публикациях по мониторингу программ и проектов на удивление широко распространено ошибочное мнение о том, что значения качественных индикаторов не являются числами. Чтобы не быть голословным, приведу фрагмент из текста ЮНИСЕФ (Детский фонд ООН), опубликованного на русском языке несколько лет тому назад.

"Качественные индикаторы можно определить как суждения и восприятие людей.
Например, число людей в деревне, у которых есть швейные машинки – это количественный индикатор, а уверенность в завтрашнем дне, которую дает этим людям обладание
швейной машинкой как инструментом финансовой независимости, – это качественный
индикатор. Обратите внимание, что индикаторы «качества жизни», с помощью которых,
например, измеряют здоровье, образование и занятость населения, часто путают с качественными индикаторами, так как в обоих случаях употребляется слово «качество».
На самом деле, для измерения здоровья, образования или других предметов можно использовать и качественные, и количественные индикаторы."

Ошибка авторов приведенного выше фрагмента текста состоит в том, что значения и количественных, и качественных индикаторов выражаются числами. Это одно из преимуществ использования индикаторов для оценки программ и проектов. Путаница, на мой взгляд. возникает из-за того, что смешиваются понятия "качественные данные" и "качественные индикаторы". Качественные данные действительно могут носить описательный характер и отражать мнения людей. Однако, когда речь идет о качественных индикаторах, то имеется в виду, что это индикаторы, отражающие качественные характеристики программы, но имеющие числовые значения. Качественные индикаторы не "выражаются в словах", как пишут авторы еще одной публикации, подготовленной ЦРНО из Санкт-Петербурга (см. стр.23). Кстати, в этой публикации практически целиком позаимствован вышеприведенный фрагмент текста ЮНИСЕФ (про швейные машинки), а ссылки на источник почему-то нет. Досадная небрежность уважаемой организации! И крайне неудачное заимствование.

Итак, в словах выражаются (могут выражаться) качественные данные. А качественные индикаторы ВСЕГДА выражаются в числах - как и количественные.

Например, повышение уверенности в завтрашнем дне может быть качественной характеристикой программы. При этом степень уверенности в завтрашнем дне действительно может быть индикатором, значение которого подсчитывается, скажем, как доля взрослых жителей деревни (в %), которые на вопрос о степени их уверенности в завтрашнем дне ответили "уверен" или "скорее уверен" (соответственно, еще два возможных варианта ответа - "не уверен" или "скорее не уверен").

суббота, 11 июля 2015 г.

"Из отчета о результатах оценки я не узнал ничего нового..."

Представим себе, что эту фразу произносит человек, который является основным пользователем (заказчиком) результатов оценки. О чем свидетельствует такая "обратная связь"? Следует ли специалисту по оценке в такой ситуации посыпать голову пеплом? Должен ли отчет о результатах оценки содержать новую для основных заинтересованных лиц информацию?