четверг, 16 ноября 2017 г.

По следам конференции Evaluation'2017: что не так с проектным менталитетом?

В записи от 12 ноября я привел следующую цитату из выступления Майкла Пэттона: "Проекты не ведут к трансформации до тех пор, пока доминирует проектный менталитет". По поводу этой цитаты закономерно появились вопросы: что он имел в виду?
История такова. Майкл говорит, что, когда они только начинали заниматься оценкой программ, то считали, что сущность оценки, главная ее задача - определить, в какой мере достигнуты цели программы. С такой установкой первые оценщики прибыли в программы. И тут обнаружилось, что во многих программах нет целей, а зачастую и программ как таковых нет. Причем народ по этому поводу не комплексует совершенно. Возникла дилемма: заставить людей описать программы так, чтобы специалисты по оценке могли их оценивать, или научиться оценивать деятельность, которая не является программой. Позже выяснилось, что для динамичных систем (с которыми мы часто имеем дело) традиционный проектный подход может применяться лишь с оговорками, т.к. необходима очень высокая степень адаптивности. Отсутствие программы как раз может быть признаком адаптивного подхода к осуществлению деятельности.
Приведенная выше цитата - о том, что упрощенное "линейное" представление о жизни ("проектный менталитет") может стать преградой к осуществлению изменений. 

воскресенье, 12 ноября 2017 г.

Evaluation'2017. День 4.

Накануне Майклу Пэттону была вручена одна из самых престижных премий Американской ассоциации оценки - за исследования в сфере оценки. На вручении премии Майкл сказал (привожу в оригинале): "For nearly 50 years I have been practicing, studying, teaching, and writing about evaluation. I've experienced and therefore come to see evaluation as a dynamic, ever-changing kaleidoscope refracting societal developments. Our kaleidoscope is constructed of interlocking lens made up of our diverse perspectives and contributions: a field of professional practice, scholarly inquiry as both discipline (body of knowledge) and transdiscipline, methodological eclecticism, useful technology, applied art, and evaluation as science. The research on evaluation possibilities are endless and ever-evolving. Engaging in research on evaluation is how we build our field forward ensuring that we stay useful and relevant, and thereby play our role in support of a better, more sustainable and more equitable world for all, the ultimate Blue Marble vision."

8 утра. Майкл Пэттон рассказывает о том, как на протяжении 4 десятилетий развивалось его видение оценки, как появлялись новые идеи, в каком направлении он сейчас движется. В этом году вышло три (!) его книги. Я спрашивал, как он умудряется столько писать. Он говорит, что надиктовывает на компьютер с программой распознавания речи. А потом правит. Получается очень быстро. В настоящее время он работает с несколькими соавторами над новой книгой, где представит новую концепцию Blue Marble Evaluation (оценка с учетом глобального контекста). Цитата из выступления: "Проекты не ведут к трансформации до тех пор, пока доминирует проектный менталитет". 

Патриция Роджерс и Джейн Дэвидсон устроили обсуждение способов повышения эффективности использования результатов оценки. На фото - то, что они предложили для "затравки". Народ обсуждал живо, но особенно далеко не продвинулись. По существу, все свелось к тому, на что готов заказчик оценки. Если он ориентирован на использование результатов, то можно много чего придумать. Если нет - мало что можно сделать. Мне вспомнился в связи с этим обсуждением наш недавний опыт работы с Норникелем. Там обсуждение результатов оценки было встроено в обсуждение стратегии программы, что, на мой взгляд, является оптимальным вариантом.

На следующей сессии познакомился с очень интересным проектом: принципы использования системного мышления в оценке программ. Разрабатывали около года по инициативе группы "Системы в оценке" (Systems in Evaluation). У них есть свой сайт. Там скоро появятся принципы. Пока публикую фото с краткими описаниями основных принципов. 

Представление окончательного проекта компетенций специалиста по оценке от Американской ассоциации оценки. К разработке привлечены серьезные силы. Работа идет третий год. Проанализировали все, что было сделано в мире в этой сфере. Провели десятки интервью, дюжину фокус-групп, анкетирование (1200 ответов). Теперь всё проанализируют и будут выносить на утверждение членами ассоциации. На фото - 5 групп компетенций.

На заключительном пленаре выступил руководитель большого проекта USAID в сфере здравоохранения. Говорил о том, что им нужна встроенная в программы оценка. На этом конференция завершилась. Едем домой с новыми мыслями и книгами (см.фото). 

Evaluation'2017. День 3.

Что мы узнали из исследований в сфере профессионализации оценки? Так называлась первая сессия, которая началась в 8 утра. На фото слева выступление Стюарта Доналдсона, бывшего президента Американской ассоциации оценки. Коллеги рассказали о двух исследованиях. В рамках одного из них была проведена оценка программы сертификации специалистов по оценке в Канаде. В рамках другого - опрос членов Американской ассоциации оценки. 
Полная и краткая версии отчета по канадской оценке есть на сайте Канадского общества оценки, которое выступило заказчиком. Исполнители работы отметили, что с таким заказчиком им ранее не приходилось работать: слишком хорошо разбирается в оценке :) Оценка показала, что система сертификации хорошо себя зарекомендовала в среде профессионалов, но про нее не особенно знают работодатели и заказчики оценки. В рекомендациях именно на это обращено внимание. Опрос членов американской ассоциации показал, что не все так просто с внедрением системы сертификации. Есть и "за", и "против". Идею выработки и утверждения компетенций специалиста по оценке поддержало большинство членов ассоциации. В обсуждении выступлений принял участие хорошо знакомый многим россиянам Джон Гаргани, бывший президент Американской ассоциации (правое фото).

После этого на большом пленарном заседании выступил
приглашенный профессор с сообщением о том, как работает мозг. Точнее, он говорил об исследованиях по восприятию и запоминанию информации. Рассказывал живо. Были интересные факты. Например, он сказал, что внимание человека во время презентации или урока можно удерживать только первые 10 минут. После этого катастрофически падает концентрация. Поэтому надо разбивать все выступление на 10-минутные блоки и каждый из них начинать с живой истории, которая может заинтересовать слушателей. Он также сказал, что, по результатам последних исследований, человек склонен вначале воспринимать смысл, а затем - детали. В самом начале презентации был слайд о том, что аудио- и видеосъемка строго запрещены (см. фото слева). Это подтверждает, что профессор серьезный бизнес делает на своих выступлениях.

На следующей сессии вновь избранный президент
Американской ассоциации оценки Тесси Катсамбас рассказывала о том, какие компетенции нужны для проведения Appreciative Evaluation (можно перевести как "понимающая оценка"). Это подход, в основе которого лежит ориентация на достижения, сильные стороны и возможности для развития. Важнейшим моментом при проведении такой оценки является глубокий эмоциональный контакт специалиста по оценке с представителями программы, которая оценивается.

Дальше был Майкл Пэттон с лекцией об оценке, ориентированной на принципы. Цитата: "Абсолютно критично сформировать принципы деятельности до начала действий". Один из важных вопросов: чем принципы отличаются от ценностей? Ответ Пэттона: принципы ориентированы на действие, а ценности отражают то, во что мы верим, наши убеждения. С этой точки зрения 10 заповедей - принципы, в основе которых лежат определенные ценности. Я об этом подходе уже писал ранее. Будем читать книгу.

Потом я пошел послушать про то, как наши американские коллеги собираются реализовывать EvalAgenda2020. Если перейти по этой ссылке, то вы увидите, что в создании глобальной повестки развития оценки до 2020 года самое активное участие принимала Наталья Кошелева в бытность президентом IOCE и со-председателем EvalPArtners. Американские коллеги продекларировали свою приверженность этой повестке и сказали, что будут действовать как ассоциация через программу EvalPartners. При этом они также поощряют прямые партнерские связи между местными отделениями американской ассоциации и организациями специалистов по оценке в других странах. На фото (слева направо) Кэти Ньюкамер (президент АЕА), Тесси Катсамбас (вновь избранный президент АЕА) и Синтия Клэпп-Винсек (представитель АЕА в IOCE).

Дальше была любопытная сессия под названием "Консультирование после 50", где очень опытный и успешный консультант из Канады Гейл Баррингтон рассказывала о том, как с минимальными потерями перейти от работы в большой компании к независимому консультированию. На сессию, в основном. пришли люди, которые как раз находятся на распутье и рассматривают возможность фри-ланса как вариант продолжения карьеры. Могу сказать, что проблемы, которые люди озвучивали, не выглядят специфичными исключительно для США.

На сессии "Учимся плыть против течения: уроки феминизма" выступили Донна Подемс (ЮАР, справа) и Майкл Пэттон (в центре). Сессию модерировала Светлана Негрустуева (слева) - сопредседатель группы феминистской оценки (feminist evaluation). На фото справа - 6 характеристик феминистской оценки.

Последняя сессия, на которую мне удалось попасть, называлась "Построение теорий изменений с учетом сложности и динамичности систем". На фото - 6 ключевых характеристик динамичных систем. Несколько интересных мыслей.
По ходу развития программа может претерпеть несколько качественных трансформаций, для каждой из которых надо строить свою теорию изменений. Для динамичных ситуаций, вероятно, имеет смысл строить теорию изменений в ретроспективе с опорой на приобретаемый опыт. Теория изменений - в том виде как она сегодня существует - не позволяет адекватно представить динамичную систему.

День завершился благотворительным аукционом, средства от которого идут на стипендии представителям развивающихся стран для посещения следующей конференции АЕА. На аукционе продаются различные вещицы, безвозмездно предоставленные участниками конференции.

пятница, 10 ноября 2017 г.

Evaluation'2017. День 2.

Конференции - помимо всего прочего - прекрасная возможность для развития и поддержания профессиональных связей. Со многими коллегами из разных стран я познакомился именно на конференциях. Особенно приятно встречать старых знакомых, конечно. В том числе, из ближнего зарубежья. Сегодня, например, пообщались с коллегами из Армении и Украины.

Открывающее сегодняшний день пленарное заседание было посвящено проекту Американской ассоциации оценки, основой которого являются диалоги о классовом, этническом и расовом неравенстве в американском обществе. Лидер проекта - профессор Мелвин Халл (Melvin Hall) из университета Северной Аризоны (на фото в центре). Вместе с ним на сессии выступили Дженифер Грин (слева) и Беверли Парсонс (справа). Миссия проекта заключается в том, чтобы отрефлексировать исторически сложившееся в американском обществе неравенство; найти адекватный формат для обсуждения этой проблемы; открыто говорить о ней; учитывать ее как один из важных факторов контекста, в котором проводится оценка и, в конечном итоге, предпринять практические шаги для ее решения. Как сказала во вступительном слове Дженифер Грин, "оценка программ - это процесс, в ходе которого общество познает себя" (это цитата из Кронбаха и др.). В диалогах участвуют специалисты по оценке, журналисты, лидеры сообществ. Диалоги проходя в формате панельной дискуссии. Всем участникам предлагается заранее ознакомиться с описанием некого кейса, а затем ответить на несколько вопросов. Главный из них: какая ответственность лежит на специалисте по оценке в данной ситуации? Полные видеозаписи диалогов доступны по указанной выше ссылке. 

На следующей сессии, которую я выбрал, обсуждали методы оценки в виртуальном мире. В частности, коллеги рассказали о том, как они оценивают онлайновые конференции. По словам выступающих, в США госструктуры переориентировались на проведение онлайновых мероприятий вместо очных встреч. Существуют специальные платформы, позволяющие проводить большие конференции в реальном времени с возможностью позже посмотреть записи любых выступлений. Расчеты подтверждают экономическую эффективность таких мероприятий по сравнению с традиционными несмотря на достаточно высокую стоимость программных решений. Меня больше всего впечатлили не столько методы оценки, сколько программные средства для проведения онлайновых конференций. Раньше как-то с этим не сталкивался. 

На следующей сессии мы встретились с президентом АСОПП Ириной Ефремовой-Гарт. Признаюсь, встреча не была для меня неожиданной, поскольку эта сессия была посвящена тому, как функция оценки развивалась в высших эшелонах власти США на протяжении длительного времени. К сожалению, аудитория не смогла вместить всех желающих посетить эту сессию. Пришлось стоять, поэтому записывать было неудобно. Поделюсь тем, что запомнилось. Двое выступавших рассказали, как все начиналось с оценки программы по борьбе с бедностью (War on Poverty) в США в середине прошлого века. Они в этом принимали непосредственное участие. С тех пор функция оценки присутствовала всегда - независимо от того, какую партию представлял президент США. В какой-то момент оценка государственных программ вошла в зону ответственности U.S. Government Accountability Office (GAO) (аналог нашей счетной палаты). Одна из тенденций, по мнению всех выступающих, - сокращение объема отчетов об оценке (с 300 страниц до максимум 20). Было отмечено, что и 20-страничные отчеты лица, принимающие решения, не читают. Им нужна очень сжатая информация, которую можно изложить за несколько минут. Говорили также о том, что методология проведения оценки развивалась и что у GAO много публикаций по методам оценки в открытом доступе. Это правда, мне попадались их публикации много раз.

Дальше я пошел послушать про практическое использование компьютерной программы SenseMaker. Об этой программе хорошо рассказывает Дэйв Сноуден К сожалению для меня, выступающие не особо распространялись относительно деталей работы с программой, а больше говорили о полученных эффектах. Эффекты впечатляют. Программа позволяет собирать и с помощью участников исследования интерпретировать большие объемы качественных данных. На рисунке - пример распределения ответов и история, относящаяся к одному из ответов. В данном случае участникам опроса предлагалось указать, что повлияло на их возможность заботиться о детях. Вершины треугольника - факторы, которые могли повлиять. Чем ближе точка к фактору, тем больше было его влияние, по мнению участников опроса. Тут надо дальше разбираться.

Заключительная на сегодня сессия была про использование методики Outcome Harvesting (здесь можно почитать её описание) для оценки результатов программы. Важная характеристика этой методики заключается в том, что оценка проводится не на основе сравнения результатов с поставленными целями, а на основании того, какие де-факто результаты достигнуты. В этом процессе активно участвуют исполнители программы и благополучатели. На этой сессии мне также показалось интересным, как можно изобразить теорию изменений графически (см. фото).

Я очень рассчитывал послушать выступление Майкла Скривена на тему "Природа оценки", К большому сожалению, гуру на сессию не пришел, и организаторы конференции не смогли его найти. Надеюсь, с ним все в порядке. 

четверг, 9 ноября 2017 г.

Evaluation'2017, день 1

Сегодня с утра был на семинаре по использованию инфографики в оценке. Было полезно.
Коллеги из небольшой консалтинговой фирмы "Магнолия" сделали список контрольных вопросов для разработки качественной инфографики и предложили соответствующую схему (см. рисунок слева).
Второй семинар был по анализу социальных сетей. На него я очень надеялся, но семинар получился неудачным. Ведущая обещала прислать всем ссылку на презентацию. Там была кое-какая полезная информация. Для анализа ведущая использовала программу UCINET, которую можно скачать бесплатно. С учетом того, что человек 30 занимается анализом социальных сетей, можно предположить, что программа удобная. Я пока не пробовал.

После этого состоялось открытие конференции в зале достаточно внушительных размеров .

Уже становится традицией приглашать на открытие конференции представителей коренных народов США, которые благословляют работу конференции по-своему. Песня была достаточно длинная. Спели от души. После этих ребят выступила группа, которая выступает за права бездомных. Они пели песни про социальную справедливость и читали стихи собственного сочинения.  Фрагмент песни - ниже. Начало похоже немного на "Не думай о секундах свысока..." :) Песня про то, как человека выселяют, и он остается без жилья и без прав. (оба видео - внизу).

После этого уже выступила президент Американской ассоциации оценки (АЕА) Кэти Ньюкамер. Она рассказала о том, какие есть барьеры на пути использования оценки для научения и что можно предпринять для преодоления этих барьеров. Она сказала, что государственные чиновники в США про оценку знают, но результаты оценки используют недостаточно эффективно. Особое внимание она уделила проблеме расизма и отсутствия толерантности по отношению к тем, кто отличается от большинства.

На следующей сессии трое выступающих во главе с Майклом Пэттоном рассказывала о практическом применении оценки, основанной на принципах (Principles Based Evaluation). Об этом смогу сообщить подробнее чуть позже, т.к. Майкл подарил свою новую книжку.  Она уже есть в продаже на Амазоне. Отмечу, что в этот раз параллельно проходят 50 сессий. Народ распределяется неравномерно. На Пэттона, как всегда, оказалось много желающих, а аудиторию дали совсем маленькую. В результате гуру сидел на полу в ожидании своей очереди выступить.

Завершающая сессия, на которой я выступал, была про компетенции специалистов по оценке. Короткие сообщения вместе со мной сделали коллеги из Канады, ЮАР, IOCE, Новой Зеландии. Мою презентацию можно посмотреть здесь. В ней ответы на 5 предложенных нам вопросов.

Завершился день стендовыми докладами (их оказалось под 300) и встречей с авторами книг по оценке, каждый из которых сидел за отдельным столом и беседовал со всеми желающими.



среда, 8 ноября 2017 г.

Конференция АЕА: масштабы мероприятия

Сегодня в Вашингтоне официально открывается очередная конференция Американской ассоциации оценки (American Evaluation Association / AEA). Организаторы говорят, что в этом году ожидается около 4200 участников. Впервые за все время существования АЕА число участников конференции превысит 4000 человек. Перед конференцией в течение трех дней проходят обучающие семинары. В понедельник и во вторник можно принять участие в двухдневных семинарах, во вторник и в среду есть однодневные семинары, а в среду еще и семинары по полдня (с 8 до 12 и с 12 до 15). Семинары также пройдут сразу после окончания конференции - в субботу. Общее число семинаров - 76. Тематика самая разнообразная - от введения в оценку до использования узко специализированных инструментов анализа данных. Сама конференция включает в этом году более 1000 сессий, на которых выступят не менее 2000 человек. Сегодня вечером - стендовые доклады (не менее 200). В ходе конференции будут также организованы встречи с авторами книг, благотворительный аукцион для сбора средств на travel grants для представителей развивающихся стран, встречи тематических групп по интересам. На протяжении всей конференции будут работать специализированные книжные магазины. Кроме того, пройдет торжественный обед, где будут вручены премии АЕА в нескольких номинациях. 
Постараюсь рассказывать ежедневно о самом интересном из того, что удастся увидеть и услышать.