По следам конференции Evaluation'2017: что не так с проектным менталитетом?

В записи от 12 ноября я привел следующую цитату из выступления Майкла Пэттона: "Проекты не ведут к трансформации до тех пор, пока доминирует проектный менталитет". По поводу этой цитаты закономерно появились вопросы: что он имел в виду?
История такова. Майкл говорит, что, когда они только начинали заниматься оценкой программ, то считали, что сущность оценки, главная ее задача - определить, в какой мере достигнуты цели программы. С такой установкой первые оценщики прибыли в программы. И тут обнаружилось, что во многих программах нет целей, а зачастую и программ как таковых нет. Причем народ по этому поводу не комплексует совершенно. Возникла дилемма: заставить людей описать программы так, чтобы специалисты по оценке могли их оценивать, или научиться оценивать деятельность, которая не является программой. Позже выяснилось, что для динамичных систем (с которыми мы часто имеем дело) традиционный проектный подход может применяться лишь с оговорками, т.к. необходима очень высокая степень адаптивности. Отсутствие программы как раз может быть признаком адаптивного подхода к осуществлению деятельности.
Приведенная выше цитата - о том, что упрощенное "линейное" представление о жизни ("проектный менталитет") может стать преградой к осуществлению изменений. 

Evaluation'2017. День 4.

Накануне Майклу Пэттону была вручена одна из самых престижных премий Американской ассоциации оценки - за исследования в сфере оценки. На вручении премии Майкл сказал (привожу в оригинале): "For nearly 50 years I have been practicing, studying, teaching, and writing about evaluation. I've experienced and therefore come to see evaluation as a dynamic, ever-changing kaleidoscope refracting societal developments. Our kaleidoscope is constructed of interlocking lens made up of our diverse perspectives and contributions: a field of professional practice, scholarly inquiry as both discipline (body of knowledge) and transdiscipline, methodological eclecticism, useful technology, applied art, and evaluation as science. The research on evaluation possibilities are endless and ever-evolving. Engaging in research on evaluation is how we build our field forward ensuring that we stay useful and relevant, and thereby play our role in support of a better, more sustainable and more equitable world for all, the ultimate Blue Marble vision."

8 утра. Майкл Пэттон рассказывает о том, как на протяжении 4 десятилетий развивалось его видение оценки, как появлялись новые идеи, в каком направлении он сейчас движется. В этом году вышло три (!) его книги. Я спрашивал, как он умудряется столько писать. Он говорит, что надиктовывает на компьютер с программой распознавания речи. А потом правит. Получается очень быстро. В настоящее время он работает с несколькими соавторами над новой книгой, где представит новую концепцию Blue Marble Evaluation (оценка с учетом глобального контекста). Цитата из выступления: "Проекты не ведут к трансформации до тех пор, пока доминирует проектный менталитет". 

Патриция Роджерс и Джейн Дэвидсон устроили обсуждение способов повышения эффективности использования результатов оценки. На фото - то, что они предложили для "затравки". Народ обсуждал живо, но особенно далеко не продвинулись. По существу, все свелось к тому, на что готов заказчик оценки. Если он ориентирован на использование результатов, то можно много чего придумать. Если нет - мало что можно сделать. Мне вспомнился в связи с этим обсуждением наш недавний опыт работы с Норникелем. Там обсуждение результатов оценки было встроено в обсуждение стратегии программы, что, на мой взгляд, является оптимальным вариантом.

На следующей сессии познакомился с очень интересным проектом: принципы использования системного мышления в оценке программ. Разрабатывали около года по инициативе группы "Системы в оценке" (Systems in Evaluation). У них есть свой сайт. Там скоро появятся принципы. Пока публикую фото с краткими описаниями основных принципов. 

Представление окончательного проекта компетенций специалиста по оценке от Американской ассоциации оценки. К разработке привлечены серьезные силы. Работа идет третий год. Проанализировали все, что было сделано в мире в этой сфере. Провели десятки интервью, дюжину фокус-групп, анкетирование (1200 ответов). Теперь всё проанализируют и будут выносить на утверждение членами ассоциации. На фото - 5 групп компетенций.

На заключительном пленаре выступил руководитель большого проекта USAID в сфере здравоохранения. Говорил о том, что им нужна встроенная в программы оценка. На этом конференция завершилась. Едем домой с новыми мыслями и книгами (см.фото). 

Evaluation'2017. День 3.

Что мы узнали из исследований в сфере профессионализации оценки? Так называлась первая сессия, которая началась в 8 утра. На фото слева выступление Стюарта Доналдсона, бывшего президента Американской ассоциации оценки. Коллеги рассказали о двух исследованиях. В рамках одного из них была проведена оценка программы сертификации специалистов по оценке в Канаде. В рамках другого - опрос членов Американской ассоциации оценки. 

Полная и краткая версии отчета по канадской оценке есть на сайте Канадского общества оценки, которое выступило заказчиком. Исполнители работы отметили, что с таким заказчиком им ранее не приходилось работать: слишком хорошо разбирается в оценке :) Оценка показала, что система сертификации хорошо себя зарекомендовала в среде профессионалов, но про нее не особенно знают работодатели и заказчики оценки. В рекомендациях именно на это обращено внимание. Опрос членов американской ассоциации показал, что не все так просто с внедрением системы сертификации. Есть и "за", и "против". Идею выработки и утверждения компетенций специалиста по оценке поддержало большинство членов ассоциации. В обсуждении выступлений принял участие хорошо знакомый многим россиянам Джон Гаргани, бывший президент Американской ассоциации (правое фото).

После этого на большом пленарном заседании выступил
приглашенный профессор с сообщением о том, как работает мозг. Точнее, он говорил об исследованиях по восприятию и запоминанию информации. Рассказывал живо. Были интересные факты. Например, он сказал, что внимание человека во время презентации или урока можно удерживать только первые 10 минут. После этого катастрофически падает концентрация. Поэтому надо разбивать все выступление на 10-минутные блоки и каждый из них начинать с живой истории, которая может заинтересовать слушателей. Он также сказал, что, по результатам последних исследований, человек склонен вначале воспринимать смысл, а затем - детали. В самом начале презентации был слайд о том, что аудио- и видеосъемка строго запрещены (см. фото слева). Это подтверждает, что профессор серьезный бизнес делает на своих выступлениях.

На следующей сессии вновь избранный президент
Американской ассоциации оценки Тесси Катсамбас рассказывала о том, какие компетенции нужны для проведения Appreciative Evaluation (можно перевести как "понимающая оценка"). Это подход, в основе которого лежит ориентация на достижения, сильные стороны и возможности для развития. Важнейшим моментом при проведении такой оценки является глубокий эмоциональный контакт специалиста по оценке с представителями программы, которая оценивается.

Дальше был Майкл Пэттон с лекцией об оценке, ориентированной на принципы. Цитата: "Абсолютно критично сформировать принципы деятельности до начала действий". Один из важных вопросов: чем принципы отличаются от ценностей? Ответ Пэттона: принципы ориентированы на действие, а ценности отражают то, во что мы верим, наши убеждения. С этой точки зрения 10 заповедей - принципы, в основе которых лежат определенные ценности. Я об этом подходе уже писал ранее. Будем читать книгу.

Потом я пошел послушать про то, как наши американские коллеги собираются реализовывать EvalAgenda2020. Если перейти по этой ссылке, то вы увидите, что в создании глобальной повестки развития оценки до 2020 года самое активное участие принимала Наталья Кошелева в бытность президентом IOCE и со-председателем EvalPArtners. Американские коллеги продекларировали свою приверженность этой повестке и сказали, что будут действовать как ассоциация через программу EvalPartners. При этом они также поощряют прямые партнерские связи между местными отделениями американской ассоциации и организациями специалистов по оценке в других странах. На фото (слева направо) Кэти Ньюкамер (президент АЕА), Тесси Катсамбас (вновь избранный президент АЕА) и Синтия Клэпп-Винсек (представитель АЕА в IOCE).

Дальше была любопытная сессия под названием "Консультирование после 50", где очень опытный и успешный консультант из Канады Гейл Баррингтон рассказывала о том, как с минимальными потерями перейти от работы в большой компании к независимому консультированию. На сессию, в основном. пришли люди, которые как раз находятся на распутье и рассматривают возможность фри-ланса как вариант продолжения карьеры. Могу сказать, что проблемы, которые люди озвучивали, не выглядят специфичными исключительно для США.

На сессии "Учимся плыть против течения: уроки феминизма" выступили Донна Подемс (ЮАР, справа) и Майкл Пэттон (в центре). Сессию модерировала Светлана Негрустуева (слева) - сопредседатель группы феминистской оценки (feminist evaluation). На фото справа - 6 характеристик феминистской оценки.

Последняя сессия, на которую мне удалось попасть, называлась "Построение теорий изменений с учетом сложности и динамичности систем". На фото - 6 ключевых характеристик динамичных систем. Несколько интересных мыслей.

По ходу развития программа может претерпеть несколько качественных трансформаций, для каждой из которых надо строить свою теорию изменений. Для динамичных ситуаций, вероятно, имеет смысл строить теорию изменений в ретроспективе с опорой на приобретаемый опыт. Теория изменений - в том виде как она сегодня существует - не позволяет адекватно представить динамичную систему.

День завершился благотворительным аукционом, средства от которого идут на стипендии представителям развивающихся стран для посещения следующей конференции АЕА. На аукционе продаются различные вещицы, безвозмездно предоставленные участниками конференции.

Evaluation'2017. День 2.

Конференции - помимо всего прочего - прекрасная возможность для развития и поддержания профессиональных связей. Со многими коллегами из разных стран я познакомился именно на конференциях. Особенно приятно встречать старых знакомых, конечно. В том числе, из ближнего зарубежья. Сегодня, например, пообщались с коллегами из Армении и Украины.

Открывающее сегодняшний день пленарное заседание было посвящено проекту Американской ассоциации оценки, основой которого являются диалоги о классовом, этническом и расовом неравенстве в американском обществе. Лидер проекта - профессор Мелвин Халл (Melvin Hall) из университета Северной Аризоны (на фото в центре). Вместе с ним на сессии выступили Дженифер Грин (слева) и Беверли Парсонс (справа). Миссия проекта заключается в том, чтобы отрефлексировать исторически сложившееся в американском обществе неравенство; найти адекватный формат для обсуждения этой проблемы; открыто говорить о ней; учитывать ее как один из важных факторов контекста, в котором проводится оценка и, в конечном итоге, предпринять практические шаги для ее решения. Как сказала во вступительном слове Дженифер Грин, "оценка программ - это процесс, в ходе которого общество познает себя" (это цитата из Кронбаха и др.). В диалогах участвуют специалисты по оценке, журналисты, лидеры сообществ. Диалоги проходя в формате панельной дискуссии. Всем участникам предлагается заранее ознакомиться с описанием некого кейса, а затем ответить на несколько вопросов. Главный из них: какая ответственность лежит на специалисте по оценке в данной ситуации? Полные видеозаписи диалогов доступны по указанной выше ссылке. 

На следующей сессии, которую я выбрал, обсуждали методы оценки в виртуальном мире. В частности, коллеги рассказали о том, как они оценивают онлайновые конференции. По словам выступающих, в США госструктуры переориентировались на проведение онлайновых мероприятий вместо очных встреч. Существуют специальные платформы, позволяющие проводить большие конференции в реальном времени с возможностью позже посмотреть записи любых выступлений. Расчеты подтверждают экономическую эффективность таких мероприятий по сравнению с традиционными несмотря на достаточно высокую стоимость программных решений. Меня больше всего впечатлили не столько методы оценки, сколько программные средства для проведения онлайновых конференций. Раньше как-то с этим не сталкивался. 

На следующей сессии мы встретились с президентом АСОПП Ириной Ефремовой-Гарт. Признаюсь, встреча не была для меня неожиданной, поскольку эта сессия была посвящена тому, как функция оценки развивалась в высших эшелонах власти США на протяжении длительного времени. К сожалению, аудитория не смогла вместить всех желающих посетить эту сессию. Пришлось стоять, поэтому записывать было неудобно. Поделюсь тем, что запомнилось. Двое выступавших рассказали, как все начиналось с оценки программы по борьбе с бедностью (War on Poverty) в США в середине прошлого века. Они в этом принимали непосредственное участие. С тех пор функция оценки присутствовала всегда - независимо от того, какую партию представлял президент США. В какой-то момент оценка государственных программ вошла в зону ответственности U.S. Government Accountability Office (GAO) (аналог нашей счетной палаты). Одна из тенденций, по мнению всех выступающих, - сокращение объема отчетов об оценке (с 300 страниц до максимум 20). Было отмечено, что и 20-страничные отчеты лица, принимающие решения, не читают. Им нужна очень сжатая информация, которую можно изложить за несколько минут. Говорили также о том, что методология проведения оценки развивалась и что у GAO много публикаций по методам оценки в открытом доступе. Это правда, мне попадались их публикации много раз.

Дальше я пошел послушать про практическое использование компьютерной программы SenseMaker. Об этой программе хорошо рассказывает Дэйв Сноуден К сожалению для меня, выступающие не особо распространялись относительно деталей работы с программой, а больше говорили о полученных эффектах. Эффекты впечатляют. Программа позволяет собирать и с помощью участников исследования интерпретировать большие объемы качественных данных. На рисунке - пример распределения ответов и история, относящаяся к одному из ответов. В данном случае участникам опроса предлагалось указать, что повлияло на их возможность заботиться о детях. Вершины треугольника - факторы, которые могли повлиять. Чем ближе точка к фактору, тем больше было его влияние, по мнению участников опроса. Тут надо дальше разбираться.

Заключительная на сегодня сессия была про использование методики Outcome Harvesting (здесь можно почитать её описание) для оценки результатов программы. Важная характеристика этой методики заключается в том, что оценка проводится не на основе сравнения результатов с поставленными целями, а на основании того, какие де-факто результаты достигнуты. В этом процессе активно участвуют исполнители программы и благополучатели. На этой сессии мне также показалось интересным, как можно изобразить теорию изменений графически (см. фото).

Я очень рассчитывал послушать выступление Майкла Скривена на тему "Природа оценки", К большому сожалению, гуру на сессию не пришел, и организаторы конференции не смогли его найти. Надеюсь, с ним все в порядке. 

Evaluation'2017, день 1

Сегодня с утра был на семинаре по использованию инфографики в оценке. Было полезно.

Коллеги из небольшой консалтинговой фирмы "Магнолия" сделали список контрольных вопросов для разработки качественной инфографики и предложили соответствующую схему (см. рисунок слева).

Второй семинар был по анализу социальных сетей. На него я очень надеялся, но семинар получился неудачным. Ведущая обещала прислать всем ссылку на презентацию. Там была кое-какая полезная информация. Для анализа ведущая использовала программу UCINET, которую можно скачать бесплатно. С учетом того, что человек 30 занимается анализом социальных сетей, можно предположить, что программа удобная. Я пока не пробовал.

После этого состоялось открытие конференции в зале достаточно внушительных размеров .

Уже становится традицией приглашать на открытие конференции представителей коренных народов США, которые благословляют работу конференции по-своему. Песня была достаточно длинная. Спели от души. После этих ребят выступила группа, которая выступает за права бездомных. Они пели песни про социальную справедливость и читали стихи собственного сочинения.  Фрагмент песни - ниже. Начало похоже немного на "Не думай о секундах свысока..." :) Песня про то, как человека выселяют, и он остается без жилья и без прав. (оба видео - внизу).

После этого уже выступила президент Американской ассоциации оценки (АЕА) Кэти Ньюкамер. Она рассказала о том, какие есть барьеры на пути использования оценки для научения и что можно предпринять для преодоления этих барьеров. Она сказала, что государственные чиновники в США про оценку знают, но результаты оценки используют недостаточно эффективно. Особое внимание она уделила проблеме расизма и отсутствия толерантности по отношению к тем, кто отличается от большинства.

На следующей сессии трое выступающих во главе с Майклом Пэттоном рассказывала о практическом применении оценки, основанной на принципах (Principles Based Evaluation). Об этом смогу сообщить подробнее чуть позже, т.к. Майкл подарил свою новую книжку.  Она уже есть в продаже на Амазоне. Отмечу, что в этот раз параллельно проходят 50 сессий. Народ распределяется неравномерно. На Пэттона, как всегда, оказалось много желающих, а аудиторию дали совсем маленькую. В результате гуру сидел на полу в ожидании своей очереди выступить.

Завершающая сессия, на которой я выступал, была про компетенции специалистов по оценке. Короткие сообщения вместе со мной сделали коллеги из Канады, ЮАР, IOCE, Новой Зеландии. Мою презентацию можно посмотреть здесь. В ней ответы на 5 предложенных нам вопросов.

Завершился день стендовыми докладами (их оказалось под 300) и встречей с авторами книг по оценке, каждый из которых сидел за отдельным столом и беседовал со всеми желающими.

Конференция АЕА: масштабы мероприятия

Сегодня в Вашингтоне официально открывается очередная конференция Американской ассоциации оценки (American Evaluation Association / AEA). Организаторы говорят, что в этом году ожидается около 4200 участников. Впервые за все время существования АЕА число участников конференции превысит 4000 человек. Перед конференцией в течение трех дней проходят обучающие семинары. В понедельник и во вторник можно принять участие в двухдневных семинарах, во вторник и в среду есть однодневные семинары, а в среду еще и семинары по полдня (с 8 до 12 и с 12 до 15). Семинары также пройдут сразу после окончания конференции - в субботу. Общее число семинаров - 76. Тематика самая разнообразная - от введения в оценку до использования узко специализированных инструментов анализа данных. Сама конференция включает в этом году более 1000 сессий, на которых выступят не менее 2000 человек. Сегодня вечером - стендовые доклады (не менее 200). В ходе конференции будут также организованы встречи с авторами книг, благотворительный аукцион для сбора средств на travel grants для представителей развивающихся стран, встречи тематических групп по интересам. На протяжении всей конференции будут работать специализированные книжные магазины. Кроме того, пройдет торжественный обед, где будут вручены премии АЕА в нескольких номинациях. 

Постараюсь рассказывать ежедневно о самом интересном из того, что удастся увидеть и услышать.

Премию за развитие оценки получил СЦПОИ

Премия «За содействие внедрению и практическому использованию оценки в деятельности благополучателей» учреждена в 2016 году Форумом Доноров и Ассоциацией специалистов по оценке программ и политик, чтобы поощрить вклад донорских организаций в развитие оценки в России.

Сегодня в Москве на конференции Форума Доноров было объявлено, что обладателем премии за 2017 год стал Сибирский центр поддержки общественных инициатив. 

Действительно, СЦПОИ очень многое сделал и делает для развития потенциала оценки в стране. В первую очередь - в среде НКО. Я хорошо помню, как эта работа начиналась в конце 90-х. СЦПОИ первым в России (в 1999 году) провел не просто ознакомительный семинар по оценке программ, но достаточно серьезный курс обучения для специалистов Сибирской Сети. 

Программа курса включала три основных этапа: 

1. Семинар по основам оценки программ (4  дня),

2. Практическую работу участников по оценке программ СЦПОИ (по заказу СЦПОИ) (1,5 месяца).

3. Заключительный семинар, на котором проводится подробный анализ выполненных работ (3 дня). 

СЦПОИ был одним из создателей Международной сети "Оценка программ" в 2000 году и оставался членом Попечительского совета этой сети до 2015 года. 

В 2000 году СЦПОИ провел первую в России конференцию по оценке. 

В 2002 СЦПОИ провел первую в России 5-дневную Школу оценки, в которой приняли участие более 100 человек со всей страны. Школы оценки были проведены на базе СЦПОИ в 2010, 2016 и в 2017. 

Пару лет тому назад СЦПОИ создал виртуальный ресурсный центр по оценке. 

В 2014 году представители СЦПОИ вошли в инициативную группу по созданию российской Ассоциации специалистов по оценке программ и политик (АСОПП), а затем - в Правление ассоциации. В 2016-2017 Президент СЦПОИ Елена Малицкая была президентом АСОПП. 

В 2016 году СЦПОИ уже принимал конференцию АСОПП-2016 в Новосибирске. 

Само собой разумеется, что за все это время были СЦПОИ подготовлены многочисленные публикации по оценке. 

Хотел бы от души поздравить команду СЦПОИ с получением  премии «За содействие внедрению и практическому использованию оценки в деятельности благополучателей» и пожелать дальнейших успехов и славных дел!!! 

Новая публикация ООН по оценке

"Оценка Целей Устойчивого Развития на основе принципа "Развитие для всех без исключения" через призму гендерного равенства и социальной справедливости" - так незамысловато называется новая публикация, подготовленная по инициативе ООН в сотрудничестве с программой EvalPartners. Как известно, Цели устойчивого развития (ЦУР) пришли на смену Целям тысячелетия и стали основным ориентиром для ООН с 2015 года. Соответственно, оценка того, в какой мере миру удается продвигаться к этим целям, весьма актуальна. Тема эта активно обсуждалась, в частности, на 3-м Глобальном форуме по оценке, который прошел в Бишкеке весной этого года.

Публикация доступна на 5 языках, включая русский. Судя по составу авторов, оригинальная версия была написана на английском. Текст изначально был тяжеловат для восприятия. К примеру, он изобилует очень длинными предложениями. Пример: "Повестка дня 2030 содержит обязательства по проведению систематической последующей деятельности и обзоров ЦУР, используя "надежный, добровольный, эффективный, основанный на широком участии, прозрачный и комплексный" подход, который "внесет жизненно важный вклад в процесс реализации и поможет странам добиться максимального прогресса в осуществлении настоящей Повестки дня 2030 и внимательно контролировать ход достижения целей для обеспечения того, чтобы никто не был забыт".

Русский перевод тоже далек от идеала. Пример: "ЦУР продолжат уделять основное внимание борьбе с бедностью и содействию развитию". Очевидно, что цели (даже такие как ЦУР) не являются субъектом деятельности, потому они не могут уделять чему-то внимание. 

Если набраться терпения и преодолеть трудности перевода, то из данной публикации можно почерпнуть много полезной информации о деятельности ООН и о ее оценке.

Общее пространство

В прошлую пятницу завершился недельный семинар на русском языке по мониторингу и оценке в Международном учебном центре МОТ в Турине. Как я уже писал, участники приехали из Азербайджана, Армении, Казахстана, Кыргызстана и Украины. В очередной раз осталось очень приятное ощущение "общего пространства":
1) По существу, русский язык для всех - родной.
2) Реалии, в которых мы живем, во многом схожи несмотря на различия, которые существуют между нашими странами. Потому у всех есть хорошее понимание контекста в широком смысле этого слова. А это сильно облегчает и общение, и преподавание.
Мне было с этой группой очень интересно и приятно работать. Судя по отзывам участников, это было взаимно.
На заключительном ужине прозвучал такой тост: "За объединённые нации!" :)  Поддерживаю.

Почему индикаторы должны разрабатывать эксперты

Вчера на семинаре обсуждали индикаторы. Один из участников, занимающийся мониторингом программ в сфере сельского хозяйства,  привел интересный пример. Им "спустили" индикаторы, один из которых предполагал подсчет количества голов скота погибшего от определенного заболевания. Тут обнаружилась проблема: скот от этого заболевания не умирает. На то, чтобы убрать этот индикатор ушло два года...  Интересно, кто его разрабатывал?

Надо ли спрашивать участников о их ожиданиях в начале тренинга?

Традиция эта хорошо известна. Ведущий предлагает участникам для начала разделиться на малые группы и сформулировать свои ожидания от тренинга. Их записывают на плакатах или просто озвучивают. Вопрос заключается в том, что потом с этим делать. Если ожидания совпадают с намерениями тренера, то все в порядке. Можно просто подтвердить, что всё будет, и продемонстрировать план. А что, если не совпадают? Или не вполне совпадают? В какой мере тренер сможет скорректировать план и внести необходимые изменения? А что, если участники назовут темы, для обсуждения которых тренер недостаточно компетентен? Я в таких случаях предпочитаю сказать об этом открыто и сразу, чтобы тему закрыть. В конце концов, каждый имеет право чего-то не знать.

Идеальный же вариант - узнать об ожиданиях участников заранее, до начала семинара. Сегодня это можно сделать с помощью онлайновой анкеты. Тогда есть возможность скорректировать программу, включить в нее недостающие компоненты, перераспределить время и даже подготовить какие-то новые модули. Когда такой онлайновый опрос удается провести, мне нравится начинать обучение с обсуждения его результатов. Это выглядит особенно органично, если обучение связано с оценкой проектов и программ. 

Вчера начался 5-дневный семинар на русском языке в Международном тренинговом центре ILO в Турине. Говорят, что число обучающих мероприятий на русском языке здесь уже вышло на второе место после английского! В группе специалисты из Азербайджана, Армении, Казахстана, Кыргызстана и Украины. Онлайновый опрос провести удалось. Ответили 15 человек из 16. Вот какими оказались ожидания участников (цифры - число упоминаний). В основном, совпало с моими намерениями. Но некоторые изменения в программу семинара всё же пришлось внести. 

Конференция АСОПП-2017 завершена

Второй день конференции был короче первого, но выдался не менее интересным. Сожалею, что не смог попасть на некоторые сессии. Но это неизбежные издержки: всегда приходится выбирать. Очень рад, что удалось послушать выступления коллег из Украины и Казахстана о развитии оценки в их странах. Встречаемся нечасто. Это была уникальная возможность. Спасибо Ольге Щетининой и Джамиле Асановой за развернутые сообщения!

И вообще хочется сказать БОЛЬШОЕ СПАСИБО всем, кто сделал эту конференцию такой какой она была: участникам, выступающим, волонтерам, партнерам, оргкомитету, правлению АСОПП!!!

Хочу поделиться двумя забавными историями. 

История 1. 

По ошибке фамилию и имя на бейджах участников напечатали маленькими буквами, а отчество - большими. Выглядело это как приглашение обращаться друг к другу по отчеству: "Петрович, ты на пленарное заседание пойдешь?". Мне кажется, идея хороша, но ставит в сложное положение тех, у кого отчества сложнее выговорить. Например, такие как Всеволодовна или Сигизмундович :) Но и с этим можно справиться. Похоже, зародилась новая традиция... 

История 2. На одной из сессий коллега рассказала о том, с какими интересными определениями внутренней и внешней оценки ей пришлось столкнуться. Внутренней называли оценку, которая производится за столом, внутри помещения, а внешней - ту, что проводится на выезде, вне офиса. 

Завершился первый день конференции АСОПП-2017

На открывающем пленарном заседании
мой друг и бизнес-партнер Владимир
Балакирев рассказал о том, что
оценка с развитием, конечно,
связана, но все не так просто... 

Всё было очень плотно. Начали в 10.00, закончили в 19.00. Масса интересных выступлений. Отличная работа внушительной команды волонтеров. Очень приятно было, что к нам приехали лидеры национальных ассоциаций из Казахстана (Джамиля Асанова) и Украины (Ольга Щетинина). Заместитель председателя Комитета общественных связей города Москвы Соболев Игорь Светославович в приветственном слове подчеркнул значимость развития оценки проектов и программ.

У меня сегодня было выступление, посвященное рассмотрению оценки программ как одному из видов консультирования. Для разминки я предложил участникам провести анализ полутора десятков анекдотов про консультантов, чтобы понять, из-за чего консультантов могут так сильно не любить. Хочу привести здесь один из тех анекдотов.

Мужчина приходит в зоомагазин и говорит, что хочет купить обезьяну. Продавец подводит его к вольерам, где сидят три обезьяны. 

Продавец: Вот эта, стоит 600 долларов.

Покупатель: Почему так дорого? 

Продавец: Она умеет петь и аккомпанирует себе на банджо.

Покупатель: Ого! А что же тогда умеет вот эта, за 1400 долларов?

Продавец: Эта умеет говорить на 20 языках и смешивать коктейли. 

Покупатель: Ничего себе! Тогда я не знаю, что и думать вот про этого самца, который стоит 4000 долларов...

Продавец: Тут ситуация такая: я ни разу не видел, чтобы он что-либо делал, но он называет себя консультантом...

Завтра открывается конференция АСОПП-2017

Сегодня прошли традиционные предконференционные семинары. В них приняло участие около 70 человек. На конференции ожидается более 150 участников. В этом году много выступлений. Организаторам пришлось сделать три и местами четыре параллельных сессии, чтобы все уместить в два дня. Программа конференции здесь. Будет интересно!

Интересные вопросы

Продолжается наше сотрудничество с Международным тренинговым центром Международной организации труда в Турине. Только что закончился семинар для очень международной группы из 33 человек. Они приехали из Нигерии, Судана, Уганды, ЮАР, Ливана, Малави, Гвинеи Биссау, Непала, Египта, Швейцарии и Индии. Очень разновозрастная группа, опыт и сферы профессиональной деятельности участников тоже весьма разнообразны. Конечно, работать с такой группой очень интересно.
В последний день проводили оценку тренинга и столкнулись с целым рядом интересных вопросов. Например, несколько участников рекомендовали сделать обучение более интерактивным, а другие, наоборот, посоветовали меньше давать слово участникам, чтобы можно было больше послушать преподавателей, которые опытные и специально готовятся к этому семинару. Обсуждение того, как можно обе эти рекомендации воплотить в жизнь прошло очень весело! :)

Участники из Африки и Индии, которые в совокупности составляли большинство, посетовали, что в столовой вообще не предлагают африканскую и индийскую пищу. Это обсуждение тоже вышло оживленным. Участники объяснили ситуацию тем, что руководители столовой и всего учебного центра недостаточно чувствительны к культурным различиям, хотя постоянно имеют дело с людьми со всего мира. Вывод был такой, что у них не достаточно развиты соответствующие компетенции. А рекомендация - организовать для них тренинг по кросс-культурным различиям и формированию способности их видеть и чувствовать.

Юридическое лицо

Сегодня исполняется 25 лет ООО "Компания "Процесс Консалтинг". Последние 25 лет я работаю именно в этой организации :) А первую частную компанию, в которой мы работали, 

мы регистрировали аж в 1990 году. В те времена очень многое было по-другому. Например, до того момента создание нового юридического лица на протяжении десятилетий было абсолютной прерогативой государства. Поэтому создание частной компании воспринималось как дело весьма необычное. Обретение юридического лица со своей печатью и своим банковским счетом по тем временам было по-настоящему круто. Но главное, что мы получили, - это свобода заниматься тем, что нам нравится, и делать это так, как мы считаем нужным. И сегодня я могу точно сказать: это дорогого стоит!!!

Встреча в Ереване. День 2. Обсуждения.

Сегодняшний день начался с того, что мы разделились на две группы. В одну вошли представители университетов, а в другую - представители ассоциаций. В каждой из групп обсуждались три вопроса:

1. Какие приоритетные задачи стоят перед нашими организациями? (университетами и ассоциациями, соответственно)
2. В решении каких задач нам могут помочь университеты/ассоциации? 
3. С какими трудностями мы можем столкнуться на пути такого сотрудничества? 

По завершении обсуждений группы обменялись результатами. 

Потом мы перешли к работе в 6 малых группах по странам. Перед каждой из групп стояла задача предложить мероприятия в рамках сотрудничества между университетами и ассоциациями на период до конца 2017 года. Естественно, мы старались при этом учитывать уже имеющуюся историю отношений, местные условия и те идеи, которые были высказаны вчера и сегодня утром. Мы с Анной Тихомировой и Татьяной Подушкиной пришли к тому, что МГППУ и АСОПП следует подготовить план совместной работы (примерно на год) и подписать соответствующее соглашение о сотрудничестве. Естественно, план работы должен быть вначале рассмотрен и одобрен руководством МГППУ и Правлением АСОПП. Похоже, что мы готовы перевести наше взаимодействие на новый уровень. Встреча в Ереване помогла это осознать. 

Следующая задача, которую мы перед собой сегодня поставили, заключалась в поиске идеи международного проекта, который мог бы объединить университеты и ассоциации из наших 6 стран. Мы провели брейнсторминг и сформулировали порядка 30 идей - от международного конкурса студенческих научных работ по оценке до съемки документального сериала про оценку. После обсуждения и голосования выбрали самую перспективную идею, которую завтра обсудит координационный совет Евразийского Альянса. Я не могу пока говорить о подробностях, но идея - отличная и действительно может быть реализована в 2017-18 гг. 

Завтра - встреча Координационного Совета (КС) альянса в обновленном составе. У нас - первая ротация: меняется один из двух представителей каждой из стран, а с 1 июня председателем КС становится Фарход Хамидов из Таджикистана (стоит слева). 

"Академики" vs. "практики" и многое другое

Завершен первый день рабочей встречи в Ереване, где представители национальных ассоциаций оценки и университетов из Армении, Казахстана, Кыргызстана, России, Таджикистана и Украины обсуждают возможности сотрудничества. Сегодня рассказывали о международном опыте и делились своим.

Вот список сегодняшних выступлений, который дает некоторое представление о содержании обсуждения и напряженности работы:

1. Зарубежный опыт взаимодействия профессиональных ассоциаций с университетами: США, Канада, ЮАР, Бразилия, Малайзия, Чили (А.Кузьмин)
2. Основные направления курсов по МиО в западных странах (А.Похсрарян)
3. Канадский конкурс студенческих работ по оценке (К.Тер-Абрамян)
4. Опыт и перспективы сотрудничества АСОПП и МГППУ –(А.Тихомирова, Т.Подушкина, А.Кузьмин)
5. Интересы и возможности Академии управления Кыргызстана в подготовке новых образовательных курсов  (Ч.Абдыраманова)
6. Причины и задачи взаимодействия профессиональной организации с Академией управления в Кыргызстане (Т.Третьякова)
7. Опыт сотрудничества УАО со Львовским национальным университетом имени Ивана Франка по открытию и  внедрению магистерской программы «Социальное проектирование и экспертиза» (О.Щетинина)
8. Перспективы сотрудничества между проф. ассоциациями по МиО и университетами в Армении (А. Сагателян)
9. Необходимость преподавания оценки в учреждениях высшего образования на примере Американского Университета Армении (А. Балян)
10. Преподавание “Оценочных исследований” в Ереванском государственном университете (С.Баласанян) 
11. Оценка как учебная дисциплина и как профессия в высшем образовании в России (А.Кузьмин)
12. Возможности дистанционного обучения на тему «Мониторинг и оценка проектов и программ» (Д. Асанова)
13. Опыт внедрения курса "Мониторинг и Оценка программ и проектов, ориентированных на результаты" в программу Национального Университета "Киево-Могилянская академия", Киев, Украина в 2015-2017 гг." (А. Мирошниченко)
14. Перспективы преподавания курса «Оценка государственной политики» для студентов ведущей бизнес школы Республики Казахстан (Н.Ниязбеков) 
15. Возможность внедрения предмета "Оценка" в ВУЗах Таджикистана (Р. Бабаджанов)
16. Возможности и конкретные шаги по развитию специализации МиО для студентов-социологов в Киевском национальном университете имени Тараса Шевченко (О. Мазурик)
17. Контекстуализация обучения по вопросам оценки и обзор результатов форума по сотрудничеству академий и ассоциаций в Кыргызстане (А. Жолдошбекова)

Моё выступление о зарубежном опыте взаимодействия университетов с профессиональными ассоциациями можно скачать здесь. Одной из проблем на пути такого сотрудничества я считаю противоречия между "академиками" и "практиками". Интересно, что эти противоречия активно обсуждаются на страницах профессиональных изданий, есть на этот счет и соответствующие исследования.  

Пособие по формированию и оценке Попечительских Советов НКО

В пособии (полный текст, 24 МБ) представлен обзор деятельности Попечительских советов в России и за рубежом, а также описаны рекомендации по формированию Попечительских Советов НКО и оценке их деятельности. Данное пособие будет полезно НКО, у которых есть успешно действующий Попечительский совет или собирающимся сформировать реально действующий Попечительский совет, или переформатировать его работу.
Спасибо Минэкономразвития за поддержку проекта, Центру "Гарант" за приглашение к сотрудничеству и подготовку публикации,  а также лично Марине Михайловой, Елене Малицкой, Вере Баровой, Маргарите Семиковой и Дарье Милославской за их вклад в создание этого пособия!

Этика исследований с привлечением людей

Люди, занимающиеся исследованиями с привлечением людей, ответственны за соблюдение прав, а также за сохранение психического и физического здоровья участников исследований. Естественно, большая часть ответственности за это лежит на самом исследователе. Однако, когда исследование проводится от имени (под эгидой) университета, последний также ответственен за соблюдение этических принципов. Именно поэтому в университетах появились т.н. "этические комитеты", которые рассматривают и утверждают каждое исследование, предполагающее привлечение людей, на предмет его этичности.

Еще лет 20 тому назад в России такой практики не было, и мы могли ссылаться лишь на зарубежный опыт. В частности, план моего исследования в рамках программы PhD в США ("Изучение факторов, влияющих на использование тренингов по оценке для развития потенциала оценки в организациях") рассматривался этическим комитетом моего университета. Подтверждая этичность исследования, соответствующий комитет утверждает еще и форму т.н. информированного согласия на участие в исследовании. В моём случае утверждались две формы, поскольку для участия в исследовании привлекались и люди, и организации. Соответственно, необходимо было выстроить исследование этично по отношению и к тем, и к другим.

Мне кажется очень правильным, что аналогичная практика в начале 21 века начала распространяться и в России. Уже есть целый ряд университетов, которые создали этические комитеты. По большей части, этические комитеты (в соответствии с действующей у нас нормативной-правовой базой, их называют локальными этическими комитетами) были созданы в российских медицинских университетах (например, в КГМУ, СЗГМУ, ОмГМУ), что неудивительно. Риски для здоровья людей, участвующих в медицинских исследованиях - вопрос серьезный. Кстати, говорят, что первый в России этический комитет был создан в 1987 году именно в медицинской отрасли - в республиканской больнице КарелАССР. Этические комитеты, занимающихся исследованиями в сфере социальных наук (психология, социология), в нашей стране пока встречаются не слишком часто. В качестве примеров можно привести СПбГУ и ТГУ. Надеюсь, в ближайшем будущем ситуация изменится в лучшую сторону.