суббота, 28 декабря 2013 г.

Провожая 2013 и встречая 2014...

С профессиональной точки зрения завершающийся год был для меня и для моих коллег очень насыщенным. В качестве общей тенденции можно, пожалуй, выделить рост спроса на индикаторную оценку и, в частности, на выстраивание и внедрение систем  мониторинга проектов и программ.
В 2013 году нам пришлось поработать в Азербайджане, Армении, Грузии, Казахстане, Кыргызстане, России и Таджикистане. Страны расположил по алфавиту, но больше всего работы было в России, конечно.
Как значимые события отмечу конференцию Международной сети "Оценка программ" в Кишиневе (Молдова) и конференцию Американской ассоциации оценки в Вашингтоне.
Утверждение 2015 года в качестве Международного года оценки ООН считаю одним из важнейших глобальных событий уходящего года и большим достижением международного профессионального сообщества. Очень приятно, что к этому приложила руку и моя коллега Наталья Кошелева - в качестве президента Международной организации сотрудничества в сфере оценки и со-председателя проекта EvalPartners.
В 2013 году, к сожалению, не удалось создать российскую ассоциацию оценки программ и политик, а также возобновить выпуск журнала "Проектирование, мониторинг и оценка". Оба этих дела переходят в повестку 2014 года. Работа продолжается в обоих направлениях, и я очень надеюсь на успех.
В начале следующего года ожидаем публикацию пособия по "теории изменений", в подготовке которого мы приняли активное участие. Весной вместе с Натальей Кошелевой и Владимиром Балакиревым планируем поучаствовать в проведении учебных курсов по оценке программ для студентов Высшей школы экономики и Московской высшей школы социальных и экономических наук. В сентябре должна пройти интересная конференция Международной сети "Оценка программ" в Бишкеке (Кыргызстан). Есть все основания предполагать, что в нашем регионе в наступающем году продолжится развитие национальных объединений в сфере оценки программ и активизируется сотрудничество между ними.
Хотел бы поздравить всех гостей моего блога с наступающим Новым годом!
Пусть этот год будет удачным для вас во всех отношениях!
До встречи!

среда, 18 декабря 2013 г.

Почему не достигнуты запланированные показатели?

"Провальной с точки зрения повышения доверия граждан к правосудию признала Счетная палата РФ реализацию федеральной целевой программы "Развитие судебной системы России на 2007–2012 годы".
Как сообщает пресс-служба СП, ни один из плановых целевых индикаторов, позволяющих оценить отношение общества к судебной системе и правосудию в целом, по итогам выполнения ФЦП не достигнут" (с портала PRAVO.RU)
Счетная Палаты выявила две основные причины срыва программы в этой части: 
1) недофинансирование мероприятий по информатизации судов общей юрисдикции по сравнению с системой арбитражных судов, 
2) суды недостаточно активно сотрудничают с общественными организациями и СМИ.
Теперь посмотрим на показатели:
То есть, если бы дали денег на информатизацию судов столько, сколько обещали, и больше бы суды работали со СМИ и НКО, то граждане бы стали больше доверять органам правосудия и не жаловались бы на грубость и невнимательность персонала судов. И уж наверняка процессуальные сроки стали бы соблюдаться и судебные акты лучше бы исполнялись! 
Надеюсь, что это просто автор статьи что-то напутал. В противном случае появляются очевидные вопросы к тем, кто проводил оценку данной программы. 

вторник, 17 декабря 2013 г.

Аналитический доклад КАФ-Россия

Сегодня на сайте КАФ-Россия опубликован аналитический доклад "Российские НКО на пути к устойчивости". Центральная идея доклада - это предложение использовать понятие благополучия человека как основу для новой идеологии некоммерческих организаций и стратегии развития третьего сектора. Понятие "благополучие" в докладе, естественно, хорошо концептуально проработано. Считаю , что подобные документы могут быть очень полезны специалистам по оценке программ. 

пятница, 13 декабря 2013 г.

Счетная палата РФ вплотную подошла к оценке госпрограмм

На сайте Счетной Палаты приводится следующая цитата ее Председателя Татьяны Голиковой: «Правительство должно пересмотреть до 1 февраля 2014 года все государственные программы, а мы, в свою очередь, до 1 сентября должны провести проверку, не очень традиционную для нас, она касается не денег, а соответствия результатов госпрограмм стратегическим целям, установленным в долгосрочных документах, концепциях, указам Президента». 
Должен сказать, что даже для Счетной палаты РФ с ее ресурсами и административными возможностями задача будет не из простых. Хотя бы потому, что (а) они раньше этого не делали и методологии у них пока нет соответствующей (как нет и специалистов) и (б) цели госпрограмм сформулированы так, что проверять соответствие достигнутых результатов этим целям будет весьма проблематично.

четверг, 12 декабря 2013 г.

Еще раз об управлении по результатам

Приятно, что вчерашняя публикация вызвала активное обсуждение. Благодарю всех, кто откликнулся и счел публикацию интересной.
Естественно, я не писал об управлении по результатам в целом, а лишь указал на одну из проблем его внедрения вне бизнес-сектора. Судя по характеру откликов и по вопросам, которые мне задали, для многих может быть полезно чуть подробнее ознакомиться с концепцией управления по результатам. О ней очень много написано, в том числе, на русском языке. Рекомендую для интересующихся статью наших друзей и коллег из Консалтинг-центра "Шаг", имеющих большой (возможно, самый большой в России) опыт практического внедрения систем управления по результатам в различных бизнес-компаниях. 

среда, 11 декабря 2013 г.

Почему управление по результатам не работает вне бизнес-сектора

Свою позицию по этому поводу я высказывал еще тогда, когда "управление по результатам" только-только начинали внедрять в структурах ООН. В частности, я выступал по этому поводу в 2003 году на региональной встрече ЮНИСЕФ в Бухаресте, где присутствовало несколько десятков специалистов из разных стран. Это к тому, что идея не нова. 
"Управление по результатам" придумали в бизнесе. Суть этого подхода заключается в том, что функционирование бизнес-компании на всех уровнях определяется запланированными заранее результатами (целями). Для этого производится постановка общих целей компании, а затем - их т.н. декомпозиция, чтобы довести ожидаемые результаты до уровня подразделений и далее - до каждого отдельного сотрудника. 
А теперь - ВНИМАНИЕ! Система управления по результатам предполагает не просто информирование сотрудников о том, каких результатов они должны добиваться, но и материальное стимулирование соответствующего поведения сотрудников. 
К примеру, если в автосервисе ставится задача добиться определенного объема выручки, то заработная плата работников ставится в зависимость от того, сколько денег они принесут компании. Это может даже приводить к известным издержкам для клиентов, например, мастера могут начать "чинить" исправные автомобили, чтобы "нагонять на счетчик" и обеспечивать требуемый объем выручки на своем рабочем месте. Иначе они не получат той зарплаты, на которую могли бы рассчитывать при достижении плановых показателей. 
Таким образом, система управления по результатам включает не только функции планирования, организации и контроля, но и функцию мотивирования персонала. 
В организациях, не относящихся к бизнес-сектору, фактически невозможно привязать зарплату сотрудников к результатам, которых они должны достигнуть. Там другая система оплаты труда. Потому важнейшая часть системы управления по результатам вне бизнес-сектора попросту отсутствует. А без нее система нормально работать не может.

вторник, 10 декабря 2013 г.

Сколько платят консультантам?

Размер оплаты труда консультанта, конечно, определяется в ходе переговоров с клиентом и зависит от многих факторов. Однако для некоторых категорий организаций можно заранее получить данные о ставках для внешних консультантов, т.к. они публикуются в открытых источниках.
Так, например, Агентство США по международному развитию (USAID) установило на 2013 год максимальную ставку консультанта на уровне 635 долларов в день. Здесь нужно иметь в виду, что на такую ставку могут рассчитывать только очень заслуженные люди, имеющие, например, опыт работы на высших руководящих должностях в указанном агентстве.
Все агентства системы ООН также имеют соответствующие политики, определяющие уровень оплаты труда консультантов. Например, в Детском Фонде ООН (UNICEF) в 2005 году максимальная ставка в день была 625 долларов. На такую ставку мог бы рассчитывать человек, который, скажем, работал раньше директором UNICEF по оценке, а потом стал консультантом. Для профессионалов максимальный уровень - Р5, т.е. по состоянию на 2005 год максимум был $505. (см.таблицу). С учетом индексации, наверное, сейчас - не сильно за $600. 

четверг, 5 декабря 2013 г.

Информация к размышлению

Некоторое время тому назад на одном из интернет-форумов обсуждались достоинства и недостатки т.н. "управления, основанного на результатах" (Results Based Management), широко внедренного, в частности, в структурах Организации Объединенных Наций. Вот что написал об этом подходе один из очень известных специалистов в сфере оценки программ Боб Вильямс (Bob Williams) из Новой Зеландии (перевод мой):
"Управление, основанное на результатах - опасный, невежественный, примитивный подход, который, в конечном счете, принесет больше вреда, чем пользы. Оценка этого подхода, проведенная внутри ООН, оказалась весьма критической. В результате ООН, к сожалению, пошла по пути поиска виноватых, но не поставила под сомнению саму концепцию".

В Кыргызстане будут оценивать эффективность принятых правовых актов

Кыргызстан близок к тому, чтобы внедрить мониторинг и оценку вновь принимаемых нормативных и правовых актов.
Агентство АКИпресс сообщает:
"Депутаты Жогорку Кенеша (так называется Парламент Кыргызстана - АК) 5 декабря во втором чтении одобрили законодательное закрепление процедур мониторинга и оценки проектов нормативных правовых актов.
По мнению инициаторов, принятые поправки позволят скоординировать усилия государственных органов, органов местного самоуправления, гражданского общества на построении единого и гармонирующего правового пространства.
Кроме того, они устанавливают обязанность государственных органов и органов местного самоуправления проводить мониторинг и оценку принятых ими нормативных правовых актов и публично отчитываться об эффективности и результативности их действия. Предусматривается обязанность государственных органов и органов местного самоуправления ежегодно публиковать в средствах массовой информации данные о мониторинге и оценке нормативных правовых актов и программ, принятых ими в отчетном году".
Из опубликованной информации не совсем понятно, что именно планируется мониторить и оценивать. В начале написано, что проекты нормативных актов. Я понимаю, как их можно оценивать (см., например, механизм оценки регулирующего воздействия), но совершенно не понимаю, что там мониторить. С другой стороны, вроде, речь идет об оценке эффективности уже принятых актов. Тут и мониторить можно, конечно.
В любом случае вслед за этим решением Жогорку Кенеша должны возникнуть следующие вопросы:
1) Кто будет проводить мониторинг и оценку? (специалисты)
2) Как будут проводиться мониторинг и оценка? (методики)
3) Как будут финансироваться эти работы? (финансы)
Если решение о внедрении мониторинга и оценки будет принято окончательно, оно обязательно простимулирует спрос на специалистов и на профессиональные услуги в сфере оценки. А в Кыргызстане, как раз, есть Национальная Сеть Мониторинга и Оценки, члены которой, наверное, готовы такие услуги предложить...
Желаю коллегам успехов  на этом непростом пути! Главное - быть готовыми к действию.
Мудрец сказал: "Готовность полная? Ее ведь не бывает, в процессе действия ты обретешь ее".

вторник, 3 декабря 2013 г.

Онлайновый курс по оценке программ на русском языке

Вчера открылся онлайновый курс «Введение в оценку программ и проектов социальной направленности».  Курс разработан Международной сетью «Оценка программ» (IPEN) в рамках международной инициативы EvalPartners. Курс предназначен для широкого круга слушателей, которые хотят получить базовое представление о том, что такое оценка программ и проектов.
Это - вне всякого сомнения - очень важное событие для развития нашей профессии в регионе. Хотел бы в связи с этим поздравить и поблагодарить всех, кто имел отношение к созданию данного курса. Отдельное спасибо и низкий поклон Наталье Кошелевой! Ее роль в данном проекте была ключевой. Можете мне поверить :)

вторник, 26 ноября 2013 г.

И снова о российской ассоциации...

Многие из тех, кто заходит ко мне "на огонек", вероятно, обратили внимание на публикации о создании российской ассоциации специалистов по оценке программ. При попытке зарегистрировать такую ассоциацию инициативная группа столкнулась с рядом проблем, решить которые будет проще всего, если создавать ассоциацию без официальной регистрации. Сейчас этот вариант прорабатывается. В ближайшее время напишу подробнее.
Наверное, сразу возникнут вопросы: что за проблемы? Они достаточно принципиальны. Приведу один пример. Оказалось, что действующее законодательство РФ не позволяет для принятия важнейших решений использовать онлайновое голосование членов ассоциации (я писал об этом). Высший орган ассоциации - общее собрание членов - понимается в буквальном смысле, они должны физически присутствовать в одном месте и там голосовать. Мы (инициативная группа) рассчитывали на то, что в нашей ассоциации будет возможность дистанционного привлечения всех членов к принятию решений, которые находятся в компетенции общего собрания. Для такой большой страны как Россия мне лично это кажется единственным разумным вариантом в 21 веке. То есть общее собрание (в нашем понимании) должно быть виртуальным, что позволит участвовать в принятии решений всем без исключения членам ассоциации. В рамках действующего законодательства такой механизм для официально зарегистрированной организации использовать нельзя категорически.
Продолжение следует (даже не сомневайтесь!)

четверг, 21 ноября 2013 г.

Развитие оценки программ и проектов в России

Сегодня обсуждали с коллегой развитие оценки программ и проектов в России. Если бы мне пришлось кратко охарактеризовать текущую ситуацию, я бы назвал следующее:
  1. Оценка программ и проектов пока не воспринимается как особая область знания и профессиональная сфера деятельности. Подавляющее большинство людей, занятых разработкой и осуществлением программ и проектов, не представляет, насколько развита оценка программ и проектов за рубежом и слабо знакомо даже с ее основами и с базовыми публикациями, которые пока существуют лишь на иностранных языках (преимущественно - на английском). Предпринимаются первые систематические шаги по распространению информации об оценке программ на русском языке: статьи, книги, дайджесты, пособия, блоги, сайты.
  2. Рынок оценки программ и проектов очень ограничен. Специализация в области оценки программ весьма проблематична. Число специалистов, владеющих методами оценки и имеющих практический опыт проведения оценки программ и проектов, относительно невелико и растет медленно. 
  3. В стране формируется сообщество людей, занятых оценкой или интересующихся оценкой программ и проектов. 
  4. Оценка программ и проектов в государственном секторе пока не является приоритетом. Основное внимание уделяется формированию систем оценки эффективности и результативности деятельности различных учреждений социальной сферы (образование, наука, культура, социальная помощь, здравоохранение).
  5. Из трех видов оценки (экспертная, индикаторная, эмпирическая) в России принимаются во внимание преимущественно экспертная и индикаторная. Эмпирическая оценка программ в России используется преимущественно негосударственными организациями: благотворительными фондами, некоммерческими организациями, и бизнесом (для оценки социальных программ). 

среда, 20 ноября 2013 г.

Перечень как показатель

Опубликовано Постановление Правительства РФ №979 от 01.11.13 об оценке результативности деятельности научных организаций. В качестве приложения к указанному постановлению опубликованы показатели оценки упомянутой выше результативности. Таким образом, появилась еще одна сфера деятельности, где оценивание регламентировано официальным документом высокого уровня. Интересно, что в преамбуле к Постановлению (стр.3) делается акцент на разведении "мониторинга" и "оценки".
Под оценкой понимается вынесение один раз в пять лет суждения о результативности деятельности научной организации (это моя трактовка, четкого определения понятия "оценка" в документе я не нашел). По итогам оценки научная организация может быть отнесена к одной из 3-х категорий. Включение в 3 категорию - это очень плохая новость для организации,

суббота, 16 ноября 2013 г.

Грузинская ассоциация оценки

Вчера удалось встретиться в Тбилиси с руководством и сотрудниками Грузинской ассоциации оценки (GEA - Georgian Evaluation Association). Оказалось, что в этом году ассоциации исполняется уже 5 лет! Это была первая в СНГ официально зарегистрированная профессиональная ассоциация в области оценки программ. Мне было очень интересно ознакомиться с направлениями текущей деятельности грузинского сообщества специалистов по оценке. Поскольку они сами не очень рекламируют свою деятельность, мне тоже неудобно о ней подробно писать. Но скажу, что я был впечатлён и размахом, и разнообразием направлений деятельности. Не думаю, что кто-либо еще у нас в регионе занимается, скажем, государственной политикой в области оценки программ или государственными стандартами в сфере оценки. Конечно, число членов грузинской ассоциации пока относительно невелико, но все еще придет. Главное, что в ассоциации работают люди, которые серьезно относятся к оценке. И, что особенно приятно, все стажеры и волонтеры GEA очень молоды и глаза у них горят :)
PS Кстати, у GEA отличный офис в очень хорошем месте.

пятница, 15 ноября 2013 г.

Оценка замысла проекта - модель IMACON

Вышла в свет новая книга наших коллег из Беларуси Сергея Готина и Владислава Величко "Модель IMACON: оценка замысла проектов, мониторинг, организационное развитие" (скачивается бесплатно в формате PDF). Это одна из немногих известных мне публикаций, где очень подробно рассматриваются методика и инструментарий оценки замыслов проектов. Авторы описывают свою методику так: "Методология IMACON позволяет осуществить комплексную оценку проектного предложения, указать на узкие места концепции проекта и дать конкретные рекомендации по совершенствованию заявки еще до выделения финансирования. Она также дает возможность предвидеть угрозы, существующие для успешной реализации проекта, и предлагает инструмент визуального сравнения проектных предложений в процессе принятия решений об их поддержке".
Поздравляю Сергея и Владислава, а также всех нас с новой полезной публикацией на русском языке!

Вот полные библиографические данные этой книги:
Модель IMACON: оценка замысла проектов, мониторинг, организационное развитие /
С. В. Готин, В. В. Величко. – Вильнюс: UAB “Petro Ofsetas”, 2013 – 132 c.

среда, 13 ноября 2013 г.

Экспертиза vs Оценка на основе индикаторов

В 2011 гг. я предложил классификацию видов оценивания (применительно к оценке программ), включающую три категории:
  1. Экспертную оценку
  2. Оценку на основе индикаторов 
  3. Эмпирическую оценку
Здесь можно об этом прочесть чуть подробнее. Надеюcь, что в конце этого года или в начале следующего выйдет наша с Д.Цыганковым статья в канадском журнале (Canadian Journal of Program Evaluation), где данная классификация будет представлена англоязычному профессиональному сообществу. Журнал, кстати рецензируемый :)
Специалисты по оценке программ, как правило, выделяют типы оценки и обсуждают соответствующую методологию в рамках парадигмы эмпирической оценки. Практика же показывает, что использование экспертизы и оценки на основе индикаторов не менее значимо. Более того, для выбора оптимального варианта оценивания зачастую необходимо принять во внимание все три возможных подхода. В этом и состоит практическая польза предложенной классификации.
В статье, на которую я ссылался вчера, академик Паршин говорит о преимуществах экспертизы по сравнению с оценкой на основе показателей при вынесении суждения об эффективности исследовательской деятельности. Вот выдержка из той статьи: "Конечно, ученые предлагают альтернативы количественным показателям. Паршин считает, что главным способом оценки должна стать экспертиза. Так, он обращает внимание: работа редколлегий, отбор докладчиков на конференции, отбор экспертов существовали в науке много лет, а они часто основаны на субъективных оценках. «Мой личный опыт участия во всех упомянутых видах оценочной деятельности говорит, что, как правило, она приводит к разумным результатам», — утверждает Паршин".

вторник, 12 ноября 2013 г.

Оценка эффективности работы научных учреждений

Отличная статья в Газете.ру про оценку эффективности работы научных учреждений. Автор разобрался в вопросе и не ограничился ставшей традиционной критикой реформы РАН. Очень содержательная статья. Затрагивается в ней и тема методологии оценки на основе показателей. В частности, академик Паршин утверждает: «Как только вы начинаете оценивать какой-то содержательный процесс по формальному показателю, так довольно быстро целью процесса становится не та содержательная деятельность, которую вы оцениваете, а стремление любой ценой увеличить этот показатель». Кому из специалистов по оценке этот тезис не знаком?
Оценка - альфа дисциплина, однозначно

понедельник, 11 ноября 2013 г.

2015 станет Международным годом оценки

Международные даты и периоды ООН — специальные мероприятия и памятные даты, объявляемые Генеральной Ассамблеей с целью привлечения внимания к проблемам интернационального значения. Существуют международные десятилетия, годы, месяцы, дни. Например, текущий год является Международным годом водного сотрудничества, а 2014 год объявлен Международным годом кристаллографии. 
2015 год объявлен Международным годом оценки (International Year of Evaluation). Это решение поддержано ООН на самом высоком уровне. Генеральный секретарь ООН лично выступил по этому поводу и поддержал инициативу движения EvalPartners, объединяющего профессиональные организации в области оценки по всему миру. Международный год оценки объявлен для продвижения оценки на международном, региональном, национальном и местном уровнях. Уверен, что и в СНГ и в России 2015 год будет отмечен многими интересными событиями: конференциями, семинарами, публикациями и т.д. Эту уникальную возможность для развития нашей профессии необходимо использовать максимально эффективно! Подготовка уже началась.

пятница, 8 ноября 2013 г.

Знать то, что сделали предшественники

В исследовательской работе исключительно важным является отслеживание и анализ уже существующего знания для того, чтобы (а) определить "белые пятна" и (б) связать вновь генерируемое знание с уже имеющимся. Проблема, с которой сталкивались все, кому нужно было ознакомиться с существующим интеллектуальным контекстом их исследовательской работы в социальных науках, заключается в том, что огромный массив знаний существует на иностранных языках. Была такая проблема и у меня. В свое время пришлось специально поехать в США, чтобы провести месяц в университетской библиотеке. Иначе просто невозможно было погрузиться в море информации по оценке программ.
Сейчас ситуация меняется, и исследователям становятся доступны новые каналы получения информации. Отмечу три, касающиеся оценки программ и не только:
1) Благодаря фантастическому проекту Google Books  миллионы книг и журналов можно теперь читать в онлайне бесплатно.
2) Бесплатный портал BetterEvaluation позволит сориентироваться в мире оценки и выйти на авторов и публикации, которые могут быть интересны исследователю.
3) За относительно небольшую плату (85 долларов США в год) можно вступить в Американскую ассоциацию оценки и получить доступ не только к последним выпускам American Journal of Evaluation и New Directions in Evaluation, но и (внимание!) к онлайновой базе, где есть все выпуски указанных изданий за все время их существования. База позволяет производить поиск по ключевым словам. А в каждой статье есть библиография...
Фактически сегодня любой человек, имеющий доступ к интернету, может провести серьезный анализ литературы по интересующей его проблеме. Если сложно читать по-английски, можно воспользоваться переводчиком Google. У нас нет больше оснований снижать "планку" из-за отсутствия доступа к зарубежным публикациям.

среда, 6 ноября 2013 г.

В Казахстане оценили программу "Болашак"

Программа "Болашак" была инициирована президентом Казахстана Нурсултаном Назарбаевым 5 ноября 1993 года для подготовки кадров в престижных иностранных высших учебных заведениях. За прошедшие 20 лет в программе приняли участие около 10 тысяч человек. 
Приятно отметить, что в Казахстане не только провели оценку такой заметной и значимой для страны программы, но и организовали специальную конференцию, на которой были представлены и обсуждены результаты этой оценки. К сожалению, в интернет-изданиях дается очень сжатая информация. Однако даже на основании этой информации можно сделать вывод о том, что казахстанские коллеги сделали еще один шаг на пути к доказательному менеджменту в государственном управлении. 
Я слышал раньше об этой программе и не раз встречал ее выпускников - весьма профессиональных людей, работающих на ответственных позициях в органах государственного управления. Но я не представлял масштабов этой программы. 10000 человек, обученных в хороших зарубежных вузах за 20 лет - это серьезно. Естественно, и оценка такой программы - задача не из простых. 
Мне понравилось, что критикам программы, использующим эмоциональные и не вполне корректные доводы типа "они (выпускники программы) изучали английский язык в пивбарах" противопоставляется весьма убедительная аргументация, основанная на результатах изучения карьеры выпускников, отзывах самих выпускников, их работодателей и экспертов. Тем самым дискуссия переводится из эмоционального в профессиональный план, что очень отрадно.
Если бы я участвовал в обсуждении результатов оценки, я, наверное, задал бы следующие вопросы: 
- В какой мере оправдались ожидания от программы? Получился ли тот эффект,  на который рассчитывали? 
- Каковы сильные и слабые стороны программы? 
- Каковы возможности совершенствования программы?
И есть один вопрос методологического свойства. Как пишут в интернете, "оценка проводилась институтом общественной политики при казахстанской партии власти "Нур Отан". Вопрос заключается в том, в какой мере использованная методология позволила получить непредвзятые результаты, отражающие реальное положение вещей. Упоминание "вредных, критически настроенных экспертов", которые привлекались для оценки программы, меня не вполне удовлетворило в этом плане. Было бы интересно узнать детали. Но это, если бы была такая возможность. 
А пока хочу еще раз поздравить казахстанских коллег с очередным успехом на пути практического внедрения оценки программ. Они это ДЕЛАЮТ, а не ГОВОРЯТ о необходимости оценки.

четверг, 31 октября 2013 г.

78 вопросов

Знакомился с документами по одной программе и обнаружил задание на проведение оценки, в котором 78(!) вопросов. Это рекорд, больше я еще не видел. 

четверг, 24 октября 2013 г.

Оценка как альфа-дисциплина

В последние годы в профессиональных кругах активно обсуждается постулат Майкла Скривена о том, что оценка является "царицей" других дисциплин или альфа-дисциплиной.Не стала исключением и прошедшая на прошлой неделе конференция Американской ассоциации оценки в Вашингтоне, где Скривен присутствовал и выступал. Он считает, что пришло время «перевести оценку из статуса уважаемой дисциплины в статус альфа-дисциплины. Альфа-дисциплина – это та, что преобладает над другими, в данном случае – имеет ключи к царству других дисциплин. У оценки (evaluation - АК) есть такое свойство, поскольку все дисциплины полностью зависят от их легитимности и от качества их внутридисциплинарной оценки, т.е. от их способности отличить хорошее от плохого в отношении теорий, данных, гипотез, объяснений…, составляющих основу любой дисциплины. Классические дисциплины переживают в этом отношении не лучшие времена, что подтверждается непрекращающимися скандалами по поводу подтасовки результатов в сферах анестезиологии; клинических испытаний лекарственных препаратов; распределения финансовых средств…» (перевод мой - АК)

понедельник, 21 октября 2013 г.

Новая методика оценки эффективности ВУЗов

Вчера в электронных "Известиях" была опубликована информация о том, что министерство образования РФ в в ближайшие дни "утвердит методику расчета показателей трудоустройства выпускников вузов. Эти критерии являются основными при оценке эффективности вузов. Согласно проекту данного решения Министерства образования, ведомство Ливанова будет рассчитывать эффективность вузов на основании данных службы занятости". То есть, при определении количества трудоустроившихся в расчет будут брать только тех выпускников, кто обратился за помощью в службу занятости.

Если эта информация  верна, то для получения высоких оценок ВУЗам будет необходимо сделать так, чтобы (в идеале) все обратившиеся в службу занятости выпускники были трудоустроены. Остальные выпускники в данном случае нас не интересуют. Неважно, судя по публикации, и то, по какой специальности они трудоустраиваются. В этой ситуации маленьким ВУЗам, у которых выпускников меньше, будет легче контролировать их трудоустройство, а, значит, легче будет получить высокую оценку.
Соответственно, ВУЗам можно предпринять следующие шаги:
1) Принимать в ВУЗ только тех, кто уже имеет гарантии трудоустройства. Нет гарантий - свободен!
2) В принудительном порядке направлять в службу занятости лучших выпускников, которые с высокой вероятностью устроятся на работу. Запретить им искать работу самостоятельно. Также в обязательном порядке требовать трудоустройство через службу занятости для тех, у кого при поступлении были гарантии (т.е. кто уже знал, где будет работать).
3) Создать систему гарантированного временного трудоустройства для выпускников. Например, учредить при ВУЗе несколько компаний и временно принимать туда всех, кто не успевает устроиться в оговоренный методикой оценки срок. Можно также обеспечивать рабочей силой дружественные компании. Только обязательно через службу занятости, с которой можно заключить соответствующий контракт. Пусть выпускники ищут работу по специальности, а пока можно будет их использовать для нужд "альма матер" и дружественных компаний на любой работе. И показатель будет высоким. Оформить, кстати, можно и по специальности. Потом, если что, - уволить по окончании испытательного срока (это после замера эффективности ВУЗа надо делать, естественно).
4) Внимательно изучить, как будут регистрировать факт трудоустройства в службе занятости и посмотреть, что еще можно сделать, чтобы трудоустройство гарантировать.

В целом, мне кажется, что использование числа трудоустроившихся через службу занятости выпускников - не очень удачный индикатор эффективности ВУЗа, если он действительно будет основным или единственным. Если же он будет использоваться наряду с другими показателями, то почему бы и нет? Только надо все-таки обязательно смотреть на трудоустройство всех выпускников, а не только тех, кто в службу занятости пошел. А то выборка явно не репрезентативная получается. 

Масштабы конференции

Так выглядели пленарные сессии. Чтобы весь зал сфотографировать, нужна была бы панорамная съемка. И все эти люди занимаются оценкой на постоянной основе, являются членами национальной ассоциации, приезжают на конференции, ведут исследования, пишут статьи и книги, учат студентов... На конференции в этом году была примерно треть членов Американской ассоциации оценки. Всего сейчас около 9 тысяч человек в ассоциации. На порядок больше людей вовлечено в индустрию оценки в США. Счет идет на десятки, если не на сотни, тысяч. 
PS Белая вертикальная полоса на фотографиях - это дефект моего фотоаппарата, а не Вашего компьютера :) 

воскресенье, 20 октября 2013 г.

Развитие качественных методов исследования в начале 21-го века

Одно из самых интересных выступлений, которые мне удалось послушать на конференции Американской ассоциации оценки в Вашингтоне, было посвящено тенденциям развития качественных методов исследований и оценки. Майкл Пэттон - один из самых цитируемых в мире авторов, которые пишут о качественных методах исследований. Вот его список 10-ти основных направлений развития качественных методов (не в порядке значимости) - информация к размышлению.
1. Целесообразная (целенаправленная) выборка - существенное расширение спектра возможных подходов к формированию выборки (Пэттон настаивает на термине "целенаправленная"/purposeful в противоположность термину "целевая"/purposive, который, по его мнению, менее информативен, но более распространен в специальной литературе).
2. Личностный фактор: исследователь или специалист по оценке как инструмент качественного исследования (компетенции, опыт, экспертиза и т.д.)
3. Значимость глубокого понимания контекста.
4. Качественная оценка как воздействие.
5. Влияние практики и запросов пользователей на развитие методологии качественного исследования.
6. Визуализация данных.
7. Использование смешанных методов.
8. Этика качественного исследования.
9. Социальные сети как источник данных, средство сбора данных и способ распространения результатов.
10. Специализированное программное обеспечение (внимание: компьютер помогает организовать данные, но извлекать смыслы все равно надо человеку).

пятница, 18 октября 2013 г.

3500 участников

На конференции Американской ассоциации в этом году 3500 участников. Официальные мероприятия начинаются в 7 утра и заканчиваются около 9 вечера. Потом - неофициальные мероприятия :) Поэтому времени поделиться впечатлениями в блоге не остается.
Пока хочу отметить три темы:
1) Тут в литературе и в выступлениях очень часто используется термин evaluative thinking ("оценочное мышление" или что-то вроде того). Вчера был на сессии, где рассказывали о результатах исследования, в котором приняли участие ведущие теоретики США в сфере оценки. Целью исследования было сформулировать определение указанного выше понятия. Итог: консенсуса по этому поводу пока нет, хотя всем участникам было интересно.
2) Был на сессии  по использованию анализа социальных сетей в оценке. Очень полезно оказалось с технической точки зрения. Думаю, что мы обязательно и дальше будет этим методом пользоваться, и к следующей конференции IPEN в Бишкеке я  постараюсь подготовить семинар небольшой, чтобы более подробно об АСС рассказать.
3) Майкл Пэттон рассказал о состоянии развивающей оценки в начале 21 века. Краткое резюме. Довольно многие специалисты говорят, что используют этот подход. "Заходят" они туда по-разному. Кто-то из системного подхода, кто-то из инноваций и т.д. Главное в развивающей оценке - соблюдение некоторых базовых принципов. Вероятно, не все, кто использует развивающую оценку, соблюдают эти принципы. Но это нормально. Главное - обмениваться опытом, учиться друг у друга. А жизнь расставит все по своим местам со временем. 

среда, 16 октября 2013 г.

Семинар Jane Davidson. День 2.

Ну вот, теперь ознакомился с подходом из первоисточника. Многие вещи полностью совпадают с тем, как мы работаем: необходимость формулирования хороших вопросов в задании, необходимость аргументирования ответов на основе полученных данных, подход к написанию отчета (общие принципы), осторожность в выработке рекомендаций. Сами по себе оценочные шкалы считаю полезным изобретением в контексте оценки. Думаю, это пригодится нам.

Не совпадает:

вторник, 15 октября 2013 г.

PS К записи от 13 октября

Вчера Майкл Пэттон опубликовал в блоге Американской ассоциации оценивания заметку со следующим названием: "Как использовать программу конференции в качестве источника информации о тенденциях развития оценки" Гуру весьма инструментален в своих размышлениях, и он прав: онлайновая программа конференции с различными опциями для поиска действительно позволяет понять, с чем народ приехал. А это при участии 3000 человек со всего мира отражает тенденции развития нашей дисциплины.

Семинар Jane Davidson. День 1.

Давно слежу за публикациями и выступлениями Jane Davidson из Новой Зеландии. Безусловно, она в оценке стала звездой мировой величины. Потому решил посетить ее двухдневный семинар. У нее еще очень приятная манера работы с группой, потому участвовать в семинаре - одно удовольствие. У Джейн много статей, доступных в онлайне бесплатно. В частности, у нее есть свой сайт (англ.).
Самым интересным для меня оказалось то, как Джейн трактует оценку программ. Она училась у Майкла Скривена и, как мне кажется, очень последовательно и удачно превратила его теоретические построения в практическую модель проведения оценки. При этом апофеозом оценки для Джейн являются ответы на вопросы задания в формате оценочных шкал (термин "оценочные шкалы" предложен Натальей Кошелевой как перевод термина rubrics, используемого Джейн). Джейн говорит, что только так надо делать оценку. Вот здесь получается некоторое расхождение между ее (и Скривена) трактовкой того, что такое "правильная" оценка, и тем, как оценку понимают очень многие другие специалисты, включая Майкла Пэттона.

воскресенье, 13 октября 2013 г.

Конференция в Вашингтоне

В этом году тема конференции - "Состояние практики оценки в начале 21 века". Хорошая тема! Хотя, на мой взгляд, конференции Американской ассоциации оценки ценны именно тем, что каждый год на них можно узнать о текущем состоянии и теории, и практики оценки. Сюда приезжает большинство ведущих ученых и практиков со всего мира. Есть, кого послушать и у кого поучиться. В этом году впервые ожидается, что число участников перевалит за 3000. Завтра начинаются семинары. Собственно конференция откроется в среду. 

суббота, 28 сентября 2013 г.

Конференции IPEN: про будущее

Вчера завершилась конференция IPEN. К сожалению, не удалось побывать на всех сессиях, которые меня интересовали. Это неизбежно, когда сессии идут параллельно. Хотел бы отметить одну сессию, которая прошла в необычном формате. Организаторы назвали ее  "Форум национальных профессиональных объединений в области оценки". Сессия проходила в малой группе (человек 10 всего было) в формате "круглого стола". Участвовали коллеги из Финляндии, Германии, Украины и Кыргызстана. Я представлял инициативную группу, которая занимается созданием российской ассоциации. Общались в течение 3 часов. Получился очень содержательный и интересный разговор.
На закрытии конференции обсуждали, кто должен участвовать в конференциях IPEN и нужно ли организовывать специальные конференции для определенных категорий участников, например, для представителей государственных органов управления. Я думаю, что миссия IPEN заключается в том, чтобы продолжать развивать пространство для профессионального общения специалистов по оценке. Другими словами, IPEN - это организация, которая работает, в первую очередь, в интересах тех, кто занимается оценкой программ. Поэтому их интересы при подготовке и проведении конференций надо считать приоритетными. Вероятно, в каких-то случаях наши конференции могут заинтересовать представителей государственных структур, бизнеса, научных учреждений. Но "перепрофилировать" конференции IPEN не следует. А мы с коллегами постараемся продолжить в них участвовать, где бы они ни проходили.
Думаю, что в будущем организаторам конференций IPEN надо уделять особое внимание созданию возможностей для участия в конференциях местных специалистов. Вчера подтвердилась моя догадка о слишком высоком для Молдовы уровне регистрационных взносов. Думаю, что эту проблему можно было бы решить, предложив местным участникам льготные условия, например. Но этим вопросом вовремя никто не озаботился. К тому же, на мой взгляд, исключительно важно начинать подготовку конференций заранее и организовывать специальную информационную кампанию для привлечения местных участников. 

четверг, 26 сентября 2013 г.

Участники конференции в Кишиневе

Завершился первый день конференции в Кишиневе. Как всегда, много интересного. Выступали представители России, Кыргызстана (3), Украины (3), США. На конференции присутствуют гости из Германии и Финляндии. В то же время сегодня было лишь одно выступление специалиста из Молдовы. И такое впечатление, что на конференции больше зарубежных гостей, чем хозяев. Не знаю, как это получилось, но потенциал конференции явно не использован молдавскими коллегами в полной мере. Может, регистрационный взнос получился слишком высоким? Как-то не верится, что в Молдове никто не интересуется оценкой программ...

Ну, за водолазов!

Вчера в Кишиневе успешно прошли семинары. Через полтора часа состоится открытие конференции. В одном из перерывов кто-то из коллег, рассуждая о ценности IPEN для профессионального развития, отметил, что конференция IPEN, по существу, является пока единственным профессиональным форумом в сфере оценки программ в нашем регионе. И проходят эти конференции уже 14(!) лет. Общее число участников конференций уже исчисляется тысячами. Во многом своей устойчивой работой IPEN обязана относительно небольшой группе активистов. Как говорили в одной старой кинокомедии, "без лишних слов, без громкой фразы, в любых условиях, везде большое дело водолазы спокойно делают в воде". Низкий поклон "водолазам"! :)

среда, 25 сентября 2013 г.

Сегодня начинается конференция IPEN в Кишиневе

Сегодня в Кишиневе начинается очередная конференция Международной сети "Оценка программ" (IPEN) - единственная пока в нашем регионе ежегодная конференция по вопросам оценки. Первая конференция  IPEN прошла в Новосибирске в 2000 году. Историю и материалы конференций IPEN (с 2005 года) можно посмотреть здесь. Тема нынешней конференции - "Оценка программ и проектов в государственном секторе". Судя по всему, общее число участников будет около 60-70. В Молдове конференция IPEN проводится впервые. Сегодня проходят ставшие традиционными предконференционные семинары. Собственно конференция открывается завтра. В рамках нынешней конференции впервые пройдет форум национальных объединений по оценке с участием представителей профессиональных ассоциаций из Финляндии и Германии. Считаю это очень важным знаком, т.к. уверен, что центрами активности в сфере развития оценки в регионе сегодня являются именно вновь создаваемые национальные профессиональные ассоциации. В конференции примет активное участие ветеран движения и давний друг IPEN член Правления Международной организации сотрудничества в области оценки Джим Ру (Jim Rugh) из США. Участие наших зарубежных коллег поддержал проект EvalPartners, за что ему большое спасибо! 

среда, 4 сентября 2013 г.

Сила сетей

Анализ социальных сетей (АСС) - это подход, использование которого в оценке программ можно было бы считать инновацией лет 10 назад. В 2005 году в серии "Новые направления в оценке" вышла книга Social Network Analysis in Program Evaluation. С тех пор прошло уже 8 лет, однако в нашем регионе АСС по-прежнему применяется достаточно редко. Именно поэтому в июне меня пригласили рассказать об этом методе и возможностях его использования на конференции в Алматы. На сайте проекта "Интерактивное сообщество" выложена моя презентация и есть (короткое) видео-интервью о роли социальных сетей в развитии неправительственных организаций. 

пятница, 30 августа 2013 г.

Карен Фелан устала притворяться и рассердилась

"Простите, я разрушил вашу компанию. Почему бизнес-консультанты - это проблема, а не решение". Книгу с таким названием написала Карен Фелан, соучредитель ... консалтинговой фирмы Operating Principals, которая помогает компаниям заменить неработающие управленческие практики работающими. Она проработала больше 30 лет консультантом в таких компаниях, как Deloitte & Touche и Gemini Consulting, а после работала топ-менеджером нескольких компаний из списка Fortune 100.
Естественно, в заголовке книги Карен не имеет в виду свою собственную консалтинговую фирму."Плохие парни" сосредоточены, по ее мнению,

понедельник, 26 августа 2013 г.

Теоретик, практик или организатор?

На мой взгляд, люди, которые сделали карьеру в сфере оценки программ и стали настоящими профессионалами, делятся на три категории: теоретики, практики и организаторы. Все они делают важные вклады в развитие оценки как профессии, но вклады эти разные.
Теоретики - это те, кто специализируется в сфере развития знания об оценке. Они чаще всего работают в университетах или при университетах и занимаются исследовательской деятельностью.

вторник, 6 августа 2013 г.

Конференция в Кишиневе

Очередная конференция Международной сети "Оценка программ" пройдет в Кишиневе в конце сентября. Приятно, что Молдова присоединилась к странам, которые принимали конференции IPEN. Ранее конференции проходили в Армении, Грузии, Казахстане, России, Украине. Программа конференции интересная. Уникальным событием станет форум национальных объединений специалистов по оценке из стран СНГ с участием коллег из дальнего зарубежья. Я планирую принять участие в сессии по новым подходам в оценке программ и провести сессию по компетенциям специалистов в области оценки. 

вторник, 18 июня 2013 г.

Сообщение об оценке услуг в социальной сфере

На сайте Кузбасского центра "Инициатива" сегодня была размещено мое  сообщение о принципах оценки услуг в социальной сфере. Там же можно скачать презентацию в формате PDF. Оценка услуг и оценка программ, конечно, смежные области, но между ними есть и существенные отличия. 

четверг, 13 июня 2013 г.

Как оценить эффективность Public Relations

Всем, кто интересуется оценкой программ и проектов, рекомендую ознакомиться с новой публикацией. Международная ассоциация по медиаизмерениям и оценке коммуникаций (AMEC), Международная ассоциация консультантов в области связей с общественностью (ICCO) и Ассоциация консультантов в области связей с общественностью Великобритании (PRCA) опубликовали компактное руководство по измерению в сфере PR (англ.). Андрей Баранников, генеральный директор SPN Ogilvy, комментируя появление данного руководства, сказал: "Оценка эффективности коммуникаций – один из "вечных" вопросов нашей индустрии. К сожалению, в российском профессиональном сообществе до сих пор нет единства понимания того, как измерять результаты PR-активности; у многих компаний практика оценки отсутствует вовсе или базируется на примитивных методах, не дающих представления о том, как коммуникации влияют на бизнес-эффективность". Г-н Баранников надеется, что "руководство, созданное зарубежными коллегами... поможет связям с общественностью в России выйти на качественно новый уровень и укрепить свой статус как стратегической функции менеджмента".
Я полностью согласен, что руководство может быть полезно. Однако несколько сомневаюсь насчет его судьбоносной роли - оно носит скорее обзорный характер и недостаточно инструментально для тех, кто соберется воспользоваться им на практике. И еще: мне некомфортно читать текст, написанный белым по черному. 

четверг, 18 апреля 2013 г.

Профессиональные компетенции специалиста по оценке программ

Как известно, компетенции — это знания, умения, навыки, модели поведения и личностные характеристики, позволяющие эффективно выполнять определенную деятельность (достигать результатов). Подробнее о "компетенциях" можно почитать, например, здесь. Приведенное выше определение взято именно из этой статьи О.Светлышевой. Важной особенностью этого определения является акцент на эффективном выполнении деятельности, а не только на наличии совокупности знаний, умений и навыков.
Почему важно иметь четко сформулированные компетенции для специалиста по оценке программ? Приведу несколько причин:

среда, 13 марта 2013 г.

Про российскую ассоциацию

Около года тому назад я писал о начале работы по созданию российской профессиональной ассоциации (скорее всего, называться она будет так: "Общество оценивания программ и политик"). Процесс идет медленнее, чем того ожидали члены рабочей группы, занимающиеся созданием ассоциации, и все сочувствующие. Тем не менее, скоро будут поданы документы на регистрацию ассоциации в Новосибирске. Замечу, что с появлением в Гражданском кодексе РФ "ассоциации" как новой формы общественного объединения, нам пришлось переделать проект устава, т.к. именно эта новая форма нам больше всего подходит. Надеюсь, что в этом году ассоциация начнет работать. 

воскресенье, 10 марта 2013 г.

Студенты и не студенты

Я очень редко веду занятия со студентами в ВУЗе (фактически раз в год читаю небольшой курс по вечерам). Намного чаще провожу семинары по оценке программ и проектов для специалистов. Разница, конечно, огромная. Специалисты участвуют в семинарах, потому что хотят что-то узнать и чему-то научиться. Они по-настоящему "пашут", задают много вопросов. Для большинства же студентов участие в моем курсе - эпизод в борьбе за диплом, в чем их винить я никак не могу. Сам был таким. Не знаю, как с этим справляются кадровые преподаватели, но для меня довольно сложной задачей оказывается настройка на  проведение занятий. Помогает то, что каждый год есть несколько студентов, которым действительно интересно то, о чем я рассказываю. Они не опаздывают на полтора часа и не уходят после того, как я отмечу присутствующих :) Получается, что курс читаю для небольшой группы ребят, а остальные присутствуют время от времени в качестве зрителей. Когда думаю о том, вести ли вузовский курс в следующем году, всегда вспоминаю тех нескольких заинтересованных студентов. Спасибо им! :)

пятница, 22 февраля 2013 г.

Страсти по мета-оценке в Латвии

Мета-оценкой называют оценку оценки. Нешуточные страсти разгорелись вокруг одной такой оценки в Латвии. 
Дело было так. 
Латвийский Совет по высшему образованию (СВО) осуществил проект  "Оценка программ высшего образования и предложения по повышению его качества". Говорят, на эту оценку было потрачено около миллиона латов, что эквивалентно примерно 1,9 млн. американских долларов.  
После этого Министерство образования и науки Латвии заключило с аудиторской компанией Deloitte Latvia договор об аудите законности и качества реализованного СВО проекта (по существу, это мета-оценка). 
Аудиторы указали на "проблемы с выбором экспертов, наличие конфликта интересов, отсутствие у экспертов соответствующей квалификации и опыта, а также на др. проблемы". 
По результатам аудита глава Минобрнауки Латвии (заказчик аудита качества оценки) сделал заключение, что "выводы СВО нельзя использовать из-за плохого качества и нарушений в ходе оценки программ".
В ответ СВО обратился в Генпрокуратуру с просьбой рассмотреть законность действий Минобрнауки.  
Теперь стороны будут приводить свои аргументы генеральному прокурору. 
Подробнее почитать об этих событиях можно здесь.

среда, 20 февраля 2013 г.

Хороший вопрос

На лекции в Высшей школе экономики после того, как я рассказал об оценке программ; о том, почему она нужна; и как она помогает повысить эффективность программ; одна студентка спросила: "Все это выглядит весьма убедительно. А почему тогда у нас в стране до сих пор институт оценки не особо развивается?". Я считаю, что это был очень хороший вопрос!

среда, 6 февраля 2013 г.

Мониторинг культурной жизни города Москвы и оценка эффективности деятельности учреждений культуры

Целью мониторингового исследования культурной жизни Москвы являлась социальная картография институциональной инфраструктуры, находящейся в ведомстве Департамента культуры г. Москвы, и оценка эффективности ее работы с точки зрения вовлечения горожан. Исследование было проведено Московским институтом социально-культурных программ по заказу Департамента культуры г. Москвы. Полный текст отчета доступен в интернете вместе с 7-ю приложениями. 

вторник, 5 февраля 2013 г.

И еще о доверии

В предыдущей записи я поделился размышлениями о том, как клиенты выбирают консультантов и насколько важно в этом процессе установление доверительных отношений. Для того, чтобы тему осветить полностью, необходимо добавить, что процесс выбора - взаимный. Консультант тоже присматривается к клиенту и принимает решение о том, может ли он и хочет ли он работать с этим человеком, с его командой и с его организацией. Так же как не каждый консультант подходит определенному клиенту, не каждый клиент подходит отдельно взятому консультанту. В этом, кстати, одно из преимуществ статуса независимого консультанта: можно выбирать и работать только с теми людьми, которые тебе подходят. 

четверг, 31 января 2013 г.

Консультирование и конфиденциальность

В силу особенности профессии консультанты по организационному развитию и оценке программ (это две области моей специализации) узнают о клиентах много такого, что не может и не должно становиться достоянием гласности. Речь может идти об особенностях отношений между отдельными людьми; о конфликтах; о внутриорганизационных проблемах; о слабых сторонах людей и организаций; о недочетах и ошибках; о намерениях и планах. Этот список легко можно продолжить, поскольку  отношения между клиентом и консультантом всегда носят достаточно доверительный характер, и консультант оказывается глубоко погружен в реальность организации или программы.
Соответственно, на стадии заключения контракта один из главных вопросов, на который должен для себя ответить клиент, заключается в том, вызывает ли консультант доверие. За четверть века работы в качестве консультанта мне приходилось много раз наблюдать, как люди присматриваются ко мне и решают, можно ли  мне доверять. Порой это бывает для них непросто. Я отношусь к этому процессу с пониманием и уважением. Бывало, что процесс "присматривания" занимал достаточно много времени. Бывало, что должного уровня доверия так и не возникало, и продолжения в виде контракта не следовало. Но, если мы преодолевали тот самый первый барьер, то в дальнейшем отношения были весьма доверительные. Важно, что степень доверия в данном случае определяется не положениями формального контракта о конфиденциальности и соответствующими угрозами в виде санкций за разглашение каких-либо данных. Совершенно понятно, что гарантией конфиденциальности, на самом деле, являются принципы, которыми руководствуется консультант, его система ценностей и репутация. Репутацией своей мы с коллегами очень дорожим и хорошо понимаем, что создается она годами и десятилетиями, а разрушена может быть в одночасье. Этого как раз в контракте не запишешь.