пятница, 27 февраля 2015 г.

Еще раз об оценке эффективности судов

На сайте "Ракурс" опубликована статья о критериях оценки эффективности судов в США. Этой темы я уже касался дважды в связи с публикациями по поводу казахстанского опыта. Статья, о которой идет речь сегодня, написана в связи с судебной реформой на Украине.
Вот какие критерии оценки эффективности судов в США приводятся в данной публикации: 
  1. доступность и объективность
  2. процент рассмотренных дел от общего количества дел, поступивших в суд
  3. соблюдение процессуальных сроков, то есть процент дел, рассмотренных или завершенных другим способом в течение отведенного на них процессуального срока
  4. продолжительность нахождения дел на рассмотрении (количество дней от подачи дела в суд до даты проведения оценки) 
  5. надежность даты слушания дела, то есть количество назначений дат слушания дела при рассмотрении
  6. надежность и целостность материалов дел
  7. процент взысканных и переданных по назначению штрафов от общей суммы назначенных в конкретных делах денежных наказаний
  8. результативность процесса отбора присяжных, достаточно квалифицированных и готовых войти в состав суда, выраженная как процент от общего количества потенциальных присяжных
  9. удовлетворенность работников судебного аппарата
  10. средняя стоимость рассмотрения одного дела, отдельно по типам дел

четверг, 26 февраля 2015 г.

Растём!

Сегодня в Общественной Палате РФ прошел "круглый стол" на тему "Развитие в России культуры оценки социально-экономической эффективности социальных программ". На мой взгляд, о развитии культуры оценки там речи не было вовсе. Зато были представлены очень разные подходы к оценке социально-экономической эффективности как программ, так и организаций. Вероятно, в ближайшее время представленные на "круглом столе" материалы будут доступны на каком-нибудь сайте, потому обсуждать детали представленных подходов я сейчас не буду. Хочу сказать о другом. Судя по всему, мы достигли такого момента, когда достаточно много людей и организаций в России всерьез занимается различными видами оценки программ. Это говорит об определенном уровне развития этой сферы деятельности у нас в стране. Как справедливо отметила одна из участниц "круглого стола", эти совершенно разные подходы к оценке не следует пытаться объединять. Наоборот, каждый из них должен развиваться и совершенствоваться самостоятельно. А объединяться они должны в головах специалистов-практиков, которые по мере необходимости будут выбирать те методы или такое их сочетание, которое даст наилучшие результаты при заданных ограничениях. Чем шире будет методологический репертуар практиков в сфере оценки, тем лучше. И еще: никогда все не будут уметь всё. Уже наметилась вполне отчетливая специализация в сфере оценки у различных групп и отдельных людей, что абсолютно закономерно и правильно. Растём!

пятница, 20 февраля 2015 г.

А кто сказал, что это легко?

Главное при разработке любой программы - аргументированно показать, как действия в рамках программы приведут к достижению цели программы. Другими словами, речь идет об обосновании причинно-следственных связей между действиями и ожидаемыми результатами. 
Сделать такое описание "теории" программы очень непросто. Трудности начинаются уже на стадии формулировки цели программы. Очередное подтверждение тому -  проект Государственной программы «Патриотическое воспитание граждан Российской Федерации на 2016-2020 годы». Говорят, что Росмолодежь подготовила окончательную версию этого документа. Бюджет программы - около 2 миллиардов рублей. Я не имел возможности ознакомиться с доработанной версией программы, но читал ее проект

Вот как в проекте программы были сформулированы цель и задачи программы (курсив мой):

четверг, 19 февраля 2015 г.

Председатель Верховного суда Казахстана - за использование эмпирической оценки

В январе этого года я уже писал о казахстанской инициативе по оценке деятельности судов. Сегодня появилась интересная статья, в которой Председатель Верховного суда Республики Казахстан Кайрат Мами рассказывает о "внедрении социологических замеров как инструмента оценки эффективности деятельности судов и мониторинге работы судов в целом".
«Хочу отметить, что с 16 февраля в судах, при участии Программы развития ООН в Казахстане, будет начат очередной исследовательский проект, который продлится три месяца. Планируется изучить мнение более десяти тысяч граждан по всей республике. Результаты будут рассмотрены по завершении первого полугодия», - сказал Кайрат Мами.
А я хотел бы отметить, что в данном случае одно из высших должностных лиц соседней страны де-факто говорит о том, как важно использование эмпирической оценки ("социологические замеры" есть не что иное как сбор и анализ эмпирических данных) в деятельности государственных органов и какие результаты оно дает. 

среда, 18 февраля 2015 г.

Сколько должна стоить оценка программы

Естественно, стоимость оценки должна соответствовать ценности ее результатов. Однако это мало поможет, скажем, спланировать бюджет оценки на год.
Наиболее распространен подход, заключающийся в том, что стоимость оценки указывают как процент от общей стоимости программы. Как следует из приведенной ниже таблицы, чаще всего бюджет оценки составляет от 5 до 10% от бюджета программы, которую предстоит оценивать.


Это - ориентировочные пропорции, на уровне политик организаций. Понятно, что могут быть оценки, стоимость которых сопоставима со стоимостью программы (например, в пилотных программах). 

Гуманистический подход к оценке программ: есть о чем подумать

Тема эта появилась в моем поле зрения благодаря коллегам из фонда "Культура детства", которые на протяжении нескольких лет последовательно развивают ее.

Для того, чтобы охарактеризовать гуманистический подход к оценке программ, логично обратиться к универсальным базовым принципам гуманизма (см., например, публикации Российского гуманистического общества), а также посмотреть, как этот подход реализован в других сферах, например, в психологии (см. "гуманистическая психология") и педагогике (см. "гуманистическая педагогика"). 

Вот один из вариантов формулировок принципов гуманистической педагогики: 
  1. Учебный процесс должен направляться самим учеником. 
  2. Школы должны готовить учеников, которые хотят учиться и знают, как это делать.
  3. Единственная форма значимой оценки - это самооценивание.
  4. Чувства, как и знания, являются важной частью процесса обучения.
  5. Обучение происходит наиболее эффективно в обстановке, где ученику ничто не угрожает. 
Мне кажется, что даже если просто попытаться переформулировать эти принципы применительно к оценке программ, заменив "обучение" на "оценку", то уже интересно получается. Есть о чем подумать, по крайней мере. 

среда, 11 февраля 2015 г.

Оценочные исследования и доказательный менеджмент в социальной сфере

Вчера в Общественной Палате РФ состоялся "круглый стол" на тему "Актуальные проблемы профессионализации социальных инициатив: вызовы времени и перспективы сотрудничества ВУЗов с негосударственными организациями". Мероприятие было организовано Центром доказательного социального проектирования при МГППУ, о котором я писал недавно.

Свое выступление в рамках "круглого стола" я назвал "Оценочные исследования и доказательный менеджмент в социальной сфере". Тезисы выступления приведены ниже. Презентацию в формате PDF можно посмотреть или скачать здесь

среда, 4 февраля 2015 г.

Оценочный централ

Есть такая закономерность: когда в интернете появляется много ресурсов по какой-либо теме, обязательно находится кто-то, кто создает мета-ресурс, то есть такой интернет-ресурс, который позволяет получить доступ к другим ресурсам. Как правило, создатели подобных сайтов стараются сделать их как можно более удобными и интуитивно понятными для пользователя, наполнить большим количеством ссылок и не добавляют собственный контент. 

Приведу два примера: 

Eval Central. Создатель ресурса - Крис Лиси (Chris Lysy) из США. Это сайт, где автоматически отображаются все записи из нескольких дюжин специализированных (про оценку) блогов. Если вы хотите знать, что происходит в англоязычной блогосфере касательно оценки, заходите сюда. Мой английский блог здесь тоже есть. Только я давно туда не писал. Крис мне очень помог несколько лет назад. Я случайно удалил пару десятков последних записей из своего блога, а у Криса на сайте оказалось все сохранено, и я восстановил эти записи с его помощью. Кстати, название этого ресурса у русскоязычной аудитории может вызвать не связанные с оценкой ассоциации (см. Владимирский централ).

Evaluation Portal Link Connection Создатель этого портала Ларс Бальцер (Lars Balzer) из Швейцарии. Здесь можно найти ссылки на самые разные ресурсы - от книжек до сайтов профессиональных ассоциаций на английском и на немецком языках. Др.Бальцер активно сканирует интернет и сам приглашает людей и организации разместить свою информацию на его сайте. В частности, там есть информация о нашей компании ("Процесс Консалтинг"), о российской Ассоциации специалистов по оценке программ и политик, о Международной сети "Оценка программ"