Представим себе, что эту фразу произносит человек, который является основным пользователем (заказчиком) результатов оценки. О чем свидетельствует такая "обратная связь"? Следует ли специалисту по оценке в такой ситуации посыпать голову пеплом? Должен ли отчет о результатах оценки содержать новую для основных заинтересованных лиц информацию?
Речь здесь идет об эмпирической оценке, в ходе которой происходит систематический сбор эмпирических данных о ходе и результатах программы, а суждения о программе выносятся на основе анализа этих данных.
Качественно проведенная эмпирическая оценка должна давать аргументированные ответы на вопросы, включенные в задание. Хорошо сформулированные вопросы задания должны отражать информационные потребности основных заинтересованных сторон - заказчиков или пользователей результатов оценки (как правило, лиц, принимающих решения). Кроме того, хорошие вопросы задания должны быть такими, чтобы заказчик заранее (на этапе постановки задачи) мог объяснить, как будут использованы ответы на них. Другими словами, вопросы, на которые призвана ответить оценка, должны отражать то, что заказчик действительно хотел бы узнать о программе, и учитывать то, как заказчик предполагает использовать эту информацию.
Если по результатам эмпирической оценки сформулированы аргументированные ответы на все вопросы задания, а заказчик не узнал из этих ответов ничего нового для себя, это может означать, что ответы на вопросы задания ему были заранее известны. Единственный осмысленный вариант включения в задание таких вопросов - желание перепроверить информацию, которой заказчик уже обладает, с помощью внешних специалистов. В этом случае отсутствие новой информации в отчете не является недостатком: оно свидетельствует о совпадении результатов оценки с той информацией, которой заказчик уже обладал. Оценка дала положительный для заказчика результат. На этот случай совет для специалиста по оценке: не расстраиваться :)
Если же заказчик рассчитывал получить какую-то новую информацию, хотел узнать что-то, что ему неизвестно либо известно не в полной мере, а результаты оценки новой информации не содержат, то это может иметь две причины:
1) вопросы задания были сформулированы таким образом, что ответы на них не могли содержать новую для заказчика информацию (он уже знал эти ответы),
2) вопросы задания были ориентированы на получение новой для заказчика информации, но оценка была проведена так, что соответствующая информация получена не была.
В первом случае можно сказать так: какие вопросы, такие ответы. И сбой следует искать на стадии постановки задачи и формулирования вопросов. Здесь роль специалиста по оценке достаточно велика, однако первую скрипку - без сомнения - играет заказчик. Совет для заказчика: хотите узнать что-то новое - спрашивайте о том, чего действительно не знаете.
Во втором случае отсутствие новой информации в отчете однозначно свидетельствует о некачественно проведенной оценке. Это "прокол" специалиста по оценке. Как пелось в одной старой песенке, в этом случае "если хочешь, можешь малость погрустить". Совет для специалиста по оценке: вся работа должна строиться вокруг вопросов задания, а уход от вопросов чреват негативными последствиями для всех участников оценки.
Комментариев нет:
Отправить комментарий