Экспертная оценка качества или Качественная оценка экспертов

Эксперты располагают данными (анкеты, опросные листы, результаты тестов, собеседований и пр.), позволяющими оценить по пятибалльной системе степень принадлежности качества кандидату. Пятибалльная система привычна и обеспечивает возможность представительной оценки степени принадлежности качества кандидату, например, по шкале из табл. 4.12.

Таблица 4.12. Шкапа оценки качества диплома

Результатом работы экспертов станет таблица оценок каждого из десяти качеств модели каждым экспертом. Количество экспертов определяется важностью решения и средствами, выделенными на экспертизу, аудит персонала. Эти данные занесены в матрицу м (рис. 4.30).

Примечание

Существенный недостаток данной методики в том, что все эксперты обязаны оценить все без исключения качества испытуемого. Мы должны заполнить прямоугольную матрицу M. Но в реальной жизни далеко не все привлеченные к этой работе являются признанными экспертами в оценке всех качеств объекта исследования.

В пункте 1 на рис. 4.30 оценки экспертов введены в матрицу м, содержащую девять строк (число экспертов n, j :=i. .n) и десять столбцов (число качеств m, i:=i. .m). На рис. 4.30, как и на рис. 4.29, также сделана попытка (пункты 2, а и 2, b) графической оценки "собранности" качеств менеджеров и уровня оценок экспертов.

Пятибалльная средневзвешенная оценка деловых качеств менеджера определяется по формуле, показанной в пункте 4 на рис. 4.31, где αi; — весовой коэффициент для i-ro качества, определяется в пункте 3. Весовые коэффициенты определяют относительную значимость качеств: если i-e качество представляется незначимым, то весовой коэффициент αi равен нулю.

Рис. 4.30. Оценка качеств менеджера (начало)

Рис. 4.31. Оценка качеств менеджера (окончание)

Придание коэффициенту ai значения, равного единице, делает незначимыми все остальные качества.

Весовые коэффициенты могут быть установлены различными способами: - лицом, принимающим решения (ЛПР);

- самим экспертом;

- по результатам экспертных оценок качества, косвенно отражающих мнения экспертов о значимости оцениваемых характеристик.

В последнем случае весовые коэффициенты рассчитываются по формуле, показанной в пункте 5 на рис. 4.31.

Средневзвешенная оценка качества менеджера в баллах (пункте 4 на рис. 4.31):

Кm=4.162

Алгоритм определения весовых коэффициентов ai влияет на оценку качества, которая может быть выполнена по выбору ЛПР на основе гипотезы равной значимости весовых коэффициентов, вылившуюся в формулу, показанную в пункте 6 на рис. 4.31. В этом случае оценка качества значительно возрастает (в сравнении со средневзвешенной оценкой):

K1m=4.593

Значения весовых коэффициентов могут быть установлены с учетом специфики конкретного заказа из условия приоритета качеств (требуется "высокий" профессионализм, личность, приятная во всех отношениях, но без особой склонности к руководству). В этом случае приоритеты могут быть зафиксированы, например, на следующих значениях: для профессиональных качеств— 1.15, личностных— 1.05 и деловых— 0.8. Значения весовых коэффициентов для групп качеств определяются операторами, показанными в пункте 7 на рис. 4.31. Средневзвешенная оценка качества менеджера в баллах (пункт 8 на рис. 4.31):

К2m=4.496

Итак, в рассмотренном примере в зависимости от способа определения весовых коэффициентов получены три оценки качества:

- Km =4.162 — при экспертной оценке;

- K1m=4.593 — случай равнозначимых весовых коэффициентов;

- K2m=4.496 — при приоритете профессиональных качеств.

Выбор кандидата— прерогатива лица, принимающего решение, или конкурсной комиссии. Приведенные выше цифры помогут избежать вышеотме-ченных ранее скандалов и недопонимания.

Рассмотренная методика применима для оценки качества самих экспертов, если вспомнить название этого раздела книги. Возможно, руководителю группы экспертов или заказчику экспертизы потребуется анализ результатов работы экспертов для оценки их компетентности, пристрастий или добросовестности.

Весовые коэффициенты i-Гo качества в оценке j-го эксперта рассчитываются по формуле, показанной в пункте 5 на рис. 4.31.

Для наглядного представления результатов работы экспертов, анализа оценок, близости объекта к выбранному эталону качества в некоторых задачах очень удобна радарная диаграмма (Radar-diagram), которую мы задействовали на рис. 4.29 и 4.30. Пример — экспертиза проекта электростанции по таким показателям: экономичность, экологичность, архитектурные решения, совместимость с еще не подпорченным ландшафтом, безопасность, надежность, значимость для экономики региона и т.д. Для всех показателей из центра диаграммы проводятся лучи, на которых откладываются средние значения оценок экспертов. Соединив точки на лучах, получим многоугольник (см. рис. 4.29 и 4.30). Эталону качества будет соответствовать вписанный в окружность с радиусом M (M — высший балл по шкале оценок) правильный многоугольник. Степень приближения к эталону наглядно представляется формой и относительной площадью получившегося на основе оценок экспертов данных многоугольников, которые могут "говорить" более точно, чем колонки цифр.