Оценка результативности научных проектов, оценивающихся по числу количественных и качественных критериев и представленных несколькими экземплярами. Расчёт результативности проектов с использованием метода снижения размерности признакового пространства.
Аннотация к работе
Для групповой сортировки многопризнаковых объектов использован метод АРАМИС [Петровский, 2009], который не требует предварительного построения индивидуальных ранжировок. Одним из важнейших направлений деятельности РФФИ является оценка результативности проектов целевых фундаментальных исследований, которые выполняются в интересах российских федеральных агентств и ведомств. Для оценки содержания проектов и полученных результатов эксперты используют систему качественных критериев с развернутыми порядковыми вербальными описаниях шкал оценок. Кроме того, эксперты выражают свои предпочтения при оценке возможности поддержки проекта на стадии подачи заявки, на промежуточной стадии выполнения проекта, а также определяют фундаментальную и практическую ценность полученных итоговых результатов. Оценка научного уровня полученных результатов (отразить уровень и вклад в научную составляющую проекта) (q21 - превосходит уровень имеющихся решений; q22 - находится на уровне имеющихся решений; q23 - уступают уровню имеющихся решений).Используя интерактивную процедуру снижения размерности признакового пространства, сконструирован составной показатель результативности научных проектов, и получена оценка результативности, рассчитанная разными способами.
Введение
Упорядочивание объектов по многим показателям является одной из типичных задач принятия решений. Ситуация осложняется, когда эти показатели оцениваются несколькими независимыми экспертами. В этих случаях один и тот же объект может существовать в нескольких версиях или копиях с разнообразными, несогласованными или противоречивыми значениями признаков, а свертывание числовых и/или вербальных оценок является или математически некорректным или невозможным.
Различные методы для упорядочивания многопризанковых объектов [Ларичев, 2006], [Саати, 1993], [Hwang et al., 1987], [Pawlak et al., 1994], [Roy, 1996], [Zimmerman et al., 1984] оперируют обычно с количественными, а реже - с качественными признаками. При наличии многих признаков и нескольких экспертов или лиц, принимающих решения (ЛПР), необходимо агрегировать индивидуальные ранжировки по отдельным признакам, которые, как правило, не совпадают. Чтобы построить обобщенную ранжировку, можно использовать некоторые процедуры голосования, такие как правило Борда или медиану Кемени [Кемени и др., 1972], [Миркин, 1980], [Петровский, 2009], [Hwang et al., 1981], которые однако не всегда применимы. Таким образом, необходима специальная процедура для упорядочивания многопризнаковых объектов.
В данной работе предложен подход к сравнению объектов по составным критериям, которые построены на основе использования многокритериальных оценок. Этот подход сочетает методы вербального анализа решений [Ларичев, 2006] и процедуру снижения размерности признакового пространства [Ройзензон, 2005], [Петровский и др., 2008] и оперирует с множеством числовых, символьных и вербальных признаков. Для групповой сортировки многопризнаковых объектов использован метод АРАМИС [Петровский, 2009], который не требует предварительного построения индивидуальных ранжировок. Многопризнаковые объекты были представлены как мультимножества [Петровский, 2003] и упорядочивались по показателю близости к «идеальной» точке в метрическом пространстве мультимножеств. Рассмотренный подход применен для сравнения результативности научных проектов, которые были поддержаны Российским фондом фундаментальных исследований [Петровский и др., 2009], [Петровский и др., 2010].
1. Многокритериальная экспертиза научных проектов
Российский фонд фундаментальных исследований (РФФИ) - федеральное агентство, которое организовывает и финансирует научные проекты и дает оценку возможности их практического применения. Одним из важнейших направлений деятельности РФФИ является оценка результативности проектов целевых фундаментальных исследований, которые выполняются в интересах российских федеральных агентств и ведомств. Для отбора завершенных проектов с точки зрения возможности их практического использования в РФФИ применяется оригинальная процедура экспертизы, которая не имеет зарубежных аналогов.
Каждый проект оценивается несколькими независимыми экспертами без согласования их мнений. В качестве экспертов выступают хорошо известные специалисты, работающие в научно-исследовательских институтах, университетах и промышленных предприятиях. Для оценки содержания проектов и полученных результатов эксперты используют систему качественных критериев с развернутыми порядковыми вербальными описаниях шкал оценок. Кроме того, эксперты выражают свои предпочтения при оценке возможности поддержки проекта на стадии подачи заявки, на промежуточной стадии выполнения проекта, а также определяют фундаментальную и практическую ценность полученных итоговых результатов. Мнения экспертов, конечно, могут совпадать или различаться. На основе рекомендаций экспертов Экспертный совет РФФИ решает поддержать или отвергнуть новые проекты, продолжать или прервать выполнение проекта и оценивает результативность проекта.
Известны и широко используются в практической деятельности многочисленные отечественные и зарубежные разработки, предназначенные для экспертной оценки различных видов программ и проектов. Упомянем такие системы как «Программирование-Планирование-Бюджетирование», «Стоимость-Эффективность», «Peer review», «Система сбалансированных показателей» и другие. Подавляющее большинство применяемых методологий экспертной оценки объектов различной природы использует так называемый количественный подход, основанный на числовом измерении показателей. Однако, несмотря на кажущуюся простоту и очевидность, количественный подход малопригоден для работы с качественными характеристиками, которые применяются в РФФИ для оценки проектов.
Например, для оценки результативности проектов ориентированных фундаментальных исследований в РФФИ используется следующая система критериев: K1. Степень выполнения заявленных задач проекта (в т.ч. и за первые 12 месяцев) (q11 - задачи выполнены полностью; q12 - задачи выполнены частично, имеющееся отставание несущественно; q13 - задачи выполнены частично, имеется существенное отставание). K2. Оценка научного уровня полученных результатов (отразить уровень и вклад в научную составляющую проекта) (q21 - превосходит уровень имеющихся решений; q22 - находится на уровне имеющихся решений; q23 - уступают уровню имеющихся решений). K3. Патентоспособность полученных результатов (q31 - получены охраноспособные результаты; q32 - патентование нецелесообразно). K4. Перспективы использования полученных результатов (q41 - результаты работ уже используются; q42 - идет подготовка к использованию и коммерциализации результатов; q43 - перспективы использования и коммерциализации результатов неясны). K5. Ожидаемые результаты завершающего этапа выполнения проекта (q51 - соответствуют заявленной цели проекта; q52 - не соответствуют заявленной цели проекта). K6. Решение задач, поставленных в завершающей части проекта (q61 - реально; q62 - не реально). K7. Наличие трудностей в работе по проекту (q71 - есть; q72 - нет). K8. Взаимодействие с организациями, в которых предполагается использовать результаты проекта (заполняется только для итогового отчета) (q81 - имеются Договора о взаимодействии с организациями; q82 - имеются Договора о взаимодействии, но деловые контакты развиты недостаточно; q83 - взаимоотношения документально не оформлены, взаимодействие слабое).
Для многоаспектного анализа содержания и оценки результативности проектов целевых фундаментальных исследований была использована методология вербального анализа решений и оригинальная интерактивная процедура снижения размерности признакового пространства.
2. Многокритериальная оценка результативности научных проектов
Ранее в работах [Петровский и др., 2009], [Петровский и др., 2010] для построения составного критерия оценки результативности проектов был предложен специальный подход иерархического агрегирования. Построение составного критерия рассматривалось как задача порядковой классификации со снижением размерности признакового пространства. В качестве классифицируемых объектов выступали комбинации многокритериальных оценок проектов в признаковом пространстве K1?…?K8. Упорядоченными классами результативности научных проектов выступали градации оценок на шкале составного критерия D «Результативность проекта»: d1 - наивысшая, d2 - высокая, d3 - средняя, d4 - низкая, d5 - неудовлетворительная.
Градации шкалы составного критерия были сформированы с помощью следующих различных методов вербального анализа решений: M1 - методом ОРКЛАСС (ОР) на всех уровнях иерархии; M2 - методом стратификации кортежей (СК) на всех уровнях иерархии; M3 - сначала (на нижнем уровне иерархии) методом стратификации кортежей, потом (на верхнем уровне иерархии) методом ОРКЛАСС (СК ОР); M4 - сначала (на нижнем уровне иерархии) методом ОРКЛАСС, потом (на верхнем уровне иерархии) методом стратификации кортежей (ОР СК). Пример оценки результативности проектов, полученных разными методами по оценкам двух экспертов, приведен на рис. 1.
Рис. 1. Пример распределения альтернатив по классам решений
Для выбора лучших проектов был применен метод АРАМИС (Агрегирование и Ранжирование Альтернатив около Многопризнаковых Идеальных Ситуаций) [Петровский, 2009], который позволяет упорядочивать многопризнаковые объекты на основе противоречивых предпочтений нескольких ЛПР. В этом методе объекты описываются множеством повторяющихся количественных и/или качественных атрибутов Q1,…,Qm представленных в виде мультимножеств. Многопризнаковые объекты A1,...,An рассматриваются как точки метрического пространства мультимножеств (A,d) с различными метриками d [Петровский, 2003], которые можно сравнивать и упорядочивать по показателю относительной близости к наилучшему (идеальному) объекту Amax или наихудшему (антиидеальному) Amin в этом пространстве. Наилучший и наихудший объекты (которые могут быть гипотетическими) имеют наилучшие и наихудшие оценки по всем критериям Qs. Объекты упорядочиваются по показателю относительной близости к наилучшему объекту l(Ai)=d(Amax,Ai)/[d(Amax,Ai) d(Amin,Ai)], где d(Amax,Ai) расстояние до наилучшего объекта Amax и d(Amin,Ai) расстояние до наихудшего объекта Amin.
Рассмотрим методы M1, M2, M3, M4, использованные экспертами для оценки результативности, как новые атрибуты, которые характеризуют проекты. Каждый атрибут Mj имеет оценки mj1, mj2, mj3, mj4, mj5, соответствующие градациям d1, d2, d3, d4, d5 шкалы составного критерия D «Результативность проекта». Теперь каждый проект Ai можно представить как множество с повторяющимися элементами или мультимножество Ai, порожденное множеством методов X=M1UM2UM3UM4: Ai={KAI(m11)?m11,…,KAI(m15)?m15;…; KAI(m41)?m41,…,KAI(m45)?m45}.
Здесь KAI(mjhj), hj=1,…,5, j=1,…,4 показатель кратности, соответствующий тому, сколько значений атрибута встречается в мультимножестве Ai, который показывает, сколько раз метод mjhj использован всеми экспертами во время формирования градаций результативности; знак ? обозначает сколько KAI(mjhj) раз атрибут mjhj встречается в описании объекта Ai.
Например, проекты A1 и A2 ,показанные на рис.1, представляются в виде следующих мультимножеств: A1={1?m11, 0?m12, 1?m13, 0?m14, 0?m15; 1?m21, 1?m22, 0?m23, 0?m24, 0?m25;
0?m31, 1?m32, 1?m33, 0?m14, 0?m15; 0?m41, 2?m42, 0?m43, 0?m44, 0?m45}, наилучший проект Amax и наихудший проект Amin представлены мультимножествами: Amax={2?m11,0,…,0; 2?m21,0,…,0; 2?m31,0,…,0; 2?m41,0,…,0}, Amin={0,…,0, 2?m15; 0,…,0, 2?m25; 0,…,0, 2?m35; 0,…,0, 2?m45}.
Модельная база данных по результатам целевых ориентированных фундаментальных исследований включала экспертные оценки проектов, которые были завершены в 2007 году по областям знаний «Математика, механика и информатика» (всего 48 проектов), «Химия» (всего 54 проекта), «Информационные, вычислительные, телекоммуникационные ресурсы» (всего 21 проект). Так, окончательное упорядочивание проектов по области знания «Математика, механика и информатика» в соответствии с показателем l(Ai) выглядит следующим образом: Ранг 1 (l=0,333) - проекты A1, A5, A7, A8, A10, A13, A14, A17, A22, A23, A25, A26, A28, A30, A31, A32, A33, A34, A36, A39, A41, A43, A45;
Проекты ранга 1 имеют наивысший показатель результативности, ранга 2 - больше, чем высокий показатель результативности, ранга 3 - высокий показатель результативности.
Вывод
В работе предложен «прозрачный» подход к оценке результативности научных проектов, которые оценены несколькими экспертами по многим числовым, символьным или вербальным критериям. Используя интерактивную процедуру снижения размерности признакового пространства, сконструирован составной показатель результативности научных проектов, и получена оценка результативности, рассчитанная разными способами. Используя метод АРАМИС для группового упорядочивания многопризнаковых объектов, основанный на теории метрических пространств мультимножеств, были построены ранжировки проектов и определены наиболее результативные. Подход теории мультимножеств позволяет обнаруживать, представлять и использовать доступную информацию, анализировать полученные результаты и их особенности, особенно для несогласованных многокритериальных оценок проектов и противоречивых предпочтений ЛПР. Представленные инструменты были апробированы на проектах целевых ориентированных фундаментальных исследований, поддержанных Российским фондом фундаментальных исследований, и продемонстрировали высокую эффективность и простоту применения.
Список литературы
[Кемени и др., 1972] Кемени Дж., Снелл Дж. Кибернетическое моделирование. - М.: Советское радио, 1972.
[Ларичев, 2006] Ларичев О.И. Вербальный анализ решений / Под ред. А.Б. Петровского. - М.: Наука, 2006.
[Миркин, 1980] Миркин Б. Г. Анализ качественных признаков и структур. - М.: Статистика, 1980.
[Петровский, 2003] Петровский А. Б. Пространства множеств и мультимножеств. - М.: Едиториал УРСС, 2003.
[Петровский и др., 2008] Петровский А. Б., Ройзензон Г. В. Снижение размерности признакового пространства в задачах многокритериальной классификации: стратификация кортежей // Одиннадцатая национальная конференция по искусственному интеллекту с международным участием (КИИ-2008). Труды конференции. - Т. 2.- М.: Ленанд, 2008.
[Петровский, 2009] Петровский А. Б. Теория принятия решений. - М.: Издательский центр «Академия», 2009.
[Петровский и др., 2009] Петровский А. Б., Тихонов И. П. Фундаментальные исследования, ориентированные на практический результат: подходы к оценке эффективности // Вестник РАН. - 2009.- Т. 79, № 11.
[Петровский и др., 2010] Оценка результативности научных проектов по многим критериям / А. Б. Петровский, Г. В. Ройзензон, И. П. Тихонов, А. В. Балышев // Теория и практика системного анализа. Труды I Всероссийской научной конференции молодых ученых. - Т. II. - Рыбинск: РГАТА имени П. А. Соловьева, 2010.
[Ройзензон, 2005] Ройзензон Г.В. Способы снижения размерности признакового пространства для описания сложных систем в задачах принятия решений // Новости искусственного интеллекта. - 2005. - № 1.
[Саати, 1993] Саати Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь, 1993.
[Hwang et al., 1981] Hwang C.L., Yoon K. Multiple Attribute Decision Making - Methods and Applications: A State of the Art Survey. - New York: Springer-Verlag, 1981.
[Hwang et al., 1987] Hwang C.L., Lin M.J. Group Decision Making under Multiple Criteria. - Berlin: Springer-Verlag, 1987.
[Pawlak et al., 1994] Pawlak Z., Slowinski R. Rough Set Approach to Multi-Attribute Decision Analysis // European Journal of Operational Research. - 1994. - № 72.
[Roy, 1996] Roy, B. Multicriteria Methodology for Decision Aiding. - Dordrecht: Kluwer Academic Publishers, 1996.
[Zimmerman et al., 1984] Zimmerman H.J., Zadeh L.A., Gaines B.R. Fuzzy Sets and Decision Analysis. - Amsterdam: North-Holland, 1984.