Групповая многокритериальная ранжировка научных докладов - Статья

Для коллективного упорядочения многопризнаковых объектов разработан метод АРАМИС [8, 9], в котором объекты описаны агрегированными индивидуальными экспертными оценками, представленными в виде мультимножеств. Метод группового упорядочения объектов АРАМИС был применен для ранжирования докладов, представленных на одной из научных конференций, которые регулярно организуются Российским фондом фундаментальных исследований (РФФИ) для подведения итогов выполнения проектов ориентированных фундаментальных исследований по различным направлениям. Фундаментальная значимость полученных в проекте результатов q11 - результаты создают принципиально новые знания, q12 - результаты существенно расширяют имеющиеся знания, q13 - результаты незначительно уточняют имеющиеся знания, q14 - результаты не имеют фундаментального характера. Прикладная значимость полученных в проекте результатов q21 - результаты создают принципиально новые перспективные технологии, средства производства, оборудование, материалы, системы, продукцию, q22 - результаты существенно улучшают характеристики используемых технологий, средств производства, оборудования, материалов, систем, продукции, q23 - результаты незначительно улучшают характеристики используемых технологий, средств производства, оборудования, материалов, систем, продукции, q24 - результаты не меняют характеристик используемых технологий, средств производства, оборудования, материалов, систем, продукции. Возможные масштабы использования полученных в проекте результатов q31 - результаты могут найти применение во многих сферах деятельности, q32 - результаты могут найти применение в отдельных сферах деятельности, q33 - результаты могут найти ограниченное применение, q34 - масштабы использования результатов оценить затруднительно.В работе предложен «прозрачный» подход к групповому многокритериальному ранжированию научных докладов. Предлагаемой подход позволяет проводить ретроспективный анализ качества выполнения ориентированных фундаментальных исследований путем сопоставления ранжировок проектов на стадии подачи заявок, на стадии промежуточного выполнения проектов, на стадии окончания проекта, и, наконец, оценивать качество научных докладов, которые базируются на результатах законченных проектов.

В различных прикладных задачах принятия решений, распознавания образов, классификации, обработки разнородной информации, теории кодирования, других предметных областях часто возникает необходимость упорядочить анализируемые объекты, основываясь на их свойствах. Примером подобной слабо структурируемой задачи принятия решений, служит ранжирование докладов, представленных на научной конференции, на основе специально проведенного анкетирования участников [2].

Достаточно часто свойства объектов выражаются признаками (атрибутами), в качестве которых выступают оценки объектов по многим критериям, имеющим свои собственные количественные или качественные шкалы. Если ранжируемые объекты оцениваются несколькими независимыми экспертами, то в таком случае одни и те же объекты характеризуются многими разнородными признаками и, кроме того, могут существовать в нескольких экземплярах с отличающимися значениями признаков, свертка которых или невозможна, или математически некорректна. Таким образом, нужны специальные процедуры для групповой ранжировки многопризнаковых объектов.

Различные методы для упорядочения многопризнаковых объектов [4, 13, 14, 16, 17, 18] оперируют обычно с количественными, а реже - с качественными признаками. При наличии многих признаков и нескольких экспертов или лиц, принимающих решения (ЛПР), необходимо агрегировать индивидуальные ранжировки по отдельным признакам, которые, как правило, не совпадают. Чтобы построить групповую ранжировку можно воспользоваться некоторыми процедурами голосования, такими, как правило Борда или медиана Кемени [1, 5, 9, 15], которые однако не всегда применимы.

Главные трудности при построении групповой ранжировки многопризнаковых объектов связаны с необходимостью учета большого числа вербальных и числовых данных и обработкой этих данных, не прибегая к дополнительным преобразованиям типа усреднения, смешивания, взвешивания, которые могут привести к необоснованным и необратимым искажениям исходных данных. Преодолеть указанные выше трудности можно, применив для представления многопризнаковых объектов аппарат теории мультимножеств.

Для коллективного упорядочения многопризнаковых объектов разработан метод АРАМИС [8, 9], в котором объекты описаны агрегированными индивидуальными экспертными оценками, представленными в виде мультимножеств. Упорядочение вариантов осуществляется по показателю его относительной близости к гипотетически лучшему объекту (идеальная ситуация) в метрическом пространстве мультимножеств. Такое упорядочение объектов дает возможность получать как строгое, так и нестрогое ранжирование объектов при равнозначных или различных по важности критериях.

Метод группового упорядочения объектов АРАМИС был применен для ранжирования докладов, представленных на одной из научных конференций, которые регулярно организуются Российским фондом фундаментальных исследований (РФФИ) для подведения итогов выполнения проектов ориентированных фундаментальных исследований по различным направлениям.

Анализ докладов на научной конференции

Для фундаментальных исследований вообще, и для проектов, финансируемых Российским фондом фундаментальных исследований, в частности, характерна высокая степень неопределенности и риска, связанных с получением нового знания [3]. Повышение результативности фундаментальных исследований, поиск наиболее эффективных путей использования полученных результатов, усиление их отдачи относятся к числу основных задач РФФИ. Всесторонний анализ содержания проектов и ожидаемых результатов на стадии их конкурсного отбора, в процессе выполнения и после окончания позволит выявить факторы, играющие определяющую роль при отборе проектов и оценке их результативности, провести сопоставление планируемых и полученных результатов, расширить сферу практического применения результатов работ.

Начиная с 2002 года в деятельности Фонда появилось новое направление, отвечающее реалиям и требованиям инновационного развития экономики страны, получившее название «ориентированные фундаментальные исследования» (ОФИ). Специфика проектов ОФИ такова, что результат отдельного проекта, как правило, содержит и объединяет фундаментальную и прикладную составляющие. В дальнейшем стали проводиться конкурсы, в которых акцент делается на взаимодействие с федеральными агентствами и ведомствами. Эти конкурсы нацелены на выявление возможностей использования результатов ориентированных фундаментальных исследований как для создания основ будущих новых перспективных технологий, материалов, оборудования, услуг, способствующих расширению перечня существующих критических технологий, так и для решения фундаментальных задач, сформулированных в целевых программах федеральных агентств и ведомств.

В целях повышения эффективности использования результатов ориентированных фундаментальных исследований, большей доступности полученных результатов и обеспечения максимальной прозрачности при подведении итогов выполнения проектов, РФФИ регулярно организует специальные конференции по различным направлениям, где руководители проектов представляют доклады о проведенных работах. Конференции РФФИ являются эффективной формой научного сотрудничества российских ученых из различных регионов страны. В рамках подобных конференций российские ученые знакомятся с современным состоянием в соответствующих научных областях, получают необходимые научные материалы, содержащие сведения о поддержанных РФФИ научных проектах, устанавливают научные контакты, находят новые области практического применения своих результатов и т.п. Важно, что руководители проектов, выступающие на секциях конференции, фактически выполняют функцию экспертов, оценивающих результаты работы друг друга. Данный механизм - peer review system (система рецензирования коллегами) - широко известен и используется также, помимо РФФИ, в Национальном научном фонде США и ряде аналогичных структур [3].

Специфика оценки научных докладов, представленных на конференцию, требует использования естественного языка описания проблемы на всех этапах проведения экспертизы, как при оценке экспертами, так и при объяснении полученных результатов. Для оценки докладов была разработана процедура экспертного опроса с использованием специальной анкеты, в которой каждый доклад оценивался несколькими экспертами по качественным критериям со следующими вербальными шкалами: Q1. Фундаментальная значимость полученных в проекте результатов q11 - результаты создают принципиально новые знания, q12 - результаты существенно расширяют имеющиеся знания, q13 - результаты незначительно уточняют имеющиеся знания, q14 - результаты не имеют фундаментального характера.

Q2. Прикладная значимость полученных в проекте результатов q21 - результаты создают принципиально новые перспективные технологии, средства производства, оборудование, материалы, системы, продукцию, q22 - результаты существенно улучшают характеристики используемых технологий, средств производства, оборудования, материалов, систем, продукции, q23 - результаты незначительно улучшают характеристики используемых технологий, средств производства, оборудования, материалов, систем, продукции, q24 - результаты не меняют характеристик используемых технологий, средств производства, оборудования, материалов, систем, продукции.

Q3. Возможные масштабы использования полученных в проекте результатов q31 - результаты могут найти применение во многих сферах деятельности, q32 - результаты могут найти применение в отдельных сферах деятельности, q33 - результаты могут найти ограниченное применение, q34 - масштабы использования результатов оценить затруднительно.

Q4. Готовность полученных в проекте результатов к использованию q41 - результаты могут быть использованы без дополнительной доработки, q42 - использование результатов потребует незначительной доработки, q43 - использование результатов потребует значительной доработки, q44 - готовность результатов к использованию оценить затруднительно.

По каждому критерию эксперт выбирал только одну из оценок (такая экспертиза называется закрытой). Основываясь на экспертных оценках докладов, полученных от нескольких экспертов, требовалось построить групповую ранжировку докладов и выделить наилучшие доклады. Для ранжирования научных докладов был применен метод коллективного упорядочения многопризнаковых объектов АРАМИС (Агрегирование и Ранжирование Альтернатив около Многопризнаковых Идеальных Ситуаций) [8, 9].

Метод группового упорядочения многопризнаковых объектов АРАМИС

Дадим формальную постановку задачи упорядочения совокупности многопризнаковых объектов A={A1,...,An}, которые оцениваются k экспертами по m критериям Q1,…,Qm. Каждый критерий Qs имеет порядковую шкалу количественных или качественных оценок { }, es=1,…,hs, s=1,…,m, которые упорядочены от лучшего значения к худшему qs1fqs2f…f . Предполагается, что разные критерии могут иметь различную относительную важность, но значения оценок, относящихся к одному и тому же критерию, равноценны. Будем также считать, что каждый объект оценивается всеми k экспертами по всем m критериям, и что экспертные оценки независимы. В таком случае можно выделить два объекта (возможно, гипотетических) - абсолютно лучший и абсолютно худший, которым все эксперты дали соответственно самые высокие и самые низкие оценки по всем критериям. Требуется, исходя из многокритериальных оценок объектов, упорядочить объекты от более к менее предпочтительным.

Упорядочение многопризнаковых объектов рассматривается в методе АРАМИС как задача ранжирования объектов, представленных мультимножествами, по отношению к лучшему и худшему объектам. Представим многопризнаковый объект Ai как мультимножество

Ai = {KAI(q11)?q11,…,KAI(q1h1)?q1h1,…, KAI(qm1)?qm1,…, KAI(qmhm)?qmhm}, (1) над доменом G={Q1,…,Qm}, являющимся множеством критериальных оценок. Функция кратности KAI(qses) мультимножества характеризует число экспертов, давших объекту Ai оценку qses. Наилучшему и наихудшему объектам соответствуют мультимножества

A ={k?x11,0,…,0, k?x21,0,…,0,…, k?xm1,0,…,0}, (2)

A-={0,…,0,k?x1h1, 0,…,0,k?x2h2,…, 0,…,0,k?xmhm}, (3) которые принято называть идеальным и антиидеальным ситуациями. Задача упорядочения многопризнаковых объектов сводится тем самым к упорядочению представляющих их мультимножеств.

Будем рассматривать многопризнаковые объекты как точки некоторого метрического пространства мультимножеств (A, d), например, с метрикой (типа Хемминга), которая задается следующей формулой [8, 9]: d1(A,B) = , где ws >0, as ws =1 - коэффициенты относительной важности критериев Qs. В предлагаемом алгоритме допускается различная относительная важность критериев Qs, выражаемая коэффициентами ws >0. Проблема определения или вычисления важности критериев имеет самостоятельное значение [6, 9]. В случае, когда все критерии считаются одинаково важными, все коэффициенты ws можно положить, например, равными 1.

Упорядочим все объекты по величине их расстояния d1 (Ai)=d1(A ,Ai) от наилучшего объекта A . Если d1 (Ai)<d1 (Aj), то объект Ai предпочтительнее объекта Aj (AIFAJ). Если для некоторых объектов d1 (Ai)=d1 (Aj), то объекты Ai и Aj будут или эквивалентными, или несравнимыми. Это значит, что полученное ранжирование объектов окажется нестрогим. Так как каждый объект Ai оценивается k экспертами по всем m критериям, то выражение для расстояния от идеального решения A до мультимножества Ai можно записать как: d1 (Ai) = 2 [k - KAI(qs1)].

Условие сравнения многопризнаковых объектов приобретает тогда следующую форму: объект Ai предпочтительнее объекта Aj (AIFAJ), если KAI(qs1) > KAJ(qs1).

Таким образом, правило упорядочения многопризнаковых объектов сводится к сравнению взвешенных сумм SAI1 =as ws KAI(qs1) первых (наилучших) оценок объектов по всем критериям Qs. Лучшим будет тот объект Ai, у которого эта сумма SAI1 будет больше. Если найдутся группы эквивалентных или несравнимых объектов Ai1,…,Ait, имеющих одинаковые суммы SAI1, то нужно вычислить для каждого объекта Air, r=1,…t в соответствующей группе взвешенную сумму SAIR2 =as ws KAIR(qs2) всех вторых оценок по всем критериям Qs и упорядочить объекты внутри каждой группы от лучшего к худшему по величинам SAIR2 сумм вторых оценок. Если останутся подгруппы эквивалентных или несравнимых объектов Airu,…,Airv, имеющих одинаковые суммы SAIR2, то вычислить для каждого объекта Airp в соответствующей подгруппе взвешенную сумму SAIRP3 =as ws KAIRP(qs3) всех третьих оценок по всем критериям Qs и упорядочить объекты внутри каждой подгруппы от лучшего к худшему по величинам сумм SAIRP3 третьих оценок. Процедура продолжается до полного упорядочения всех объектов из совокупности A={A1,...,An}. Если число hs значений оценок qses у некоторых критериев Qs окажется меньше требуемого на данном b-ом шаге алгоритма, то следует считать KAIR…p(qsb)=0.

Аналогично можно построить процедуру упорядочения многопризнаковых объектов Ai по отношению к наихудшему объекту A-, заданному мультимножеством (2), считая, что объект Ai предпочтительнее объекта Aj (AIFAJ), если он находится дальше от объекта A-, то есть если выполняется условие d1(A-,Ai)>d1(A-,Aj). Подчеркнем, однако, что упорядочение совокупности многопризнаковых объектов A={A1,...,An} по отношению к антиидеальной ситуации может не совпадать с упорядочением по отношению к идеальной ситуации.

Многопризнаковые объекты можно упорядочить и иначе. Для каждого варианта Ai задается показатель его относительной близости к наилучшему варианту A l (Ai)=d1(A ,Ai)/[d1(A ,Ai) d1(A-,Ai)] (4) или показатель его относительной близости к наихудшему варианту A- l-(Ai)=d1(A-,Ai)/[d1(A ,Ai) d1(A-,Ai)]

В этом случае упорядочение объектов по предпочтительности строится по возрастанию значения показателя l (Ai) относительной близости объекта Ai к наилучшему варианту A или по убыванию значения показателя l-(Ai) относительной близости объекта Ai к наихудшему варианту A-. Заметим, что оба таких упорядочения многопризнаковых объектов совпадают.

Практический пример

На конференции РФФИ, посвященной подведению итогов выполнения проектов ориентированных фундаментальных исследований по одному из научных направлений, был проведен экспертный опрос для оценки докладов. На конференции было представлено 14 докладов, каждый из которых оценивался 5 или 6 участниками конференции, выступавшими в роли экспертов, по четырем указанным выше критериям. Всего было роздано 84 анкеты, получено 83 анкеты, пригодных для обработки (полностью заполненных) оказалось 79 анкет.

Экспертные оценки докладов были представлены как многопризнаковые объекты, описанные с помощью математического аппарата теории мультимножеств следующим образом: A1={0,4,2,0,0,2,3,1,0,2,3,1,1,3,1,1}; A2={0,5,1,0,0,6,0,0,1,4,1,0,2,4,0,0};

A3={0,6,0,0,0,5,1,0,0,5,1,0,1,4,1,0}; A4={1,4,0,0,1,4,0,0,1,3,1,0,0,3,2,0};

A5={1,5,0,0,2,4,0,0,0,5,1,0,3,3,0,0}; A6={3,2,1,0,1,0,2,3,1,3,0,2,0,3,1,2};

A7={1,4,0,0,0,5,0,0,1,2,2,0,3,2,0,0}; A8={0,4,1,1,1,4,1,0,0,4,2,0,3,2,1,0};

A9={4,2,0,0,4,2,0,0,1,4,1,0,6,0,0,0}; A10={1,3,1,0,2,2,1,0,1,2,2,0,3,2,0,0};

A11={1,4,1,0,0,3,2,1,0,4,2,0,1,3,1,1}; A12={0,5,0,0,2,2,1,0,0,5,0,0,3,2,0,0};

A13={1,4,0,0,1,4,0,0,0,4,1,0,3,2,0,0}; A14={0,5,1,0,1,4,1,0,0,5,1,0,3,3,0,0}.

Гипотетически наилучший и наихудший доклады представляются соответственно следующими мультимножествами: A ={6,0,0,0,6,0,0,0,6,0,0,0,6,0,0,0}, A-={0,0,0,6,0,0,0,6,0,0,0,6,0,0,0,6}.

Критерии Qs оценки докладов считались равнозначными, а их коэффициенты относительной важности были приняты равными (w1=w2=w3=w4=1).

Расстояния между отдельными мультимножествами (докладами) Ai, наилучшим (идеальным) Amax и наихудшим (антиидеальным) мультимножествами A-, полученные после обработки результатов экспертного опроса, равны соответственно: d1 (A1)=46, d1 (A2)=42, d1 (A3)=46, d1 (A4)=38, d1 (A5)=36, d1 (A6)=38, d1 (A7)=34, d1 (A8)=40, d1 (A9)=18, d1 (A10)=30, d1 (A11)=44, d1 (A12)=34, d1 (A13)=34, d1 (A14)=40;

d1-(A1)=42, d1-(A2)=48, d1-(A3)=48, d1-(A4)=44, d1-(A5)=48, d1-(A6)=34, d1-(A7)=44, d1-(A8)=46, d1-(A9)=48, d1-(A10)=44, d1-(A11)=44, d1-(A12)=44, d1-(A13)=44, d1-(A14)=48.

Значения показателя l (Ai) относительной близости доклада Ai к наилучшему докладу A задаются величинами: l (A1)=0,5227, l (A2)=0,4667, l (A3)=0,4894, l (A4)=0,4634, l (A5)=0,4286, l (A6)=0,5278, l (A7)=0,4359, l (A8)=0,4651, l (A9)=0,2727, l (A10)=0,4054, l (A11)=0,5, l (A12)=0,4359, l (A13)=0,4359, l (A14)=0,4545.

В соответствии с (4) упорядочение докладов по увеличению показателя относительной близости к наилучшему докладу A имеет вид: A9FA10FA5FA7»A12»A13FA14FA4FA8FA2FA3FA11FA1FA6.

Лучшие доклады образуют головную часть ранжировки и далее выбираются ЛПР. Анализ результатов показал, что в данном практическом примере конечные ранжировки объектов получались одинаковыми независимо от числа экспертов (5 или 6), оценивавших разные объекты. Это можно проверить, например, варьируя параметры наилучшего и наихудшего объектов.

В работе предложен «прозрачный» подход к групповому многокритериальному ранжированию научных докладов. Доклады оценивались несколькими экспертами по многим вербальным критериям. Используя метод АРАМИС для группового упорядочения многопризнаковых объектов, основанный на теории метрических пространств мультимножеств, были построены ранжировки научных докладов и определены наиболее предпочтительные.

Предлагаемой подход позволяет проводить ретроспективный анализ качества выполнения ориентированных фундаментальных исследований путем сопоставления ранжировок проектов на стадии подачи заявок, на стадии промежуточного выполнения проектов, на стадии окончания проекта, и, наконец, оценивать качество научных докладов, которые базируются на результатах законченных проектов.

Применение аппарата теории мультимножеств позволяет обнаруживать, представлять и использовать доступную информацию, анализировать полученные результаты и их особенности, прежде всего для несогласованных многокритериальных оценок научных докладов и противоречивых предпочтений ЛПР. Предложенные инструменты были также апробированы при экспертизе проектов целевых фундаментальных исследований, поддержанных Российским фондом фундаментальных исследований, и продемонстрировали высокую эффективность и простоту применения [10, 11, 12].

Авторы выражают признательность к.ф.-м.н. Г.И. Шепелеву за участие в разработке анкеты экспертного опроса.

1. Кемени Дж., Снелл Дж. Кибернетическое моделирование. - М.: Советское радио, 1972.

2. Ларичев О.И., Мечитов А.И. Многофакторный анализ конференций Международного института прикладного системного анализа // Управление и научно-технический прогресс / Под ред. Б.З. Мильнера. - Достижения и перспективы. Выпуск 16, №3. - М.: Международный центр научно-технической информации, 1981. - С.53-58.

3. Ларичев О.И., Прохоров А.С., Петровский А.Б., Стернин М.Ю., Шепелев Г.И. Опыт планирования фундаментальных исследований на конкурсной основе // Вестник АН СССР. - 1989. - №7. - С.51-61.

4. Ларичев О.И. Вербальный анализ решений / Под ред. А.Б. Петровского. - М.: Наука, 2006. - 181 с.

5. Миркин Б.Г. Анализ качественных признаков и структур. - М.: Статистика, 1980. - 319 с.

6. Ногин В.Д. Принятие решений в многокритериальной среде: количественный подход. - 2-е изд. - М.: Физматлит, 2005. - 176 с.

7. Петровский А.Б., Шепелев Г.И. Система поддержки принятия решений для конкурсного отбора научных проектов // Проблемы и методы принятия уникальных и повторяющихся решений. Сборник трудов / Под ред. С.В. Емельянова, О.И. Ларичева. №10. - М.: ВНИИСИ, 1990. - С.25-31.

8. Петровский А.Б. Пространства множеств и мультимножеств. - М.: Едиториал УРСС, 2003. - 248 с.

9. Петровский А.Б. Теория принятия решений. - М.: Издательский центр «Академия», 2009. - 400 с.

10. Петровский А.Б., Тихонов И.П. Фундаментальные исследования, ориентированные на практический результат: подходы к оценке эффективности // Вестник РАН. - 2009. - Т.79, №11. - С.1006-1011.

11. Петровский А.Б., Ройзензон Г.В., Тихонов И.П., Балышев А.В. Многокритериальная оценка результативности научных проектов // Третья международная конференция “Системный анализ и информационные технологии”. Труды конференции. - М.: ПОЛИПРИНТСЕРВИС, 2009. - С.329-336.

12. Петровский А.Б., Ройзензон Г.В., Тихонов И.П., Балышев А.В. Групповое упорядочивание научных проектов по несогласованным многокритериальным оценкам // Двенадцатая национальная конференция по искусственному интеллекту с международным участием. Труды конференции. Т. 3. - М.: Физматлит, 2010. - С.201-207.

13. Саати Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь, 1993. - 278 с.

14. Hwang C.L., Yoon K. Multiple Attribute Decision Making - Methods and Applications: A State of the Art Survey. - New York: Springer-Verlag, 1981.

15. Hwang C.L., Lin M.J. Group Decision Making under Multiple Criteria. - Berlin: Springer-Verlag, 1987. - 400 p.

16. Pawlak Z., Slowinski R. Rough Set Approach to Multi-Attribute Decision Analysis // European Journal of Operational Research. - 1994. - N72. - P.443-459.

17. Roy, B. Multicriteria Methodology for Decision Aiding. - Dordrecht: Kluwer Academic Publishers, 1996.

18. Zimmerman H.J., Zadeh L.A., Gaines B.R. Fuzzy Sets and Decision Analysis. - Amsterdam: North-Holland, 1984.

Размещено на .ru