Оценка качества как основа управления эффективностью инновационной деятельности (на примере проектов по разработке программного продукта) - Статья

В основе рассматриваемой проблемы находится как оценка качества, так и управление проектной деятельностью, однако основой для анализа является именно управление проектом, проект и его результат - уникальный проектный продукт. Управление качеством в данном случае является расширением проектного управления в части отражения, измерения, а значит и управления качеством как одним из ключевых показателей эффективности проекта [4], [5]. [6] Этот факт в совокупности с уникальностью свойств продукта составляет одну из основных сложностей в задаче оценки качества уникального проектного продукта. В то же время, руководством по менеджменту качества при проектировании в большей степени определяются требования к управлению качества процессов проекта, а не самого продукта, оценка качества которого зависит, в том числе, от предметной области проектной деятельности и структуры конкретного вида продукта проекта. Вышеизложенные методики оценки качества уникального проектного продукта: проверка соответствия требованиям технических заданий, стандартам и требованиям руководящих документов, оценка на основе расчетов экономической эффективности и оценка на основе обратной связи от пользователей продукта, имеют один общий недостаток - все их можно полноценно применить тогда, когда уникальный проектный продукт уже существует, то есть проект завершен, а в случае оценки качества на основе расчета фактической экономической эффективности и обратной связи от пользователя - измерение возможно лишь после ввода в промышленную эксплуатацию и по истечении достаточного по продолжительности времени эксплуатации.В рамках данной статьи рассмотрены понятия качества продукта и уникального проектного продукта. Понятие качества рассмотрено с точки зрения терминологии и применимости различных определений для использования в направлении оценки качества уникального проектного продукта.

Качество продукции является важнейшей характеристикой продукта. Оно является важной как для потребителя, так и для производителя продукции. Существует множество определений и трактовок понятия качества продукции как с точки зрения экономической теории, менеджмента, так и философских категорий: "Качество есть вообще тождественная с бытием непосредственная определенность…". "Нечто есть благодаря своему качеству то, что оно есть и, теряя свое качество, оно перестает быть тем, что оно есть" [1]. В рамках настоящего исследования, ближе более конкретная формулировка определения данного понятия.

С развитием производственных процессов и усложнения производимой продукции появляются новые требования к качеству продуктов и их структуре. [8] Особое место в классификации продукции занимает уникальный проектный продукт; таким обозначением предлагается определить результат выполнения проекта. Уникальным он является в силу свойств самого проектного подхода и определения проекта, как неповторяющегося комплекса мероприятий, (предприятия) направленного на создание уникального продукта [3], [10]. Такие уникальные проектные продукты имеют мало общего с другими продуктами - результатами процессного подхода при производстве, в том числе и в части оценки качества продукции.

В данной статье рассмотрена проблематика оценки качества уникального проектного продукта. Приведена методика оценки качества проектного продукта в области разработки программного обеспечения.

Постановка задачи

В основе рассматриваемой проблемы находится как оценка качества, так и управление проектной деятельностью, однако основой для анализа является именно управление проектом, проект и его результат - уникальный проектный продукт. Управление качеством в данном случае является расширением проектного управления в части отражения, измерения, а значит и управления качеством как одним из ключевых показателей эффективности проекта [4], [5]. Эффективность, как понятие, сложилось и используется в различных научных дисциплинах. Так, в технических дисциплинах интерпретацией понятия эффективности может являться коэффициент полезного действия технических устройств как отношение полезно использованной энергии к количеству энергии полученной системой. Но особенно широко данное понятие применяется в экономике и теории менеджмента. Термин эффективность в экономике применяется по отношению к экономическим системам, процессам, решениям. При этом, при высокой степени освещенности вопроса применения эффективности в отношении экономических категорий, в научной литературе отсутствует общепринятое понимание его применения, существуют различные подходы и определения по данному вопросу. С точки зрения определения, этимология термина "эффективность" связана с латинскими словами - effectus (эффект) - результат действия, и - effectives (эффективный) - дающий результат [13]. Таким образом, демонстрируется взаимосвязь эффективности и результативности, то есть эффективность как способность давать результат, потенциал для достижения результата. Исходя из концепции классической теории, например, по принципу предельной эффективности Паретто, система является эффективной, если при постоянных ресурсах извлекается максимальный уровень полезности, и при этом невозможно улучшить одни параметры системы, не ухудшив другие [14]. Таким образом, понимание методики оценки качества является одним из ключевых аспектов в определении понятия результата при построении системы управления эффективностью.

В качестве особенности проектного управления, как основного подхода к реализации инновационной деятельности, в данном контексте следует отметить относительно длительный цикл производства продукта и еще более длительные другие этапы жизненного цикла. [9] Результаты проектной деятельности предполагается использовать несколько лет или бессрочно, при этом достаточно длительное время может занимать период от завершения проекта до внедрения уникального проектного продукта. [6] Этот факт в совокупности с уникальностью свойств продукта составляет одну из основных сложностей в задаче оценки качества уникального проектного продукта.

Разумеется, уникальные проектные продукты поддаются классификации в определенной степени, и на них можно наложить общие требования по продуктам данного классификатора. Для этой цели разработаны соответствующие стандарты и руководящие документы [11, 12], отвечающие на вопросы об обязательных требованиях того или иного класса продуктов для соответствующих условий использования.

Однако следует отметить, что данными требованиями учитываются только общие свойства продуктов данного классификатора и не учитываются уникальные свойства, ради достижения которых и проводится реализация проекта.

Таким образом, существующие стандарты могут, и должны применяться и приниматься во внимание при разработке уникального проектного продукта; должна проводиться своевременная и точная классификация производимого продукта, определение условий его использования как составляющией требования к продукту. Но соответствие требований не отменяет необходимости проводить мероприятия по оценке качества на ранних этапах жизненного цикла.

В соответствии со стандартом системы менеджмента качества ГОСТ Р ИСО 100062005 аспектами понятия качества в управлении проектом являются качество процессов проекта и качество производимой продукции [11]. В то же время, руководством по менеджменту качества при проектировании в большей степени определяются требования к управлению качества процессов проекта, а не самого продукта, оценка качества которого зависит, в том числе, от предметной области проектной деятельности и структуры конкретного вида продукта проекта.

Таким образом, оценка и управление качеством именно продукта, при соблюдении соответствующих стандартов в отношении управления качеством процессов проекта, является наиболее перспективной точкой изыскания резервов повышения качества уникального проектного продукта в целом. То есть отличительной особенностью создания продукта проекта является то, что, при соблюдении требований стандартизации процессов проектной деятельности и их совершенствования в соответствии с циклом PDCA, отдельно стоит проблематика оценки качества самого продукта проекта на ранних этапах жизненного цикла, в том числе, до того как готовая продукция поступает на этап приемосдаточных испытаний. Особенно остро данная проблема стоит при создании уникальных проектных продуктов в области разработки программного обеспечения. Среди основных причин возникновения данной проблематики можно выделить следующие: • высокий процент "ручного" и, в существенной его части, творческого труда в структуре продукта и, как следствие, высокое влияние человеческого фактора;

• длительность этапов жизненного цикла до выхода на рынок (проекты разработки программных продуктов в целом имеют различные длительности от начала проекта до выхода на рынок, однако, если речь идет о сложных, крупных программных системах, как правило, эта длительность составляет не менее полугода);

• техническая сложность, зависимость и неделимость определенных участков продукта, что делает затруднительной оценку их качества до завершения работы на участке (структура программной системы предполагает наличие участков, которые могут находиться в разработке длительное время или участков реализации, проверка которых невозможна или затруднена до завершения работ на другом участке).

Описание исследования

Свойства уникального проектного продукта, степень полезности, которой предполагается достигнуть, закладываются на ранних этапах проекта. В рамках технического задания или другого документа, описывающего требования к готовой продукции, могут быть учтены все интересующие потребителя свойства продукта. Для программного продукта это могут быть: функциональные требования, требования к информационному обеспечению, требования к документированию, требования к производительности и другие. Основная часть контроля соответствия всем заявленным требованиям производится на этапе приемосдаточных испытаний и в ходе опытной эксплуатации продукта. Однако соответствие требованиям не отражает полезность, которую зачастую отождествляют с качеством. Полезность для уникального проектного продукта и для программного продукта в целом, разумеется, коррелирует с потребительскими свойствами продукта, заявленными функциональными и другими свойствами, однако не всегда может быть рассчитана на их основе. Как правило в качестве полезности рассчитывается совокупный экономический эффект от внедрения программного продукта. Методики расчета могут быть различными и утверждаются потенциальными потребителями по индивидуальным требованиям. Но такая оценка, во-первых не раскрывает полностью потенциал проектного продукта (возможность повторных продаж, возможность повторного использования в других проектах), во-вторых, зачастую, не производится сверка на соответствие расчетных значений экономической эффективности и действительных результатов внедрения в заданный период эксплуатации, или произведение данной сверки, в определенных случаях, технически затруднено. Другим подходом к оценке качества является проведение субъективной оценки продукта пользователями по результатам эксплуатации в том числе, в рамках получения обратной связи от пользователей. Данная методика оценки не является объективной, но с определенной точки зрения на понятие качества, является, возможно, наиболее точной и полезной. В критериях данной методики, продукт проекта качественный тогда, когда так считает пользователь; при этом учитываются не только потребительские свойства, но и "попадание" в целевую аудиторию, а значит, оценка качества расширяется не только на продукт как таковой, но и на проект по его производству и сопутствующие процессы доведения до потребителя. Получение такой оценки возможно по итогам достаточно продолжительного периода эксплуатации продукта и может проводиться на основании опроса и расчета взвешенных оценок продукта пользователями. Существенным плюсом данного подхода является возможность индивидуализировать систему оценок для каждого проекта.

Вышеизложенные методики оценки качества уникального проектного продукта: проверка соответствия требованиям технических заданий, стандартам и требованиям руководящих документов, оценка на основе расчетов экономической эффективности и оценка на основе обратной связи от пользователей продукта, имеют один общий недостаток - все их можно полноценно применить тогда, когда уникальный проектный продукт уже существует, то есть проект завершен, а в случае оценки качества на основе расчета фактической экономической эффективности и обратной связи от пользователя - измерение возможно лишь после ввода в промышленную эксплуатацию и по истечении достаточного по продолжительности времени эксплуатации. В качестве расчета статистических данных это не является критичным, однако для целей проектного управления такая информация не представляет почти никакой ценности. [7] Проект может длиться достаточно продолжительное время, вплоть до нескольких лет, и получение по результатам проектной деятельности информации о низком качестве уже не сможет эффективно повлиять на его результаты. Для целей проектного менеджмента гораздо более полезной была бы информация о качестве производимого продукта, получаемая на ранних стадиях проекта или, по крайней мере, заблаговременно до его завершения и передачи потребителю. Но для оценки каких-либо свойств проектного продукта до завершения проекта отсутствует материал и данные. Единственная информация о свойствах разрабатываемого продукта содержится в характеристиках самого проекта, того, каким образом он выстроен и какие метрики возможно по нему собрать.

В качестве основы для построения метрики оценки качества программного продукта на этапе разработки предлагается использовать информацию: об объеме реализованной части программного продукта, о результатах его промежуточной проверки, количеству и структуре найденных замечаний и возвратов реализованных задач на доработку. Таким образом, в целом, программный продукт, содержащий большее количество ошибок на функциональную единицу объема продукта, признается менее качественным, а содержащий меньшее количество - более качественным.

Данный подход к оценке качества на этапе разработки вполне соотносится с методиками оценки качества после передачи продукта для прохождения приемосдаточных испытаний и последующего внедрения. Потенциально его применение может положительно повлиять на итоговую оценку качества готовой продукции. Продукт, содержащий меньшее число ошибок, будет удовлетворять большему объему заявленных требований при проведении приемосдаточных испытаний.

В части оценки на основании оценки экономического эффекта от внедрения можно утверждать, что продукт, содержащий меньший объем ошибок, будет давать не меньший экономический эффект от внедрения, чем содержащий больший объем ошибок, при прочих равных условиях. В данном контексте, в общем случае, нельзя утверждать, что те или иные ошибки программного продукта наверняка повлияют на экономический эффект от его внедрения, однако можно предположить, что существенные ошибки наверняка на нем скажутся негативно, а следовательно, уменьшение объема ошибок повышает вероятность достижения заявленного уровня экономического эффекта от внедрения программного продукта.

Наиболее очевидна связь объема содержащихся в продукте ошибок с субъективной оценкой пользователей. Наличие ошибок, особенно если они приводят к потерям времени, невозможности выполнить требуемые действия или повышению трудозатрат, связанных с использованием программного продукта, резко ухудшает субъективное восприятие пользователем качества продукта.

На этапе разработки продукта мы можем оценить текущее отношение найденных ошибок к объему разработанного продукта. На данной метрике предлагается основывать расчет интегрального показателя качества. Оценивая на каждый временной срез текущую концентрацию ошибок, и замеряя динамику изменения, мы можем судить об итоговом качестве продукта. При этом не следует забывать, что данная оценка справедлива только при условии постоянной интенсивности тестирования продукта на всех этапах и при прохождении всех итераций реализации проекта. Превышение определенного уровня концентрации замечаний свидетельствует о наличии проблем в разрабатываемом продукте, которые, при отсутствии соответствующих управляющих решений, непременно скажутся на качестве конечного результата.

Интегральный показатель качества рассчитывается в несколько этапов на основе отношений различных форматов обнаружения ошибок, недостатков в продукте (дефекты, ошибки реализации, возвраты на доработку и т.п.) к соответствующему объему продукта (объем реализованной функциональности, объем протестированной функциональности и т.п.), выраженному в объеме затраченных ресурсов. Экспертно и на основании статистических данных устанавливаются нормы и разграничение значений данных отношений по категориям качества продукта.

Показатель рассчитывается на основе двух компонент: • Оценка числа дефектов, найденных при тестировании (??????????);

• Оценка числа внутренних ошибок и возвратов на доработку при тестировании задач технологами (????????);

Для расчета компонента ?????????? определяется число дефектов, найденных за отчетный период. Далее, определяется объем проведенного тестирования (в человекоднях).

?????????? = ??/??????????, где: D - число дефектов, найденных за последние 2 месяца;

?????????? - объем функциональности разработанной за последние 2 месяца (общие трудозатраты в человекоднях).

Значение показателя качества продукта по дефектам определяется в соответствии с таблицей: Таблица 1 Категории качества по дефектам (составлено автором)

Значение Д = дефекты на 1чд 10 6 3 0

Качество продукта по дефектам (К) Плохое Удовлетворительное Хорошее Отличное

2 3 4 5

Для расчета компонента ???????? определяется число внутренних ошибок и возвратов на доработку по проекту за последние 2 месяца. По каждой задаче, возвращенной на доработку, определяется число возвратов. Далее определяется трудоемкость реализованных задач за период (задач переданных на тестирование). Число внутренних ошибок и возвратов на доработку на 1 человекодень определяется по формуле: ???????? = ??/????????,

где: V - количество внутренних ошибок и возвратов задач на доработку;

???????? - общая трудоемкость реализованных задач, переданных на тестирования в отчетный период.

В соответствии с рассчитанным значением присваивается категория качества по внутренним ошибкам в соответствии с таблицей: Таблица 2 Категории качества по внутренним ошибкам и возвратам на доработку (составлено автором)

Значение В = вн.ош. возвр. на 1чд разработки 0,3 0,18 0,08 0

Качество продукта по внутренним ошибкам и возвратам (В) Плохое Удовлетворительное Хорошее Отличное

2 3 4 5

Итоговое значение показателя качества разрабатываемого программного продукта определяется как наименьшее из показателей качества по дефектам и по внутренним ошибкам.

В соответствии с полученной категорией интегральному показателю качества Ipk присваивается одно из числовых значений в соответствии с таблицей: Таблица 3

Числовые значения интегрального показателя качества (ИПК) (составлено автором)

Категория Значение

Неприемлемое 0,3

Плохое 0,5

Удовлетворительное 0,7

Хорошее 0,8

Отличное 1

Для определения уровня интегрального показателя качества разрабатываемых проектных продуктов в целом по предприятию следует учесть соотношение затрат предприятия на каждый из проектов. Для рассматриваемого вида продукции, программных продуктов, в качестве расчетной единицы затрат допустимо использовать трудозатраты специалистов занятых в реализации проектов. Таким образом, общий интегральный показатель качества по портфелю выполняемых на предприятии проектов определяется по формуле: , где: ?????????? - значение показателя качества по i-му проект;

?????????? - доля трудозатрат, отнесенных на i-й проект за расчетный период.

Отличительной чертой программных продуктов с точки зрения оценки качества является восприимчивость к повышению итеративности на этапе разработки и внутреннего тестирования разработанных компонент. А именно, практический опыт показывает, что увеличение относительного объема ошибок в переданных на тестирования компонентах негативным образом сказывается на устойчивости производимого продукта к последующим изменениям в ходе развития или в рамках исправления замечаний. Помимо снижения уровня универсальности и возможности повторного применения, данное явление может привести к снижению производительности и стабильности функционирования продукта. Устойчивость продукта к внесению исправлений по результатам тестирования, эксплуатации и развития можно назвать потенциалом качества программного продукта. В отличие от интегрального показателя качества, который отражает качество последних реализованных участков продукта и их тестирования, потенциал качества рассчитывается на основании данных за весь период реализации проекта.

?????? = 1 ? ??????/????,

где: ?????? - общее количество дефектов, внутренних ошибок и возвратов на доработку по проекту;

???? - общая трудоемкость реализованной функциональности по проекту (в человекоднях);

?????? - потенциал качества i-го проекта.

В случае достижения отрицательных значений при расчете по формуле, уровень потенциала качества проекта приравнивается к нулю.

Аналогично интегральному показателю качества, показатель потенциала качества по проектам предприятия определяется по следующей формуле: , где: ???????? - значение потенциала качества по i-му проекту;

?????????? - процент трудозатрат предприятия, отнесенных на i-й проект за расчетный период.

Измерение данного показателя на регулярной основе может являться индикатором не только для потенциала качества производимого продукта, но и эффективности процесса производства продукта в целом, поскольку снижение качества на одном из этапов означает, что по итогам расчетного периода произошло снижение эффективности производственного процесса, а также, что на устранение снижения качества будут затрачены дополнительные ресурсы, что свидетельствует о снижении эффективности.

Данный подход позволяет производить оценку качества продукта на этапе его производства. При этом оценка качества становится независимой от последующего применения продукта, однако использование данного подхода не отменяет необходимость измерения и оценки качества на других этапах жизненного цикла уникального проектного продукта.

В рамках данной статьи рассмотрены понятия качества продукта и уникального проектного продукта. Понятие качества рассмотрено с точки зрения терминологии и применимости различных определений для использования в направлении оценки качества уникального проектного продукта.

С учетом современных тенденций развития производственно-экономической конъюнктуры обозначена актуальность проблемы своевременной оценки качества, дающей возможность принимать эффективные управленческие решения.

Рассмотрены методологии оценки качества продукта, сложности и особенности измерения качества уникального проектного продукта на примере проектных продуктов в области разработки программного обеспечения. Проведен анализ общих методологий оценки качества на различных этапах жизненного цикла продукции.

Предложен вариант общей методологии своевременной оценки качества уникального проектного продукта в области разработки программного обеспечения на основе анализа объема ошибок на функциональную единицу объема уникального проектного продукта. Приведена оценка взаимосвязи измерения качества по предложенной методике с рассмотренными методологиями оценки качества уникального проектного продукта в области программного обеспечения. Предложена методика расчета интегрального показателя качества и потенциала качества программного продукта.

1. Гегель. Энциклопедия философских наук. - М., 1974. § 90.

2. Макконнелл Кэмпбелл Р., Брю Стэнли Л. Экономикс: Принципы, проблемы и политика: В 2-х т. / Пер. с англ. - М.: Республика, 1992. 2-е изд. Т. 2.

3. Руководство к Своду знаний по управлению проектами (Руководство PMBOK) - Пятое издание. - Project Management Institute, Inc., 2013.

4. Аньшин В.М., Ильина О.М. Исследование методологии оценки и анализ зрелости управления портфелями проектов в российских компаниях. - М.: ИНФРА-М, 2010.

5. Попов В.М. Управление инновационными проектами. - М.: ИНФРА-М, 2009. 6. Алешин А.В., Аньшин В.М., Багратиони К.А. Управление проектами. Фундаментальный курс: учеб. / и др. - М.: Изд. дом Высшей школы экономики, 2013. - 620 с.

7. Калушин С.В., Есаулов М.Н. От управления качеством продукции к качеству управления ее производством. Фундаментальные проблемы радиоэлектронного приборостроения. 2014. Т. 14. № 1. С. 210-215.

8. Ферзалиева А.О. Корпоративная система управления проектами как эффективный инструмент управления инновационной деятельностью организации. Креативная экономика. 2011. № 10. С. 34-41.

9. Миронова С.Б., Зарубина Н.Л. Проектно-целевое управление и управление проектом. Вестник Саратовского областного института развития образования. 2014. № 4 (8). С. 68-74.

10. Марабаева Л.В., Кечемайкин В.Н., Соколов О.А. Основы инновационного менеджмента: учеб. пособие. - Саранск: Крас. Окт., 2004. - 324 с.

11. ГОСТ Р ИСО 10006-2005 Системы менеджмента качества. Руководство по менеджменту качества при проектировании.

12. ГОСТ Р ИСО 9001-2015 Системы менеджмента качества. Требования. 13. Словарь иностранных слов. / Под ред. И.В. Лехина, С.М. Локшиной, Ф.Н. Петрова, Л.С. Шаумяна. Изд. 6-е. перераб. и доп. М.: Изд-во "Советская Энциклопедия", 1964. - 784 с.

14. Стиглиц, Дж.Ю. Экономика государственного сектора / Пер. с англ. - М.: Издво МГУ: Инфра-М, 1997. - 720 с.

Размещено на .ru