Изучение механизма обработки информации в зрительной системе человека. Принципы формирования когнитивных блоков в мозге и психике. Решение задач сегментации и оценки свойств изображений. Компьютерное моделирование, распознавание и реализация образов.
Аннотация к работе
Видимая сцена на этом этапе представляется в виде набора первичных примитивов - локальных градиентов яркости, причем зрительная система различает их контраст на разных пространственных частотах (далее ПЧ) и ориентациях, сохраняя информацию об их пространственной локализации. Результат их работы в непосредственном виде не содержит информации о пространственных изменениях локальных признаков (контраста, ориентации, ПЧ), которая, тем не менее, оказывается чрезвычайно важной для человеческого восприятия. Имевшие в прошлом место попытки объяснения целого ряда феноменов раннего паттернового зрения исключительно свойствами ЗФПП (например, на основании модели множественных детекторов) потерпели неудачу [8]. информация сегментация моделирование мозг Одним из актуальных на настоящий момент подходов к интерпретации результатов экспериментов на восприятие стимулов, содержащих пространственные изменения контраста, ориентации и ПЧ при постоянных средней яркости и цвете (признаки второго порядка), связан с применением модели «фильтрация-выпрямление-фильтрация» (далее ФВФ), называемой также линейно-нелинейно-линейной моделью. Оценка пространственных изменений (модуляций) контраста в изображении может основываться на операции выпрямления выходов ЗФПП, например, взятии выходного сигнала по модулю.
Введение
Обработка информации в зрительной системе млекопитающих может рассматриваться как последовательность операций анализа и синтеза, обеспечивающих формирование внутренних репрезентаций видимого мира. Эти репрезентации порождаются разными нейрональными структурами, отличаются степенью обобщенности своего содержания, варьирующего от отдельных свойств объекта до его целостных образов, и обеспечивают протекание психических процессов ощущения и восприятия.
Механизмы зрительной обработки, принципы формирования когнитивных блоков на разных ее этапах занимают важное место в исследованиях, ведущихся в рамках наук о мозге и психике - физиологии сенсорных систем, психофизиологии, психологии. Вместе с тем сведения о них востребованы и в ряде областей технического знания, таких как обработка изображений и сигналов, распознавание образов, искусственный интеллект.
Рассматриваемая в настоящей работе психофизиологически обоснованная модель может оказаться полезной для решения задач сегментации и оценки некоторых свойств изображений.
Психофизиологические предпосылки моделирования
Наиболее ранний, преимущественно аналитический этап зрительной обработки достаточно подробно изучен и формализован, что обеспечивает относительную простоту его моделирования. Видимая сцена на этом этапе представляется в виде набора первичных примитивов - локальных градиентов яркости, причем зрительная система различает их контраст на разных пространственных частотах (далее ПЧ) и ориентациях, сохраняя информацию об их пространственной локализации.
Эти первичные примитивы могут использоваться мозгом при построении более сложных образов. Физиологическая основа этого этапа обработки обеспечивается функционированием нервных клеток сетчатки, наружного коленчатого тела таламуса и т.н. простых нейронов проекционной зрительной коры. Иными словами, на ранних этапах обработки зрительной информации мозг формирует дискретное описание видимой сцены средствами множества разнонастроенных и параллельно работающих каналов.
Различение человеком ПЧ и ориентации первичных примитивов обеспечивается избирательностью зрительных каналов, основанной на особенностях организации рецептивных полей (далее РП) формирующих эти каналы нейронов. Так, у человека описаны 6 пространственно-частотных психофизических каналов [1], характеризующихся следующими пиковыми значениями пропускания ПЧ: 0,5; 1; 2; 4; 8; 16 циклов/угл. град. Ширина полосы пропускания этих каналов на половине амплитуды составляет около 2 октав, причем полоса сужается по мере увеличения пиковой частоты. Так, для 0,5 она составляет 2,5 октавы, для 16 - 1,25 [2].
Известна также ширина полосы пропускания психофизического канала по ориентации, она оценивается примерно в 30 град. [3]. О числе ориентационных предпочтений зрительных психофизических каналов судить сложно, т.к. контрастная чувствительность человека примерно одинакова для разных ориентаций стимула [4]. Есть основания полагать, что существует минимум 6 предпочтительных ориентаций [3].
Функция каждого из этих каналов может быть смоделирована как операция линейной фильтрации; в качестве ядра фильтра часто используют двумерную функцию Габора [5]. Примеры импульсных характеристик таких фильтров показаны на рис. 1. Эта функция применяется в технике, например, при фильтрации цифровых изображений в задачах обнаружения краев объектов [6], для представления электрофизиологических сигналов [7].
Психофизические каналы, осуществляющие выделение первичных примитивов, принято именовать зрительными механизмами или фильтрами первого порядка (далее ЗФПП).
IMG_8c33fb1e-7ae3-408b-b80f-7593ce7ad581
Рис. 1. Двумерная карта весовой функции РП простого нейрона первичной зрительной коры, чувствительного к: а - вертикально ориентированной линии; б - горизонтально ориентированной линии; в - вертикально ориентированной решетке; г - горизонтальному яркостному градиенту. Светлым показаны on-, темным - off-зоны. Веса рассчитаны как значения двумерной функции Габора (по [6]).
Существенной для текущего обсуждения особенностью ЗФПП является то, что они реагируют в ограниченной области, передавая сведения о локальных изменениях яркости (локальном контрасте). Результат их работы в непосредственном виде не содержит информации о пространственных изменениях локальных признаков (контраста, ориентации, ПЧ), которая, тем не менее, оказывается чрезвычайно важной для человеческого восприятия.
Имевшие в прошлом место попытки объяснения целого ряда феноменов раннего паттернового зрения исключительно свойствами ЗФПП (например, на основании модели множественных детекторов) потерпели неудачу [8]. информация сегментация моделирование мозг
Одним из актуальных на настоящий момент подходов к интерпретации результатов экспериментов на восприятие стимулов, содержащих пространственные изменения контраста, ориентации и ПЧ при постоянных средней яркости и цвете (признаки второго порядка), связан с применением модели «фильтрация-выпрямление-фильтрация» (далее ФВФ), называемой также линейно-нелинейно-линейной моделью.
ФВФ-модель и зрительные механизмы второго порядка
Оценка пространственных изменений (модуляций) контраста в изображении может основываться на операции выпрямления выходов ЗФПП, например, взятии выходного сигнала по модулю. Так, областям с высокой амплитудой изменений локального контраста будут соответствовать высокие значения выпрямленных выходов ЗФПП.
Но локальный характер описания изображения при этом сохранится, поэтому логично допустить существование механизмов пространственной интеграции этих выходов.
Такие механизмы принято именовать зрительными механизмами второго порядка. Функционально они, как и ЗФПП, являются фильтрами (вероятно, линейными), поэтому в моделях часто обозначаются как зрительные фильтры второго порядка (далее ЗФВП).
Первоначально идеи о существовании ЗФВП выдвигались на основании данных психофизических экспериментов [9], в дальнейшем этим идеям были найдены нейрофизиологические и нейропсихологические подтверждения [10, 11]. Разработка моделей ЗФВП является частным случаем решения проблемы связывания [12].
Принцип работы ФВФ-модели показан на рис. 2. На первой стадии осуществляется свертка входного изображения с наборами узкополосных линейных фильтров ряда пространственных шкал и ориентаций (ЗФПП).
Выход первой стадии фильтрации подвергается нелинейным преобразованиям - как правило, полноволновому выпрямлению. ЗФВП имеют более крупные РП и объединяют нелинейно трансформированные выходы фильтров первого порядка.
IMG_4298ec76-193d-4224-8937-cb2788809a89
Рис. 2. - ФВФ-механизм и его реакция на контрастно-модулированный стимул (по [13]) .
И ЗФПП, и ЗФВП являются полосовыми фильтрами. Обращаем внимание читателя на то, что термин «порядок фильтра» в контексте обсуждаемых моделей буквально означает порядок включения фильтрующего механизма в последовательность операций обработки зрительной информации.
Понимание термина существенно отличается от принятого в радиоэлектронике и близких к ней областях [14]. Так, порядок фильтра не связан с крутизной его АЧХ. Более того, есть основания полагать, что полосы пропускания ЗФВП по ПЧ и ориентации даже несколько шире, чем у ЗФПП [3, 15], при этом центральные ПЧ ЗФВП существенно ниже таковых у ЗФПП.
Применяя фильтрацию второго порядка к выпрямленным выходам ЗФПП, можно выделять и/или оконтуривать области, содержащие изменения локального контраста разной амплитуды и частоты, обнаруживаемые ЗФПП и механизмами ректификации.
Однако принятие такого подхода приводит нас к проблеме специфичности ЗФВП: объединение выходов каналов с определенной ориентационной и пространственно-частотной настройкой на ЗФВП будет вызывать довольно сильный ответ вне зависимости от типа пространственных изменений - будь то модуляция ориентации, пространственной частоты или контраста.
Нужно сказать, что первоначально модели ЗФВП создавались как неспецифичные к типу модулируемого признака. Впервые проблему специфичности ЗФВП сформулировал Kingdom с соавт. [13], после чего последовал ряд работ, посвященных ее решению [см. 16 для обзора].
Результаты ряда психофизических исследований, проведенных в течение последнего десятилетия, указывают на независимость механизмов, обнаруживающих модуляции пространственной частоты, ориентации и контраста.
Это потребовало пересмотра существующей модели ФВФ путем описания механизма работы обнаружителей стимулов второго порядка, специфичных к типу пространственно интегрируемого признака (модуляций ориентации, ПЧ и контраста).
На рис. 3 показана текстура, левая половина которой промодулирована по ПЧ, правая - по ориентации. Наше зрение позволяет без труда оценить особенности левой и правой половин изображения.
Вместе с тем общепринятая (неспецифичная к типу интегрируемого признака) модель ЗФВП сделать это не может - ЗФВП обнаружат только сам факт присутствия пространственных модуляций определенной частоты и ориентации.
IMG_71294c08-05d5-48e4-95e3-b204a55fe87a
Рис. 3. Пространственные модуляции текстуры по ПЧ (слева) и ориентации (справа).
Следовательно, если эта модель верна, должен существовать механизм более высокого порядка, позволяющий различать типы пространственных модуляций. Однако более логичным и экспериментально обоснованным будет допустить различение модуляций уже на уровне механизмов второго порядка.
Компьютерная реализация модели
Изменения, вносимые в общепринятую ФВФ-модель с целью решения проблемы специфичности ЗФВП, не меняют ее общей структуры. Полностью сохраняется принцип двухстадийной фильтрации с промежуточной нелинейностью. Специфичность ЗФВП к модуляциям контраста достигается перестройкой входов ЗФВП (РП ЗФВП), а именно их тормозной части.
На возбудительный вход ЗФВП подаются выпрямленные выходы ЗФПП, настроенного только на одну ПЧ и ориентацию; тормозные фланги формируются выпрямленными выходами ЗФПП, настроенными на остальные ориентации и частоты.
Общее количество ориентационных и пространственно-частотных предпочтений ЗФПП определяется на основании психофизиологических данных. Следствием такой организации РП является неизбирательность тормозных флангов к ориентации и ПЧ элементов текстуры. Текстуры, модулированные по ориентации или ПЧ, не снижают фланговое торможение и не будут активировать ЗФВП.
Немодулированная текстура также не вызовет активацию фильтра, поскольку фланговое торможение превысит или окажется равным возбуждению. Однако увеличение контраста в центре и снижение его на флангах приведет к активации ЗФВП.
Рассмотрим подробности компьютерной реализации модели ЗФВП. Программа считывает входной графический файл и размещает в памяти его яркостное представление, после чего рассчитываются импульсные характеристики всех требуемых ЗФПП исходя из требований к их пространственно-частотной и ориентационной избирательности. Так, если требуется задействовать в модели 5 пространственно-частотных каналов первого порядка (например, с предпочтительной длиной периода в 44; 22; 11; 5,5; 2,75 пикселей), избирательных к 6 ориентациям (например, 0;30;60;90;120;150 градусов), будет рассчитано 5•6=30 импульсных характеристик ЗФПП. Полосы пропускания фильтров по ПЧ и ориентации могут быть произвольно изменены, по умолчанию они составляют соответственно 2 октавы и 30 град.
Яркостное представление входного изображения подвергается «декомпозиции» на «слои», содержащие элементы разной ПЧ и ориентации, путем свертки с каждым из полученных ядер. Так как размеры матриц значений ядер фильтров могут быть достаточно велики, с целью ускорения расчетов свертка осуществляется в частотной области с использованием двумерного быстрого преобразования Фурье.
В качестве ядра ЗФВП в модели также используется двумерная функция Габора, удобная для описания оппонентной структуры РП. Нужно отметить, что это является существенно большим допущением, чем применение ее для моделирования ЗФПП, однако не противоречит логике ФВФ-модели. Изображение на выходе ЗФВП (I) рассчитывается как поэлементная сумма сверток (*) матрицы, содержащей положительные значения импульсной характеристики фильтра (Gp), с изображением, подаваемым на возбудительный вход(Ie), и матрицы, содержащей отрицательные значения импульсной характеристики фильтра(Gn), с изображением, подаваемым на тормозный вход (Ii): I=[Gp * Ie] [Gn * Ii].
Изображение Ie, подаваемое на возбудительный вход, представляет собой слой исходного изображения, выделенный в результате фильтрации в одном из каналов первого порядка. На тормозный вход ЗФВП подается фактически частично восстановленное путем объединения выделенных ЗФПП слоев исходное изображение Ii.
Для восстановления может использоваться произвольное число слоев (по умолчанию все). Объединение может проводиться разными способами, по умолчанию в программе принято рассчитывать значение каждого пикселя восстановленного изображения как m-норму вектора, состоящего из пикселей всех объединяемых слоев с теми же координатами, что и восстанавливаемый. Таким образом, в изображение, подаваемое на тормозный вход, попадут максимально яркие точки.
Важным аспектом модели, касающимся объединения выходов ЗФПП на ЗФВП, является соотношение их ориентационных и пространственно-частотных настроек [17, 18]. На основании ранее полученных психофизиологических данных в программе приняты следующие умолчания: ориентации ЗФПП и ЗФВП совпадают, предпочтительная ПЧ ЗФПП в 8 раз выше таковой ЗФВП, что соответствует оптимальному для человеческого восприятия соотношению частот несущей и огибающей в модулированной по контрасту текстуре. Ширина полосы пропускания ЗФВП по ориентации составляет 30 град., но она может быть произвольно изменена.
Программа была протестирована на текстурах, модулированных по контрасту, ориентации и ПЧ, применявшихся ранее в психофизических экспериментах [15, 16]. Действительно, программная реализация модели ЗФВП, специфичных к модуляциям контраста, позволяет обнаруживать в текстуре пространственные модуляции контраста (рис. 4), причем реакция на пространственные модуляции ориентации и ПЧ подавляется благодаря фланговому торможению.
IMG_dbe0f93a-6614-4b66-9200-cd9a68212142
Рис. 4. Модулированная по контрасту текстура (слева) и реакция модели на нее (справа). Яркие полосы соответствуют областям, содержащим элементы с контрастом выше среднего.
Следует отметить, что использованный нами подход к моделированию специфичности ЗФВП не является единственно возможным. Так, ранее Kingdom с соавт. [13] предложил модель специфичности механизмов, чувствительных к модуляции ориентации и ПЧ, в которой вводится дополнительная стадия нормализации контраста после выпрямления. Обнаружение модуляций контраста осуществляется механизмом с традиционной ФВФ-организацией, демонстрирующим максимальную реакцию именно на модуляции контраста. Подход предполагает существование этапа выбора зрительной системой того обнаружителя, который наиболее чувствителен к предъявленным модуляциям.
По нашему мнению, модель специфичности, основанная на неизбирательности тормозных флангов ЗФВП, по своей логике является более «экономичной» по сравнению с моделью с контрастно-нормализованными входами. Кроме того, она проще объясняет отсутствие взаимодействия контрастно-модулированных текстур и стимулов, модулированных по ПЧ и ориентации, в наших опытах с адаптацией и маскировкой [16, 19].
Программа написана на языке Фортран 2003 с использованием функций библиотеки FFTW3 [20] и может быть откомпилирована для большинства современных вычислительных платформ, причем имеется возможность эффективного распараллеливания отдельных участков кода. Программа имеет интерфейс командной строки и не обращается к средствам вывода в графическую консоль, сохраняя результаты работы в растровый файл. Она предназначена прежде всего для решения исследовательских задач в области психофизиологии зрительного восприятия, но может быть использована и как средство компьютерной графики, позволяя выявлять на изображении области с определенной амплитудой перепадов контраста для разных пространственных частот и ориентаций. В последнем случае количество выполняемых программой расчетов может быть значительно сокращено без существенных изменений результата за счет отказа от полной «декомпозиции» и частичного восстановления входного изображения при формировании тормозного входа ЗФВП. На тормозный вход ЗФВП может быть подано исходное неотфильтрованное изображение.
Работа выполнена при финансовой поддержке РГНФ в рамках научно-исследовательского проекта № 12-06-00169/13.
Список литературы
1. Wilson H.R., Gelb D.J. Modified line-element theory for spatial-frequency and width discrimination [Текст] // J. Opt. Soc. Am. A. 1984. Vol. 1, no. 1. P. 124-131.
2. Wilson H.R., MCFARLANE D.K., Phillips G.C. Spatial frequency tuning of orientation selective units estimated by oblique masking [Текст] // Vision Res. 1983. Vol. 23, no. 9. P. 873-882.
3. Ellemberg D., Allen H.A., Hess R.F. Second-order spatial frequency and orientation channels in human vision [Текст] // Vision Res. 2006. Vol. 46, no. 17. P. 2798-2803.
4. Olzak L.A., Thomas J.P. Seeing spatial patterns // Handbook of perception and human performance [Текст] / Ed. by K.R. Boff, L. Kaufman, J.P. Thomas. New York: Wiley. 1986. Vol. 1. Chapter 7.
5. Daugman J.G. Uncertainty relation for resolution in space, spatial frequency, and orientation optimized by two-dimensional visual cortical filters [Текст] // J. Opt. Soc. Am. A. 1985. Vol. 2, no. 7. P. 1160-1169.
6. Grigorescu C., Petkov N., Westenberg M.A. Contour detection based on nonclassical receptive field inhibition [Текст] // IEEE Trans. Image Processing. 2003. Vol. 12, no. 7. P. 729-739.
7. Тарасова И.А., Леонова А.В., Синютин С.А. Алгоритмы фильтрации сигналов биоэлектрической природы [Электронный ресурс] // Инженерный вестник Дона. 2012. №4, ч. 2. - Режим доступа: http://ivdon.ru/magazine/archive/n4p2y2012/1481 (доступ свободный) - Загл. с экрана. - Яз. рус.
8. Graham N.V. Beyond multiple pattern analyzers modeled as linear filters (as classical V1 simple cells): Useful additions of the last 25 years [Текст] // Vision Res. 2011. Vol. 51, no. 13. P. 1397-1430.
9. Henning G.B., Hertz B.G., Broadbent D.E. Some experiments bearing on the hypothesis that the visual system analyses spatial patterns in independent bands of spatial frequency [Текст] // Vision Res. 1975. Vol. 15, no. 8-9. P. 887-897.
10. Mareschal I., Baker C.L.Jr. Temporal and spatial response to second-order stimuli in cat area 18 [Текст] // J. Neurophysiol. 1998. Vol. 80, no. 6. P. 2811-2823.
11. Vaina L.M., Makris N., Kennedy D., Cowey A. The selective impairment of the perception of first-order motion by unilateral cortical brain damage [Текст] // Vis. Neurosci. 1998. Vol. 15, no. 2. P. 333-348.
12. Миняева Н.Р. Вызванная активность мозга при восприятии фигур Канизса [Электронный ресурс] // Инженерный вестник Дона. 2012. №4, ч. 1. - Режим доступа: http://ivdon.ru/magazine/archive/n4p1y2012/1131 (доступ свободный) - Загл. с экрана. - Яз. рус.
13. Kingdom F.A.A., Prins N., Hayes A. Mechanism independence for texture-modulation detection is consistent with a filter-rectify-filter mechanism [Текст] // Vis. Neurosci. 2003. Vol. 20, no. 1. P. 65-76.
14. Крутчинский С.Г., Устинова Е.С., Будяков П.С., Прокопенко Н.Н. Высокочастотные полосовые RC фильтры на повторителях тока [Электронный ресурс] // Инженерный вестник Дона. 2012. №4, ч. 2. - Режим доступа: http://ivdon.ru/magazine/archive/n3y2012/1035 (доступ свободный) - Загл. с экрана. - Яз. рус.
15. Babenko V.V., Yavna D.V., Soloviev A.A., Miftakhova M.B. Spatial selectivity of visual mechanisms sensitive to contrast modulation [Текст] // Journal of Optical Technology. 2011. Vol. 78, no. 12. P. 771-776.
16. Явна Д.В. Исследование специфичности зрительных механизмов второго порядка в психофизической парадигме адаптации [Текст] // Известия Высших учебных заведений. Северо-Кавказский регион. Общественные науки. 2012. № 6. С. 112-117.
17. Бабенко В.В., Ермаков П.Н., Божинская М.А. Соотношение пространственно-частотных настроек зрительных фильтров первого и второго порядка [Текст] // Психологический журнал. 2010. Т. 31, № 2. С. 48-57.
18. Бабенко В.В. Зрительные механизмы, избирательные к общей протяженности периодического паттерна [Текст] // Физиология человека. 1999. Т. 25. № 2. С. 30.
19. Babenko V., Yavna D. Specificity of the visual second-order mechanisms [Текст] // Perception. Supplement. 2008. Vol. 37. P. 78.
20. Frigo M., Johnson S.G. The Design and Implementation of FFTW3 [Текст] // Proceedings of the IEEE. 2005. Vol. 93, no. 2. P. 216-231.