Искусственные нейронные сети как одна из широко известных и используемых моделей машинного обучения. Знакомство с особенностями разработки системы распознавания изображений на основе аппарата искусственных нейронных сетей. Анализ типов машинного обучения.
Аннотация к работе
Задача распознавания изображений является очень важной, так как возможность автоматического распознавания компьютером изображений приносит множество новых возможностей в развитии науки и техники, таких, как разработка систем поиска лиц и других объектов на фотографиях, контроля качества производимой продукции без участия человека, автоматического управления транспортом и множество других. Что касается искусственных нейронных сетей, то в последние годы данный раздел машинного обучения получается все большее развитие в связи со значительным повышением вычислительных мощностей существующих компьютеров и повсеместном распространении применения графических карт для вычислений, что позволяет обучать нейронные сети гораздо большей глубины и сложной структуры чем раньше, которые, в свою очередь, показывают значительно лучшие результаты по сравнению с другими алгоритмами для многих задач, в особенности задачи распознавания изображений. Так, например, по результатам ежегодного соревнования по распознаванию изображений IMAGENET-2014 подавляющее большинство успешных алгоритмов использовало глубокие сверточные сети. Так как задача распознавания изображений является очень обширной и в большинстве случаев требует отдельного подхода для различных типов изображений, то рассмотреть задачу распознавания изображений в целом в рамках одного исследования практически невозможно, поэтому было принято решение для примера рассмотреть отдельно такую подзадачу распознавания изображений, как распознавание дорожных знаков. Результатом выполнения данной задачи должен являться программный комплекс, позволяющий пользователю загрузить изображение и получить предсказание класса данного изображенияДанный датасет состоит из 51840 изображений, принадлежащих 43 классам. Распределение количества изображений по классам представлено на рисунке 9. В алгоритме классификации используются изображения двух размеров - 45*45 (для обучения многослойного перспетрона на бинаризированных данных) и 60*60 (для обучения остальных сетей), поэтому для каждого изображения обучающего и тестового множества были созданы экземпляры этих двух размеров. Что касается обучения нейронных сетей, то каждая из сетей была обучена отдельно и результаты ее работы были оценены, а затем был построен и обучен итоговый классификатор. Рассмотрение данной сети имело две цели - изучение работы с библиотекой Caffe на простом примере и формирование некоторого бенчмарка для более предметной оценки результатов работы остальных сетей по сравнению с ней.В данной работе была подробно изучена задача распознавания изображений с применением аппарата искусственных нейронных сетей. Были рассмотрены наиболее актуальные в настоящее время подходы к распознаванию изображений, в том числе использующие глубокие нейронные сети, а также разработан собственный алгоритм для распознавания изображений на примере задачи распознавания дорожных знаков с применением глубоких сетей. Была разработан алгоритм для распознавания изображений на примере задачи распознавания дорожных знаков, использующий ансамбль нейронных сетей, состоящий из двух многослойных персептронов и 4 глубоких сверточных сетей, и с применением двух типов дополнительного классификатора - J48 и KSTAR - для комбинации результатов отдельных сетей и формирования итогового предсказанияМногослойная есть с одним скрытым слоем: name: "CAFFENET" layer {name: "data" type: "Data" top: "data" top: "label" include {phase: TRAIN } transform_param {mirror: true crop_size: 30 mean_file: "/home/anna/nn/traffic_signs/imagenet_mean_train_complete.binaryproto" } data_param {source: "/home/anna/nn/traffic_signs/data_complete/ilsvrc12_train_lmdb" batch_size: 10 backend: LMDB } layer {name: "data" type: "Data" top: "data" top: "label" include {phase: TEST } data_param {source: "/home/anna/nn/traffic_signs/data_complete/ilsvrc12_val_lmdb" batch_size: 1 backend: LMDBПример исходного кода созданных Python-скриптов inspect_net.py (демонстрация параметров обученной сети) import numpy as np import Image import caffe caffe.set_mode_cpu() net = caffe.Net("/home/anna/nn/traffic_signs/train_val_conv.prototxt", "/home/anna/nn/snapshots/conv/1/snapshot_iter_2000000.caffemodel", caffe.TEST) print("blobs {}
Темой данного исследования является разработка системы распознавания изображений на основе аппарата искусственных нейронных сетей. Задача распознавания изображений является очень важной, так как возможность автоматического распознавания компьютером изображений приносит множество новых возможностей в развитии науки и техники, таких, как разработка систем поиска лиц и других объектов на фотографиях, контроля качества производимой продукции без участия человека, автоматического управления транспортом и множество других.
Что касается искусственных нейронных сетей, то в последние годы данный раздел машинного обучения получается все большее развитие в связи со значительным повышением вычислительных мощностей существующих компьютеров и повсеместном распространении применения графических карт для вычислений, что позволяет обучать нейронные сети гораздо большей глубины и сложной структуры чем раньше, которые, в свою очередь, показывают значительно лучшие результаты по сравнению с другими алгоритмами для многих задач, в особенности задачи распознавания изображений. Данное направление развития нейронных сетей получило название deep learning (“глубокое обучение”) и является одним из наиболее успешных и быстро развивающихся в настоящее время. Так, например, по результатам ежегодного соревнования по распознаванию изображений IMAGENET-2014 подавляющее большинство успешных алгоритмов использовало глубокие сверточные сети.
Так как задача распознавания изображений является очень обширной и в большинстве случаев требует отдельного подхода для различных типов изображений, то рассмотреть задачу распознавания изображений в целом в рамках одного исследования практически невозможно, поэтому было принято решение для примера рассмотреть отдельно такую подзадачу распознавания изображений, как распознавание дорожных знаков.
Таким образом, основной целью данного исследования была разработка системы распознавания изображений на основе искусственных нейронных сетей для изображений дорожных знаков. Для достижения данной цели были сформулированы следующие задачи: 1. Выполнение аналитического обзора литературы по теме искусственных нейронных сетей и их применения для задачи распознавания изображений
2. Разработка алгоритма для распознавания дорожных знаков с применением аппарата искусственных нейронных сетей
3. Разработка прототипа системы распознавания изображений на основе разработанного алгоритма. Результатом выполнения данной задачи должен являться программный комплекс, позволяющий пользователю загрузить изображение и получить предсказание класса данного изображения
4. Проведение экспериментальных исследований. Необходимо провести исследования и оценить точность работы полученного алгоритма
В ходе проведенного исследования все поставленные задачи были выполнены. Конкретные результаты по каждой из них будут описаны в основной части работы.
Вывод
3.1 Исходные данные
В качестве входных данных в данном исследовании был использован уже упомянутый ранее датасет GTSRB (German Traffic Signs Recognition Benchmark). Данный датасет состоит из 51840 изображений, принадлежащих 43 классам. При этом количество изображений, принадлежащих разным классам, различно. Распределение количества изображений по классам представлено на рисунке 9.
Рисунок 9.Распределение количества изображений по классам
Размеры входных изображений также различаются. Для самого меньшего из изображений ширина равна 15 пикселей, для самого большого - 250 пикселей. Общее распределение размеров изображений представлено на рисунке 10.
Рисунок 10. Распределение размеров изображений
Исходные изображения представлены в формате ppm, то есть в виде файла, где каждому пикселю соответствуют три числа - значения интенсивности красной, зеленой и синей компонент цвета.
3.2 Предварительная обработка данных
Перед началом работы исходные данные были соответствующим образом подготовлены - преобразованы из форма PPM в формат JPEG, с которым умеет работать библиотека Caffe, случайным образом разбиты на обучающее и тестовое множество в соотношении 80:20%, а также масштабированы. В алгоритме классификации используются изображения двух размеров - 45*45 (для обучения многослойного перспетрона на бинаризированных данных) и 60*60 (для обучения остальных сетей), поэтому для каждого изображения обучающего и тестового множества были созданы экземпляры этих двух размеров. Также к каждому из изображений были применены указанные ранее преобразования (бинаризация, нормализация гистограммы, повышение контрастности), и уже полученные изображения были сохранены в базе данных LMDB (Lightning Memory-Mapped Database), которая представляет собой быстрое и эффективное хранилище типа «ключ-значение». Такой способ хранения данных обеспечивает наиболее быструю и удобную работу библиотеки Caffe. Для преобразования изображений применялись библиотеки Python Imaging Library (PIL) и scikit-image. Примеры полученных после проведения каждого из преобразований изображений представлены на рисунке 11. Сохраненные в базе данных изображения использовались в дальнейшем уже для непосредственного обучения нейронных сетей.
Рисунок 11. Результаты применения преобразований к изображению
Что касается обучения нейронных сетей, то каждая из сетей была обучена отдельно и результаты ее работы были оценены, а затем был построен и обучен итоговый классификатор. Однако перед этим была построена и обучена простейшая сеть, представляющая собой персептрон с одним скрытым слоем. Рассмотрение данной сети имело две цели - изучение работы с библиотекой Caffe на простом примере и формирование некоторого бенчмарка для более предметной оценки результатов работы остальных сетей по сравнению с ней. Поэтому в следующем разделе рассмотри каждую из моделей сетей и результаты ее работы более подробно.
3.3 Результаты отдельных моделей
К реализованным в ходе данного исследования моделям относятся: · Нейронная сеть с одним скрытым слоем
· Многослойная нейронная сеть, построенная на основе исходных данных
· Многослойная нейронная сеть, построенная на основе бинаризированных данных
· Сверточная сеть, построенная на основе исходных данных
· Сверточная сеть, построенная на основе RGB - данных после выравнивания диаграммы
· Сверточная сеть, построенная на основе greyscale - данных после выравнивания диаграммы
· Сверточная сеть, построенная на основе greyscale - данных после усиления контраста
· Комбинированная модель, состоящая из комбинации двух многослойных нейронных сетей и 4 сверточных.
Рассмотрим каждую из них более подробно.
Нейронная есть с одним скрытым слоем, хотя не относится к моделям deep learning, тем не менее оказывается очень полезна для реализации во первых, в качестве обучающего материала для работы с библиотекой, и во вторых - в качестве некоторого базового алгоритма для сравнения с работой остальных моделей. К числу несомненных преимуществ данной модели относится легкость ее построения и высокая скорость обучения.
Данная модель была построена для исходных цветных изображений размера 45*45 пикселей, при этом скрытый слой содержал 500 нейронов. Обучение сети заняло около 30 минут, и результирующая точность предсказания оказалась равна 59,7%.
Вторая построенная модель - это многослойная полносвязанная нейронная сеть. Данная модель была построена для бинаризированной и цветной версий изображений меньшего формата и содержала 4 скрытых слоя. Конфигурация сети описывается следующим образом: · Входной слой
· Слой 1, 1500 нейронов
· Слой 2, 500 нейронов
· Слой 3, 300 нейронов
· Слой 4, 150 нейронов
· Выходной слой
Схематично модель данной сети изображена на рисунке 12.
Рисунок 12. Схема многослойного персептрона
Итоговая точность полученной модели равна 66,1% для бинаризированных изображений и 81,5% для цветных. Однако - что оправдывает построение модели для бинаризированных изображений, несмотря на ее меньшую точность - нашелся ряд изображений, для которых именно бинаризированная модель смогла определить правильный класс. Кроме того, модель на основе цветных изображений потребовала существенно большего времени на обучение - около 5 часов по сравнению с 1,5 часа для бинаризированной версии.
Остальные построенные модели так или иначе базируются на сверточных сетях, так как именно такие сети показали наибольшую эффективность в задачах вида распознавания изображений. За основу архитектуры нейронной сети была взята известная сеть LENET, разработанная для классификации изображений из датасета IMAGENET. Однако для соответствия рассматриваемым изображениям, которые имеют существенно меньший размер, сеть была модифицирована. Краткое описание архитектуры сети: · 3 слоя свертки с размерами ядра 9, 3 и 3 соответственно · 3 слоя сабсемплинга
· 3 полносвязанных слоя размерами 100, 100 и 43 нейрона
Данная сеть была отдельно обучена на исходных изображениях большего размера, изображениях после выравнивания гистограммы (цвет сохранен), изображениях после выравнивания гистограммы приведенных к черно-белому виду и, наконец, черно-белых изображениях с усиленным контрастом. Результаты обучения представлены в таблице 1: Таблица 1. Результаты обучения сверточной сети
Можно видеть, что наилучшие результаты показала сеть, построенная на основе черно-белых изображений после выравнивания гистограммы. Это можно объяснить тем, что в процессе выравнивания диаграммы качество изображений, например, различия между изображением и фоном и общая степень яркости улучшились, в то же время лишняя информация, содержащаяся в цвете и не несущая существенной смысловой нагрузки - человек способен без труда распознать те же самые знаки в черно-белом варианте - но зашумляющая изображение и усложняющая классификацию - была устранена.
После построения вышеописанных моделей был построен и обучен классификатор, комбинирующий результаты всех 6 моделей. В качестве алгоритма для итогового классификатора было рассмотрено 2 алгоритма: J48 и KSTAR. Общая схема обучения итогового алгоритма в результате выглядела так: 1. Обучить с использованием метода обратного распространения ошибки каждую сеть на обучающем множестве (множество одно и то же для всех сетей, но к изображениям применены разные преобразования)
2. Для каждого экземпляра обучающего множества получить по два наиболее вероятных класса в порядке убывания вероятности от каждой сети, сохранить полученный набор (всего 12 значений) и действительную метку класса
3. Использовать полученный набор данных - 12 атрибутов и метка класса - в качестве обучающего множества для итогового классификатора
4. Оценить точность полученной модели: для каждого экземпляра тестового множества получить по два наиболее вероятных класса в порядке убывания вероятности от каждой сети и итоговое предсказание класса на основе этого набора данных
По результатам выполнения шагов из данной схемы была вычислена итоговая точность комбинированного алгоритма: 93% при использовании алгоритма J48 и 94.8% - при использовании KSTAR. При этом алгоритм, основанный на дереве решений, показывает чуть худшие результаты, однако обладает двумя важными преимуществами: во-первых, полученное в результате работы алгоритма дерево наглядно демонстрирует логику классификации и позволяет лучше понять реальную структуру данных (например, какая из сетей дает самые точные предсказания для определенного типа знаков и поэтому ее предсказание однозначно определяет результат), во-вторых - после построения модели данный алгоритм позволяет осуществлять классификацию новых сущностей очень быстро, так как для классификации требуется всего лишь один проход по дереве сверху вниз. Что касается алгоритма KSTAR, то в ходе его работы построения модели фактически не происходит, а классификация основана на поиске наиболее похожих экземпляров среди обучающей выборки. Поэтому данный алгоритм, хотя и классифицирует сущности, но не предоставляет при этом никакой дополнительной информации для них, а главное - классификация каждого экземпляра может требовать значительного количества времени, что может быть неприемлемо для задач, где требуется очень быстро получить результат, например, при распознавании дорожных знаков при автоматическом управлении автомобилем.
В таблице 2 представлено общее сравнение результатов работы всех рассмотренных алгоритмов.
Таблица 2. Сравнение результатов работы алгоритмов
На рисунке 13 представлен график обучения сети на примере сверточной сеть для greyscale-данных с выравнивание гистограммы (по оси х количество итераций, по оси у - точность).
Рисунок 13. График обучения сверточной сети
Для подведения итогов исследования полезно также изучить результаты классификации и выявить, какие знаки оказались наиболее просты для классификации, а какие, наоборот, распознаются с трудом. Рассмотрим для этого выходные значения алгоритма J48 и полученную таблицу сопряженности (см. приложение 3). Можно видеть, что для части знаков точность классификации равна 100% или очень близка к ним - например, это знаки “Stop” (класс 14) , “Уступи дорогу” (класс 13), “Главная дорога” (класс 12), “Конец всех ограничений” (класс 32), “Сквозной проезд запрощен” (класс 15) (рисунок 12). Большая часть этих знаков имеет характерную форму (“Главная дорога”) или особые графические элементы, не имеющие аналогов на других знаках (“Конец всех ограничений”).
Рисунок 12. Примеры легко распознаваемых дорожных знаков
Другие же знаки часто смешиваются между собой, например, такие, как объезд слева и объезд справа или различные знаки ограничений скорости (рисунок 13).
Рисунок 13. Примеры часто смешиваемых знаков
Бросается в глаза закономерность, что нейронные сети часто смешивают симметричные между собой знаки - особенно это касается сверточных сетей, которые ищут на изображении локальные признаки и при этом не анализируют изображение в целом - для классификации подобных изображений как раз таки больше подходят многослойные персептроны.
Подводя итоги, можно сказать, что с помощью сверточных нейронных сетей и комбинированного алгоритма, построенного на их основе, удалось получить неплохие результаты в классификации дорожных знаков - точность полученного классификатора почти 95%, что позволяет получить практические результаты, кроме того, предложенный подход с применением дополнительного классификатора для комбинации результатов нейронных сетей имеет множество возможностей для дальнейшего совершенствования.В данной работе была подробно изучена задача распознавания изображений с применением аппарата искусственных нейронных сетей. Были рассмотрены наиболее актуальные в настоящее время подходы к распознаванию изображений, в том числе использующие глубокие нейронные сети, а также разработан собственный алгоритм для распознавания изображений на примере задачи распознавания дорожных знаков с применением глубоких сетей. По результатам работы можно сказать, что все поставленные в начале работы задачи были выполнены: 1. Был проведен аналитический обзор литературы по теме применения искусственных нейронных сетей для распознавания изображений. По результатам данного обзора было выяснено, что наиболее эффективными и распространенными в последнее время являются подходы к распознаванию изображений, основанные на применении глубоких сверточных сетей
2. Была разработан алгоритм для распознавания изображений на примере задачи распознавания дорожных знаков, использующий ансамбль нейронных сетей, состоящий из двух многослойных персептронов и 4 глубоких сверточных сетей, и с применением двух типов дополнительного классификатора - J48 и KSTAR - для комбинации результатов отдельных сетей и формирования итогового предсказания
3. Был разработан прототип системы для распознавания изображений на примере дорожных знаков на основе алгоритма из п.3, которая предоставляет пользователю web-интерфейс для загрузки изображения и, используя предварительно обученные модели, классифицирует данное изображение и выводит пользователю результат классификации
4. Разработанный в п.3 алгоритм был обучен с использованием датасета GTSRB, при этом были оценены отдельно результаты каждой из входящих в него сетей и итоговая точность алгоритма для двух типов дополнительного классификатора. По результатам экспериментов, наибольшая точность распознавания, равная 94.8%, достигается при использовании ансамбля нейронных сетей и классификатора KSTAR, а среди отдельных сетей наилучшие результаты - точность 89.1% - показала сверточная сеть, использующая предварительное преобразование изображения в оттенки серого и выполняющая выравнивание гистограммы изображения.
В целом, данное исследование подтвердило, что в настоящее время глубокие искусственные нейронные сети, в особенности сверточные сети, являются наиболее результативным и перспективным подходом для классификации изображений, что подтверждается результатами многочисленных исследований и проводимых соревнований по распознаванию изображений.
Список литературы
1. Al-Azawi M. A. N. Neural Network Based Automatic Traffic Signs Recognition //International Journal of Digital Information and Wireless Communications (IJDIWC). - 2011. - Т. 1. - №. 4. - С. 753-766.
2. Baldi P. Autoencoders, Unsupervised Learning, and Deep Architectures //ICML Unsupervised and Transfer Learning. - 2012. - Т. 27. - С. 37-50.
3. Bahlmann C. et al. A system for traffic sign detection, tracking, and recognition using color, shape, and motion information //Intelligent Vehicles Symposium, 2005. Proceedings. IEEE. - IEEE, 2005. - С. 255-260.
4. Bastien F. et al. Theano: new features and speed improvements //ARXIV preprint ARXIV:1211.5590. - 2012.
5. Bengio Y., Goodfellow I., Courville A . Deep Learning. - MIT Press, book in preparation
6. Bergstra J. et al. Theano: A CPU and GPU math compiler in Python //Proc. 9th Python in Science Conf. - 2010. - С. 1-7.
7. Broggi A. et al. Real time road signs recognition //Intelligent Vehicles Symposium, 2007 IEEE. - IEEE, 2007. - С. 981-986.
8. Canny J. A computational approach to edge detection //Pattern Analysis and Machine Intelligence, IEEE Transactions on. - 1986. - №. 6. - С. 679-698.
9. Ciresan D., Meier U., Schmidhuber J. Multi-column deep neural networks for image classification //Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. - IEEE, 2012. - С. 3642-3649.
10. Ciresan D. et al. A committee of neural networks for traffic sign classification //Neural Networks (IJCNN), The 2011 International Joint Conference on. - IEEE, 2011. - С. 1918-1921.
11. Ciresan D. C. et al. Deep big multilayer perceptrons for digit recognition //Neural Networks: Tricks of the Trade. - Springer Berlin Heidelberg, 2012. - С. 581-598.
12. Daugman J. G. Complete discrete 2-D Gabor transforms by neural networks for image analysis and compression //Acoustics, Speech and Signal Processing, IEEE Transactions on. - 1988. - Т. 36. - №. 7. - С. 1169-1179.
13. Gao X. W. et al. Recognition of traffic signs based on their colour and shape features extracted using human vision models //Journal of Visual Communication and Image Representation. - 2006. - Т. 17. - №. 4. - С. 675-685.
14. Goodfellow I. J. et al. Pylearn2: a machine learning research library //ARXIV preprint ARXIV:1308.4214. - 2013.
15. Han J., Kamber M., Pei J. Data mining: Concepts and techniques. - Morgan kaufmann, 2006.
16. Harris C., Stephens M. A combined corner and edge detector //Alvey vision conference. - 1988. - Т. 15. - С. 50.
17. Houben S. et al. Detection of traffic signs in real-world images: The German Traffic Sign Detection Benchmark //Neural Networks (IJCNN), The 2013 International Joint Conference on. - IEEE, 2013. - С. 1-8.
18. Huang F. J., LECUN Y. Large-scale learning with svm and convolutional netw for generic object recognition //2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. - 2006.
19. Huttenlocher D. P., Ullman S. Object recognition using alignment //Proc. ICCV. - 1987. - Т. 87. - С. 102-111.
20. Jia, Yangqing. "Caffe: An open source convolutional architecture for fast feature embedding." h ttp://caffe. berkeleyvision. org (2013).
21. Krizhevsky A., Sutskever I., Hinton G. E. Imagenet classification with deep convolutional neural networks //Advances in neural information processing systems. - 2012. - С. 1097-1105.
22. Lafuente-Arroyo S. et al. Traffic sign classification invariant to rotations using support vector machines //Proceedings of Advabced Concepts for Intelligent Vision Systems, Brussels, Belgium. - 2004.
23. LECUN Y., Bengio Y. Convolutional networks for images, speech, and time series //The handbook of brain theory and neural networks. - 1995. - Т. 3361. - С. 310.
24. LECUN Y. et al. Learning algorithms for classification: A comparison on handwritten digit recognition //Neural networks: the statistical mechanics perspective. - 1995. - Т. 261. - С. 276.
25. Masci J. et al. Stacked convolutional autoencoders for hierarchical feature extraction //Artificial Neural Networks and Machine Learning-ICANN 2011. - Springer Berlin Heidelberg, 2011. - С. 52-59.
26. Matan O. et al. Handwritten character recognition using neural network architectures //Proceedings of the 4th USPS Advanced technology Conference. - 1990. - С. 1003-1011.
27. MCCULLOCH W. S., Pitts W. A logical calculus of the ideas immanent in nervous activity //The bulletin of mathematical biophysics. - 1943. - Т. 5. - №. 4. - С. 115-133.
28. Minsky M., Seymour P. Perceptrons. - 1969.
29. Mitchell T. Generative and discriminative classifiers: naive Bayes and logistic regression, 2005 //Manuscript available at http://www. cs. cm. edu/~ tom/NEWCHAPTERS. html.
30. Moutarde F. et al. Robust on-vehicle real-time visual detection of American and European speed limit signs, with a modular Traffic Signs Recognition system //Intelligent Vehicles Symposium, 2007 IEEE. - IEEE, 2007. - С. 1122-1126.
31. Rosenblatt F. The perceptron: a probabilistic model for information storage and organization in the brain //Psychological review. - 1958. - Т. 65. - №. 6. - С. 386.
32. Ruta A., Li Y., Liu X. Real-time traffic sign recognition from video by class-specific discriminative features //Pattern Recognition. - 2010. - Т. 43. - №. 1. - С. 416-430.
33. Sermanet P., LECUN Y. Traffic sign recognition with multi-scale convolutional networks //Neural Networks (IJCNN), The 2011 International Joint Conference on. - IEEE, 2011. - С. 2809-2813.
34. Serra J. Introduction to mathematical morphology //Computer vision, graphics, and image processing. - 1986. - Т. 35. - №. 3. - С. 283-305.
35. Stallkamp J. et al. Man vs. computer: Benchmarking machine learning algorithms for traffic sign recognition //Neural networks. - 2012. - Т. 32. - С. 323-332.
36. Zaklouta F., Stanciulescu B. Real-time traffic sign recognition using spatially weighted HOG trees //Advanced Robotics (ICAR), 2011 15th International Conference on. - IEEE, 2011. - С. 61-66.