Построение решающего правила

Введение.

Сегодня существует большое количество приложений, в которых используются методы распознавания лиц, таких как: идентификация личности, контроль удостоверений личности, использование интерфейса „человек-компьютер” и т. п. Главные сложности при распознавании лиц – множество изменений при представлении лиц, таких как: различное освещение, выражение лица, поворот головы, возрастные изменения и т. п. Поэтому проблема автоматического распознавания лиц полностью не решена до сих пор. Процесс идентификации личности, который базируется на распознавании по изображению лица, состоит в том, что изображение лица неизвестной личности подается на вход системы распознавания, в которой сравнивается с изображениями лиц известных личностей, находящихся в базе изображений. Процесс идентификации можно разделить на три основных этапа: – регистрация и нормализация изображения лица; – выделение признаков; – классификация. В последнее время особенное внимание исследователей для выделения признаков из изображения лица привлекают методы, которые используют локальные бинарные шаблоны (ЛБШ). ЛБШ впервые были предложены в 1996 году для анализа текстур полутоновых изображений. Методы распознавания лиц, которые используют для выделения признаков ЛБШ и их модификации, демонстрируют высокие результаты как по скорости, так и по точности распознавания. Такие методы робастны при использовании изображений лиц с различной мимикой, различным освещением, поворотами головы. Целью данной работы является модификация ЛБШ, которая бы позволила повысить точность распознавания изображений лиц по сравнению с использованием классических ЛБШ и их модификаций, а также классических методов распознавания лиц (анализ главных компонент, сравнение эластичных графов).

 

Как правило, система распознавания лиц представляет собой программно-аппаратный комплекс для автоматической верификации или идентификации личности по цифровому изображению (фотографии или кадру видеопоследовательности). Задача распознавания лиц решается при разработке систем контроля и управления доступом, систем пограничного контроля, проведении оперативно-розыскных мероприятий и т.д.

При использовании биометрических систем, особенно системы распознавания по лицу, даже при введении корректных биометрических характеристик не всегда решение об аутентификации верно. Это связано с рядом особенностей и, в первую очередь, с тем, что многие биометрические характеристики могут изменяться. Существует определенная степень вероятности ошибки системы. Причем при использовании различных технологий ошибка может существенно различаться. Для систем контроля доступа при использовании биометрических технологий необходимо определить, что важнее не ошибиться в состоянии человека и не позволить ему использовать ЭВМ в не адекватном состоянии.

Важным фактором для пользователей биометрических технологий в системах безопасности является простота использования. Человек, характеристики которого сканируются, не должен при этом испытывать никаких неудобств. Несмотря на очевидные преимущества, существует ряд негативных предубеждений против биометрии, которые часто вызывают вопросы о том, не будут ли биометрические данные использоваться для слежки за людьми и нарушения их права на частную жизнь. Из-за сенсационных заявлений восприятие биометрических технологий резко отличается от реального положения дел.

В процессе распознавания лиц возникает ряд сложностей, связанных с изменением условий освещения, вращением головы, возрастными изменениями и проч. Можно выделить следующие основные этапы процесса верификации и идентификации:

1. регистрация и нормализация изображения;
2. выбор признаков;
3. вычисление меры близости;
4. построение решающего правила.

 

Основными целями данной работы являлись разработка и анализ алгоритма распознавания лиц на основе локальных бинарных шаблонов (ЛБШ). Укажем основные этапы решения поставленной задачи:

1. предобработка (нормализация) изображения;
2. построение вектора признаков;
3. выбор меры близости;
4. построение решающего правила;
5. тестирование и сравнение различных подходов.

 

Локальные бинарные шаблоны.

В качестве признаков изображения предлагается использовать локальные бинарные шаблоны (ЛБШ).

Локальный бинарный шаблон – это определенный вид признака, используемый для классификации в компьютерном зрении, и представляющий собой простой оператор. Локальные бинарные шаблоны впервые были предложены в 1996 году для анализа текстуры полутоновых изображений. При этом дальнейшие исследования показали, что ЛБШ инвариантны к небольшим изменениям в условиях освещения и небольшим поворотам изображения.

Изображения лиц могут рассматриваться как на­бор всевозможных локальных особенностей, которые хорошо описываются с помощью ЛБШ, однако гис­тограмма, построенная для всего изображения в це­лом, кодирует лишь наличие тех или иных локальных особенностей, но при этом не содержит никакой ин­формации об их расположении на изображении. Для учёта такого рода информации изображение разбива­ется на подобласти, в каждой из которых вычисляется своя гистограмма ЛБШ. Путём конкатенации этих гистограмм получается общая гистограмма, учиты­вающая как локальные, так и глобальные особенно­сти изображения.

ЛБШ представляет собой описание окрестности пикселя изображения в двоичном представлении. Базовый оператор ЛБШ, применяемый к пикселю изображения, использует восемь пикселей окрестности, принимая значение интенсивности центрального пикселя в качестве порога (рисунок 2.1). Пиксели со значением интенсивности большим или равным значению интенсивности центрального пикселя принимают значения равные «1», остальные принимают значения равные «0». Таким образом, результатом применения базового оператора ЛБШ к пикселю изображения является восьмиразрядный бинарный код, который описывает окрестность этого пикселя.

Рисунок 2.1 — Базовый оператор ЛБШ

Использование круговой окрестности и билинейной интерполяции значений интенсивностей пикселей позволяет построить локальный бинарный шаблон с произвольным количеством точек P и радиусом R (рисунок 2.2).

Рисунок 2.2 – Расширенный оператор ЛБШ

 

Главной сложностью применения данного призна­кового описания изображений является очень большая размерность пространства признаков. Так, при разбие­нии изображения лица на 5 х 7 = 35 областей эта раз­мерность составляет 256 х 35 = 8960. Не все бинарные шаблоны одинаково ин­формативны. Некоторые бинарные коды несут в себе больше информации, чем остальные. Так, локальный бинарный шаблон называется равномерным, если он содержит не более трех серий «0» и «1» (например, 00000000, 001110000 и 11100001). Во-первых, равномерные ЛБШ определяют только важные локальные особенности изображения, такие как концы линий, грани, углы и пятна (рисунок 2.3). Во-вторых, они обеспечивают существенную экономию памяти (P (P -1)+2 различных шаблонов вместо 2 ^P).

 

Рисунок 2.3 – Примеры локальных особенностей, детектируемых РЛБШ

 

Гистограмма ЛБШ

Применяя оператор ЛБШ к каждому пикселю изображения, мы можем построить гистограмму, в которой каждому равномерному коду ЛБШ соответствует отдельный столбец. Также имеется еще один дополнительный столбец, который содержит информацию обо всех неравномерных шаблонах.

Изображения лиц могут рассматриваться как набор всевозможных локальных особенностей, которые хорошо описываются с помощью локальных бинарных шаблонов. Однако гистограмма, построенная для всего изображения в целом, кодирует лишь наличие тех или иных локальных особенностей, но при этом не содержит никакой информации об их расположении на изображении. Для учета такого рода информации изображение разбивается на подобласти, в каждой из которых вычисляется своя гистограмма ЛБШ (рисунок 3.1). Путем конкатенации этих гистограмм может быть получена общая гистограмма, учитывающая как локальные, так и глобальные особенности изображения.

Рисунок 3.1 – Разбиение изображения лица на подобласти

При таком подходе для лучшего извлечения признаков можно варьировать параметры оператора ЛБШ и число разбиений изображения на подобласти.

Расстояние Махаланобиса

Данный подход заключается в использовании расстояния Махаланобиса:

(4.2)

где x, y – случайные векторы с одинаковым распределением и корреляционной матрицей S.

Корреляционная матрица S может быть получена с использованием обучающей выборки изображений. Определяя расстояние Кульбака-Лейблера (4.1) для каждой из подобластей изображений, мы можем получить вектор различий двух изображений. Вычисляя такие вектора для каждой пары изображений обучающей выборки, мы получим два набора векторов различий изображений, соответствующих двум классам – классу «своих» и классу «чужих». После этого мы можем вычислить средние значения векторов, представляющих каждый из классов, а также две корреляционные матрицы.

На практике, для любых двух изображений мы можем вычислить их вектор различий, а затем определить расстояния Махаланобиса d ₁ и d ₂ между этим вектором и средними векторами классов «свой» и «чужой» соответственно. Идентификация и верификация могут быть произведены путем сравнения двух полученных расстояний либо с использованием дискриминирующей функции f (d ₁, d ₂) = d ₂⁄(d ₁+ d ₂) и некоторого порогового значения.

 

4.3. Применение линейного дискриминанта Фишера
Следующий подход опирается на использование линейного дискриминанта Фишера (ЛДФ):

(4.3)

где μ_i — среднее для i -го класса, μ — общее среднее, N_i — число представителей в i -м классе, N — общее число представителей в обучающей выборке, x_ij — j -й представитель i -го класса.

Пусть имеется два набора векторов, соответствующих двум классам. Собственный вектор, соответствующий наибольшему собственному значению матрицы S_w ^-1 S_b задает преобразование в пространство размерности 1.

Задача идентификации и верификации может быть решена способом, аналогичным предыдущему (путем построения векторов различий изображений с использованием расстояния Кульбака-Лейблера). При этом вместо расстояния Махаланобиса используется отображение вектора в одномерное пространство.

 

 

 

Предобработка изображений

С целью снижения уровня шума использовались медианный и гауссовский фильтры. Кроме того, изображения проходили процедуру нормализации, т.е. кадрировались, масштабировались и доворачивались до горизонтального положения линии, соединяющей центры глаз (рисунок 5.1).

Рисунок 5.1 – Параметры нормализации изображения

 

 

Метод Виолы-Джонса

Метод был разработан и представлен в 2001 году Полом Виолой и Майклом Джонсом, он до сих пор является основополагающим для поиска объектов на изображении в реальном времени.

Метод использует технологию скользящего окна. То есть рамка, размером, меньшим, чем исходное изображение, двигается с некоторым шагом по изображению, и с помощью каскада слабых классификаторов определяет, есть ли в рассматриваемом окне лицо. Метод скользящего окно эффективно используется в различных задачах компьютерного зрения и распознавания объектов.

Метод состоит из 2-х под алгоритмов: алгоритм обучения и алгоритм распознавания. На практике скорость работы алгоритма обучения не важна. Крайне важна скорость работы алгоритма распознавания. По введенной ранее классификации можно отнести к структурным, статистическим и нейронным методам.

Метод имеет следующие преимущества:

• возможно обнаружение более одного лица на изображении;
• использование простых классификаторов показывает хорошую скорость и позволяет использовать этот метод в видеопотоке.

Основные принципы, на которых основан метод, таковы:

• используются изображения в интегральном представлении, что позволяет вычислять быстро необходимые объекты;
• используются признаки Хаара, с помощью которых происходит поиск нужного объекта (в данном контексте, лица и его черт);
• используется бустинг (от англ. boost – улучшение, усиление) для выбора наиболее подходящих признаков для искомого объекта на данной части изображения;
• все признаки поступают на вход классификатора, который даёт результат «верно» либо «ложь»;
• используются каскады признаков для быстрого отбрасывания окон, где не найдено лицо.

Обучение классификаторов идет очень медленно, но результаты поиска лица очень быстры, именно поэтому был выбран данный метод распознавания лиц на изображении. Виола-Джонс является одним из лучших по соотношению показателей эффективность распознавания/скорость работы. Также этот детектор обладает крайне низкой вероятностью ложного обнаружения лица. Алгоритм даже хорошо работает и распознает черты лица под небольшим углом, примерно до 30 градусов. При угле наклона больше 30 градусов процент обнаружений резко падает. И это не позволяет в стандартной реализации детектировать повернутое лицо человека под произвольным углом, что в значительной мере затрудняет или делает невозможным использование алгоритма в современных производственных системах с учетом их растущих потребностей.
Требуется подробный разбор принципов, на которых основан алгоритм Виолы-Джонса. Данный метод в общем виде ищет лица и черты лица по общему принципу сканирующего окна, однако, метод Виолы-Джонса сложно обучаем, так как для обучения требуется большое количество тестовых данных и предполагает большое время обучения, которое измеряется днями.
Изначально алгоритм был предложен для распознавания только лиц, но его можно использовать для распознавания других объектов.

 

Принцип сканирующего окна

В общем виде, задача обнаружения лица и черт лица человека на цифровом изображении выглядит именно так:

• имеется изображение, на котором есть искомые объекты. Оно представлено двумерной матрицей пикселей размером w*h, в которой каждый пиксель имеет значение:
  — от 0 до 255, если это черно-белое изображение;
  — от 0 до 255³, если это цветное изображение (компоненты R, G, B).
• в результате своей работы, алгоритм должен определить лица и их черты и пометить их – поиск осуществляется в активной области изображения прямоугольными признаками, с помощью которых и описывается найденное лицо и его черты:
  rectangle_i = {x,y,w,h,a}, (1.1)
  где x, y – координаты центра i-го прямоугольника, w – ширина, h – высота, a – угол наклона прямоугольника к вертикальной оси изображения.

Иными словами, применительно к рисункам и фотографиям используется подход на основе сканирующего окна (scanning window): сканируется изображение окном поиска (так называемое, окно сканирования), а затем применяется классификатор к каждому положению. Система обучения и выбора наиболее значимых признаков полностью автоматизирована и не требует вмешательства человека, поэтому данный подход работает быстро.
Задача поиска и нахождения лиц на изображении с помощью данного принципа часто бывает очередным шагом на пути к распознаванию характерных черт, к примеру, верификации человека по распознанному лицу или распознавания мимики лица.

 

Схема распознавания

Обобщенная схема распознавания в алгоритме Виолы-Джонса показана на рисунке ниже.

Обобщенная схема алгоритма выгляди следующим образом: перед началом распознавания алгоритм обучения на основе тестовых изображений обучает базу данных, состоящую из признаков, их паритета и границы. Подробнее о паритете, признаке и границе будет рассказано в следующих пунктах. Далее алгоритм распознавания ищет объекты на разных масштабах изображения, используя созданную базы данных. Алгоритм Виолы-Джонса на выходе дает всё множество найденных необъединенных объектов на разных масштабах. Следующая задача – принять решение о том, какие из найденных объектов действительно присутствуют в кадре, а какие – дубли.

Признаки класса

В качестве признаков для алгоритма распознавания авторами были предложены признаки Хаара, на основе вейвлетов Хаара. Они были предложен венгерским математиком Альфредом Хааром в 1909 году.

Признак — отображение f: X => D_f, где D_f — множество допустимых значений признака. Если заданы признаки f₁,…,f_n, то вектор признаков x = (f₁(x),…,f_n(x)) называется признаковым описанием объекта x ∈ X. Признаковые описания допустимо отождествлять с самими объектами. При этом множество X = D_f1* …* D_fn называют признаковым пространством [1].
Признаки делятся на следующие типы в зависимости от множества D_f:

• бинарный признак, D_f = {0,1};
• номинальный признак: D_f — конечное множество;
• порядковый признак: D_f — конечное упорядоченное множество;
• количественный признак: D_f — множество действительных чисел.

В расширенном методе Виолы – Джонса, использующемся в библиотеке OpenCV используются дополнительные признаки.

Вычисляемым значением такого признака будет
F = X-Y, (1.5)
где X – сумма значений яркостей точек закрываемых светлой частью признака, а Y – сумма значений яркостей точек закрываемых темной частью признака. Для их вычисления используется понятие интегрального изображения, рассмотренное выше.
Признаки Хаара дают точечное значение перепада яркости по оси X и Y соответственно.

Естественно, бывают прикладные задачи с разнотипными признаками, для их решения подходят далеко не все методы.
В стандартном методе Виолы – Джонса используются прямоугольные признаки, изображенные на рисунке ниже, они называются примитивами Хаара.

В задаче распознавания лиц, общее наблюдение, что среди всех лиц области глаз темнее области щек. Рассмотрим маски, состоящие из светлых и темных областей.

Каждая маска характеризируется размером светлой и темной областей, пропорциями, а также минимальным размером. Совместно с другими наблюдениями были предложены следующие признаки Хаара, как пространство признаков в задаче распознавания для класса лиц.

Признаки Хаара дают точечное значение перепада яркости по оси X и Y соответственно. Поэтому общий признак Хаара для распознавания лиц представляет набор двух смежных прямоугольников, которые лежат выше глаз и на щеках. Значение признака вычисляется по формуле:

F=X-Y

где X – сумма значений яркостей точек закрываемых светлой частью признака, а Y – сумма значений яркостей точек закрываемых темной частью признака.

Видно, что если считать суммы значений интенсивностей для каждого признака это потребует значительных вычислительных ресурсов. Виолой и Джонсом было предложено использовать интегральное представление изображения, подробнее о нем будет далее. Такое представление стало довольно удобным способом вычисления признаков и применяется также и в других алгоритмах компьютерного зрения, например SURF.

Сканирование окна

Визуализация сканирующего окна в программе:

Алгоритм сканирования окна с признаками выглядит так:

• есть исследуемое изображение, выбрано окно сканирования, выбраны используемые признаки;
• далее окно сканирования начинает последовательно двигаться по изображению с шагом в 1 ячейку окна (допустим, размер самого окна есть 24*24 ячейки);
• при сканировании изображения в каждом окне вычисляется приблизительно 200 000 вариантов расположения признаков, за счет изменения масштаба признаков и их положения в окне сканирования;
• сканирование производится последовательно для различных масштабов;
• масштабируется не само изображение, а сканирующее окно (изменяется размер ячейки);
• все найденные признаки попадают к классификатору, который «выносит вердикт».

В процессе поиска вычислять все признаки на маломощных настольных ПК просто нереально. Следовательно, классификатор должен реагировать только на определенное, нужное подмножество всех признаков. Совершенно логично, что надо обучить классификатор нахождению лиц по данному определенному подмножеству. Это можно сделать, обучая вычислительную машину автоматически.

Схема обучения

Обобщенная схема алгоритма обучения выглядит следующим образом. Имеется тестовая выборка изображений. Размер тестовой выборки около 10 000 изображений. На рисунке показан пример обучающих изображений лиц. Алгоритм обучения работает с изображениями в оттенках серого.

При размере тестового изображения 24 на 24 пикселя количество конфигураций одного признака около 40 000 (зависит от минимального размера маски). Современная реализация алгоритма использует порядка 20 масок. Для каждой маски, каждой конфигурации тренируется такой слабый классификатор, который дает наименьшую ошибку на всей тренировочной базе. Он добавляется в базу данных. Таким образом алгоритм обучается. И на выходе алгоритма получается база данных из T слабых классификаторов. Обобщённая схема алгоритма обучения показана на рисунке.

Обучение алгоритма Виола-Джонса – это обучение алгоритма с учителем. Для него возможно такая проблема как переобучение. Показано, что AdaBoost может использоваться для различных проблем, в том числе к теории игр, прогнозировании. В данной работе условие остановки является достижение заранее заданного количества слабых классификаторов в базе.

Для алгоритма необходимо заранее подготовить тестовую выборку из l изображений, содержащих искомый объект и n не содержащих. Тогда количество всех тестовых изображений будет

где X – множество всех тестовых изображений, где для каждого заранее известно присутствует ли искомый объект или нет и отражено во множестве Y.

где

Под признаком j будем понимать структуру вида

Тогда откликом признака будет f_j (x), который вычисляется как разность интенсивностей пикселей в светлой и темной областях. Слабый классификатор имеет вид:

Задача слабого классификатора – угадывать присутствие объекта в больше чем 50% случаев. Используя процедуру обучения AdaBoost создается очень сильный классификатор состоящий из T слабых классификаторов и имеющий вид:

Целевая функция обучения имеет следующий вид:

Обучение

Перед началом обучения инициализируются веса w_(q,i), где q – номер итерации, i-номер изображения.

После процедуры обучения получится T слабых классификаторов и T значений.

На каждой итерации цикла происходит обновление весов так, что их сумма будет равна 1. Далее для всех возможных признаков происходит подбор таких значений p,θ,j что значение ошибки e_j будет минимально на этой итерации. Полученный признак J(t) (на шаге t) сохраняется в базу слабых классификаторов, обновляются веса и вычисляется коэффициент a_t.

В предложенном в 2001 году оригинальном алгоритме не была описана процедура получения оптимального признака на каждой итерации. Предполагается использование алгоритма AdaBoost и полный перебор возможных параметров границы и паритета.

Распознавание

После обучения на тестовой выборке имеется обученная база знаний из T слабых классификаторов. Для каждого классификатора известны: признак Хаара, использующийся в этом классификаторе, его положение внутри окна размером 24х24 пикселя и значение порога E.

На вход алгоритму поступает изображение I(r,c) размером W х H, где I(r,c) – яркостная составляющая изображения. Результатом работы алгоритма служит множество прямоугольников R(x,y,w,h), определяющих положение лиц в исходном изображении I.

Алгоритм сканирует изображение I на нескольких масштабах, начиная с базовой шкалы: размер окна 24х24 пикселя и 11 масштабов, при этом каждый следующий уровень в 1.25 раза больше предыдущего, по рекомендации авторов. Алгоритм распознавания выглядит следующим образом:

Введение.

Сегодня существует большое количество приложений, в которых используются методы распознавания лиц, таких как: идентификация личности, контроль удостоверений личности, использование интерфейса „человек-компьютер” и т. п. Главные сложности при распознавании лиц – множество изменений при представлении лиц, таких как: различное освещение, выражение лица, поворот головы, возрастные изменения и т. п. Поэтому проблема автоматического распознавания лиц полностью не решена до сих пор. Процесс идентификации личности, который базируется на распознавании по изображению лица, состоит в том, что изображение лица неизвестной личности подается на вход системы распознавания, в которой сравнивается с изображениями лиц известных личностей, находящихся в базе изображений. Процесс идентификации можно разделить на три основных этапа: – регистрация и нормализация изображения лица; – выделение признаков; – классификация. В последнее время особенное внимание исследователей для выделения признаков из изображения лица привлекают методы, которые используют локальные бинарные шаблоны (ЛБШ). ЛБШ впервые были предложены в 1996 году для анализа текстур полутоновых изображений. Методы распознавания лиц, которые используют для выделения признаков ЛБШ и их модификации, демонстрируют высокие результаты как по скорости, так и по точности распознавания. Такие методы робастны при использовании изображений лиц с различной мимикой, различным освещением, поворотами головы. Целью данной работы является модификация ЛБШ, которая бы позволила повысить точность распознавания изображений лиц по сравнению с использованием классических ЛБШ и их модификаций, а также классических методов распознавания лиц (анализ главных компонент, сравнение эластичных графов).

 

Как правило, система распознавания лиц представляет собой программно-аппаратный комплекс для автоматической верификации или идентификации личности по цифровому изображению (фотографии или кадру видеопоследовательности). Задача распознавания лиц решается при разработке систем контроля и управления доступом, систем пограничного контроля, проведении оперативно-розыскных мероприятий и т.д.

При использовании биометрических систем, особенно системы распознавания по лицу, даже при введении корректных биометрических характеристик не всегда решение об аутентификации верно. Это связано с рядом особенностей и, в первую очередь, с тем, что многие биометрические характеристики могут изменяться. Существует определенная степень вероятности ошибки системы. Причем при использовании различных технологий ошибка может существенно различаться. Для систем контроля доступа при использовании биометрических технологий необходимо определить, что важнее не ошибиться в состоянии человека и не позволить ему использовать ЭВМ в не адекватном состоянии.

Важным фактором для пользователей биометрических технологий в системах безопасности является простота использования. Человек, характеристики которого сканируются, не должен при этом испытывать никаких неудобств. Несмотря на очевидные преимущества, существует ряд негативных предубеждений против биометрии, которые часто вызывают вопросы о том, не будут ли биометрические данные использоваться для слежки за людьми и нарушения их права на частную жизнь. Из-за сенсационных заявлений восприятие биометрических технологий резко отличается от реального положения дел.

В процессе распознавания лиц возникает ряд сложностей, связанных с изменением условий освещения, вращением головы, возрастными изменениями и проч. Можно выделить следующие основные этапы процесса верификации и идентификации:

1. регистрация и нормализация изображения;
2. выбор признаков;
3. вычисление меры близости;
4. построение решающего правила.

 

Основными целями данной работы являлись разработка и анализ алгоритма распознавания лиц на основе локальных бинарных шаблонов (ЛБШ). Укажем основные этапы решения поставленной задачи:

1. предобработка (нормализация) изображения;
2. построение вектора признаков;
3. выбор меры близости;
4. построение решающего правила;
5. тестирование и сравнение различных подходов.

 

Локальные бинарные шаблоны.

В качестве признаков изображения предлагается использовать локальные бинарные шаблоны (ЛБШ).

Локальный бинарный шаблон – это определенный вид признака, используемый для классификации в компьютерном зрении, и представляющий собой простой оператор. Локальные бинарные шаблоны впервые были предложены в 1996 году для анализа текстуры полутоновых изображений. При этом дальнейшие исследования показали, что ЛБШ инвариантны к небольшим изменениям в условиях освещения и небольшим поворотам изображения.

Изображения лиц могут рассматриваться как на­бор всевозможных локальных особенностей, которые хорошо описываются с помощью ЛБШ, однако гис­тограмма, построенная для всего изображения в це­лом, кодирует лишь наличие тех или иных локальных особенностей, но при этом не содержит никакой ин­формации об их расположении на изображении. Для учёта такого рода информации изображение разбива­ется на подобласти, в каждой из которых вычисляется своя гистограмма ЛБШ. Путём конкатенации этих гистограмм получается общая гистограмма, учиты­вающая как локальные, так и глобальные особенно­сти изображения.

ЛБШ представляет собой описание окрестности пикселя изображения в двоичном представлении. Базовый оператор ЛБШ, применяемый к пикселю изображения, использует восемь пикселей окрестности, принимая значение интенсивности центрального пикселя в качестве порога (рисунок 2.1). Пиксели со значением интенсивности большим или равным значению интенсивности центрального пикселя принимают значения равные «1», остальные принимают значения равные «0». Таким образом, результатом применения базового оператора ЛБШ к пикселю изображения является восьмиразрядный бинарный код, который описывает окрестность этого пикселя.

Рисунок 2.1 — Базовый оператор ЛБШ

Использование круговой окрестности и билинейной интерполяции значений интенсивностей пикселей позволяет построить локальный бинарный шаблон с произвольным количеством точек P и радиусом R (рисунок 2.2).

Рисунок 2.2 – Расширенный оператор ЛБШ

 

Главной сложностью применения данного призна­кового описания изображений является очень большая размерность пространства признаков. Так, при разбие­нии изображения лица на 5 х 7 = 35 областей эта раз­мерность составляет 256 х 35 = 8960. Не все бинарные шаблоны одинаково ин­формативны. Некоторые бинарные коды несут в себе больше информации, чем остальные. Так, локальный бинарный шаблон называется равномерным, если он содержит не более трех серий «0» и «1» (например, 00000000, 001110000 и 11100001). Во-первых, равномерные ЛБШ определяют только важные локальные особенности изображения, такие как концы линий, грани, углы и пятна (рисунок 2.3). Во-вторых, они обеспечивают существенную экономию памяти (P (P -1)+2 различных шаблонов вместо 2 ^P).

 

Рисунок 2.3 – Примеры локальных особенностей, детектируемых РЛБШ

 

Гистограмма ЛБШ

Применяя оператор ЛБШ к каждому пикселю изображения, мы можем построить гистограмму, в которой каждому равномерному коду ЛБШ соответствует отдельный столбец. Также имеется еще один дополнительный столбец, который содержит информацию обо всех неравномерных шаблонах.

Изображения лиц могут рассматриваться как набор всевозможных локальных особенностей, которые хорошо описываются с помощью локальных бинарных шаблонов. Однако гистограмма, построенная для всего изображения в целом, кодирует лишь наличие тех или иных локальных особенностей, но при этом не содержит никакой информации об их расположении на изображении. Для учета такого рода информации изображение разбивается на подобласти, в каждой из которых вычисляется своя гистограмма ЛБШ (рисунок 3.1). Путем конкатенации этих гистограмм может быть получена общая гистограмма, учитывающая как локальные, так и глобальные особенности изображения.

Рисунок 3.1 – Разбиение изображения лица на подобласти

При таком подходе для лучшего извлечения признаков можно варьировать параметры оператора ЛБШ и число разбиений изображения на подобласти.

Построение решающего правила

В ходе работы исследовались три подхода к вычислению меры различия гистограмм двух сопоставляемых изображений и построению соответствующего решающего правила.