Сегментация и описание трехмерных структур

В предыдущих двух разделах основное внимание уделялось методам сегментации и описания двумерных структур. В этом разделе мы рассмотрим эти задачи применительно к трехмер­ным данным сцены.

По существу зрение яв­ляется трехмерной проблемой, поэтому в основе разработки многофункциональных систем технического зрения, пригодных для работы в различных средах, лежит процесс обработки информации о трехмерных сценах. Хотя исследования в этой области имеют более чем 10-летнюю историю, такие факторы, как стоимость, скорость и сложность, тормозят внедрение обра­ботки трехмерной зрительной информации в промышленных приложениях.

Возможны три основные формы представления информа­ции о трехмерной сцене. Если применяются датчики, измеряю­щие расстояние, то мы получаем координаты (х, у, z) точек поверхностей объектов. Применение устройств, создающих сте­реоизображение, дает трехмерные координаты, а также инфор­мацию об освещенности в каждой точке. В этом случае каждая точка представляется функцией f (х, у, z), где значения послед­ней в точке с координатами (х, у, z) дают значения интенсив­ности в этой точке (для обозначения точки в трехмерном про­странстве и ее интенсивности часто применяется термин вок сел). Наконец, можно установить трехмерные связи на основе одного двумерного образа сцены, т. е. можно выводить связи между объектами, такие, как «над», «за», «перед». Поскольку точное трехмерное расположение точек сцены обычно не может быть вычислено на основе одного изображения, связи, полу­ченные с помощью этого вида анализа, иногда относятся к так называемой 2,5-мерной информации.

Описание трехмерной сцены плоскими участками

Один из наиболее простых подходов для сегментации и опи­сания трехмерных структур с помощью координат точек (х, у, z) состоит в разбиении сцены на небольшие плоские «участки» с последующим их объединением в более крупные элементы поверхности в соответствии с некоторым критерием. Этот метод особенно удобен для идентификации многогранных объектов, поверхности которых достаточно гладкие относительно разрешающей способности.

Применение градиента

Когда сцена задана вокселами, ее можно описать плоскими участками с помощью трехмерного градиента. В этом случае дескрипторы поверхности также получаются в результате объединения этих плоских участков. Вектор градиента указывает направление максимальной скорости из­менения функции, а его величина соответствует величине этого изменения. Эти понятия применимы для трехмерного случая и также могут быть использованы для разбиения на сегменты трехмерных структур тем же способом, который применялся для двумерных данных.

Разметка линий и соединений

Итак, контуры в трехмерной сцене определяются разры­вами в данных о координатах и/или интенсивности. После того как был определен набор поверхностей и контуров, распола­гающихся между ними, окончательное описание сцены может быть получено путем разметки линий, которые соответствуют контурам, и соединений, которые эти контуры образуют.

Выпуклая линия (помеченная +) образуется в результате пересечения двух поверхностей выпуклого тела (например, линия, образо­ванная в результате пересечения двух сторон куба). Вогнутая линия (помеченная —) образуется в результате пересечения двух поверхностей, принадлежащих двум различным телам (например, пересечение стороны куба с полом). Скрытые ли­нии (помеченные стрелками) представляют собой контуры не­видимых поверхностей. Поверхности, закрывающие другие части объекта, располагаются справа направлении стрелок, а невидимые слева. После того как линии сцены дают ключ к пониманию природы трехмерных объ­ектов сцены. Физические ограничения допускают лишь несколько возмож­ных комбинаций меток линий в соединении. На­пример, сцена в виде мно­гогранника не имеет ли­ний, метки которых могут меняться между вершина­ми. Нарушение этого пра­вила приводит к объек­там, не имеющим физиче­ского смысла.

Обобщенные конусы

Обобщенным конусом (или цилиндром) называется поверх­ность, получаемая в результате перемещения плоского попереч­ного сечения вдоль произвольной пространственной кривой (хребта) под постоянным к ней углом, причем поперечное се­чение преобразуется по правилу заметания объема. В техниче­ском зрении метод обобщенных конусов независимо от других методов позволяет создавать образы трехмерных структур, что полезно при моделировании и для проверки соответствия по­строенных моделей исходным данным.

Распознавание

Распознаванием называется процесс разметки, т.е. алгоритмы распознавания идентифицируют каждый объект сцены и присваивают ему метки (гаечный ключ, перемычка). Обычно в большинстве промышленных систем технического зрения предполагается, что объекты сцены сегментированы как отдельные элементы. Другое общее ограничение относится к расположению устройств сбора информации относительно исследуемой сцены (обычно они располагаются перпендикулярно рабочей поверхности). Это приводит к уменьшению отклонений в характеристиках формы, а также упрощает процесс сегментации и описания в результате уменьшения вероятности загораживания одних объектов другими. Управление отклонениями в ориентации объекта производится путем выбора дескрипторов, инвариантных к вращению, или путем использования главных осей объекта для ориентирования его в предварительно определенном направлении.

Современные методы распознавания делятся на две основные категории: теоретические и структурные методы. Теоретические методы основываются на количественном описании (статическая структура), а в основе структурных методов лежат символические описания и их связи (последовательности направлений в границе, закодированной с помощью цепного кода).

 

Интерпретация

Интерпретацию - про­цесс, который позволяет системе технического зрения приоб­рести более глубокие знания об окружающей среде по сравне­нию со знаниями, полученными с помощью методов, изложенных выше. Рассматриваемая с этой точки зрения интерпретация охватывает данные методы как неотъемлемую часть процесса понимания зрительной сцены. Хотя в области технического зре­ния она и является объектом активных исследований, достиже­ния пока весьма незначительны. Ниже мы кратко рассмотрим проблемы, представляющие современные исследования в этой области технического зрения.

Мощность системы технического зрения определяется ее способностью выделять из сцены значимую информацию при различных условиях наблюдения и использовании минимальных знаний об объектах сцены. По ряду причин (неравномерное освещение, наличие тел, загораживающих объекты, геометрии наблюдения) этот тип обработки представляет трудную задачу. Много внимания уделено методам уменьшения раз­броса в интенсивности. Способы обратного и структурирован­ного освещения позволяют устра­нить трудности, связанные с произвольным освещением ра­бочего пространства. К этим трудностям относятся теневые аффекты, усложняющие процесс определения контуров, и неодно­родности на гладких поверхностях. Это часто Приводит к тому, что они распознаются как отдельные объекты. Очевидно, многие из этих проблем обусловлены тем, что относительно мало из­вестно о моделировании свойств освещения и отражения трех­мерных сцен. Методы разметки линий и соединений представляют собой некоторые попытки в этом направлении, но они не в состоянии количественно объяснить эффекты взаимодействия освещения и отражения. Более пер­спективный подход основан на математических моделях, опи­сывающих наиболее важные связи между освещением, отраже­нием и характеристиками поверхности, такими, как ориентация.

Проблема загораживания одних объектов другими имеет ме­сто, когда рассматривается большое число объектов в реальном рабочем пространстве. Даже если бы система была способна идеально выделить группу объектов из фона, то все ранее рассмотренные двумерные про­цедуры описания и распознавания дали бы плохой результат для большинства загороженных объектов. Применение трех­мерных дескрипторов было бы более успешным, но даже они дали бы неполную информацию.

Для обработки сцен требуются описания, которые должны содержать информацию о формах и объемах объектов, а также процедуры для установления связей между этими описаниями, даже когда они не яв­ляются полными. Несомненно, эти проблемы будут решены только путем разработки методов, позволяющих обрабатывать трехмерную информацию (полученную либо в результате не­посредственных измерений, либо с помощью геометрических ме­тодов вывода) и устанавливать (необязательно количественно) трехмерные связи на основе информации об интенсивности образа.

Знание о том, в каких случаях интерпретация сцены или части сцены является невоз­можной, так же важно, как и правильный анализ сцены. Про­смотр сцены из различных точек решил бы эту проблему и был бы естественной реакцией интеллектуального наблюдателя.

В этом направлении одним из наиболее перспективных под­ходов являются исследования в области технического зрения, основанного на моделях. Основной идеей метода является интерпретация сцены на основе обнаружения отдельных слу­чаев соответствия между данными образа и трехмерными мо­делями простейших объемных элементов или же целых объек­тов, представляющих интерес. Зрение, основанное на трехмер­ных моделях, имеет другое важное преимущество: оно дает воз­можность обрабатывать несоответствия в геометрии наблю­дения. Изменчивость образа объекта, наблюдаемого из раз­личных положений, является одной из наиболее серьезных проб­лем технического зрения. Даже для двумерных случаев, где определена геометрия наблюдения, ориентация объекта может сильно влиять на процесс распознавания, если он не управ­ляется соответствующим образом. Одно из преимуществ подхода, основанного на моделях, состоит в том, что в зависимости от известной геометрии наблюдения можно подбирать ориентацию трехмерных моделей с целью упрощения соответствия между неизвестным объектом и тем, что система видит из данной точки наблюдения.

 

Выводы

Основное внимание уделено понятиям и методам технического зрения, применяемым в промышленных приложениях. Сегментация является одним из наиболее важных процессов на ранней стадии распознавания образов системой технического зрения. Следующей задачей системы технического зрения является образование набора дескрипторов, который полностью идентифицирует объекты определенного класса. Обычно стремятся выбирать дескрипторы, наименее зависящие от размеров объекта, его ориентации и расположения. Хотя зрение и является трехмерной задачей, большинство современных промышленных систем работает с данными, которые часто упрощаются с помощью методов специального освещения или строго определенной геометрии наблюдения. Сложности возникают, когда эти ограничения ослабляются.

По существу зрение яв­ляется трехмерной проблемой, поэтому в основе разработки многофункциональных систем технического зрения, пригодных для работы в различных средах, лежит процесс обработки информации о трехмерных сценах. Хотя исследования в этой области имеют более чем 10-летнюю историю, такие факторы, как стоимость, скорость и сложность, тормозят внедрение обра­ботки трехмерной зрительной информации в промышленных приложениях. Мощность системы технического зрения определяется ее способностью выделять из сцены значимую информацию при различных условиях наблюдения и использовании минимальных знаний об объектах сцены. По ряду причин (неравномерное освещение, наличие тел, загораживающих объекты, геометрии наблюдения) этот тип обработки представляет трудную задачу. К этим трудностям относятся теневые аффекты, усложняющие процесс определения контуров, и неодно­родности на гладких поверхностях. Это часто приводит к тому, что они распознаются как отдельные объекты. Очевидно, многие из этих проблем обусловлены тем, что относительно мало из­вестно о моделировании свойств освещения и отражения трех­мерных сцен. Методы разметки линий и соединений представляют собой некоторые попытки в этом направлении, но они не в состоянии количественно объяснить эффекты взаимодействия освещения и отражения. Более пер­спективный подход основан на математических моделях, опи­сывающих наиболее важные связи между освещением, отраже­нием и характеристиками поверхности, такими, как ориентация.

Проблема загораживания одних объектов другими имеет ме­сто, когда рассматривается большое число объектов в реальном рабочем пространстве. Даже если бы система была способна идеально выделить группу объектов из фона, то все ранее рассмотренные двумерные про­цедуры описания и распознавания дали бы плохой результат для большинства загороженных объектов. Применение трех­мерных дескрипторов было бы более успешным, но даже они дали бы неполную информацию.

Разработка методов обра­ботки трехмерной зрительной информации в роботизированных и автоматизированных системах в настоящее время задача актуальная, так как такие факторы, как стоимость, скорость, сложность вычислений, трудность реализации алгоритмов делают неприемлемыми многие уже существующие методы.

 

 

Список литературы

1. Анисимов Б.В., Курганов В.Д. Распознавание и цифровая обработка изображений.

2. Гонсалиес, Фу, Ли. Робототехника.

3. Катыс Г.П. Техническое зрение роботов.

 

 

Содержание

1.ВВЕДЕНИЕ                                                                                               1

2.СЕГМЕНТАЦИЯ                                                                                      2

2.1.Проведение контуров и определение границы                                    2

2.1.1.Локальный анализ.                                                                              3

2.1.2.Глобальный анализ с помощью преобразования Хоуга.               4

2.2.Определение порогового уровня                                                           7

2.2.1.Глобальные и локальные пороги.                                                     8

2.2.3.Определение порогового уровня на основе характеристик границы. 10

2.2.4.Определение порогового уровня, основанное на нескольких переменных.                                                                                                                        12

2.3.Областно-ориентированная сегментация                                           13

2.3.1.Основные определения.                                                                      13

2.3.2.Разбиение и объединение области.                                                    16

2.4. Применение движения                                                                          17

2.4.1.Основной подход.                                                                                17

2.4.2.Аккумулятивная разность.                                                               19

2.4.3.Определение эталонного образа.                                                      22

3.ОПИСАНИЕ                                                                                              23

3.1.Дескрипторы границы.                                                                         23

3.1.1.Цепные коды.                                                                                      23

3.1.2.Сигнатуры.                                                                                          24

3.1.3.Аппроксимация многоугольниками.                                               25

3.2.Дескрипторы области                                                                            27

3.2.1.Некоторые простые дескрипторы.                                                   27

3.2.2.Текстура.                                                                                              28

3.2.3.Скелет области.                                                                                   28

4.СЕГМЕНТАЦИЯ И ОПИСАНИЕ ТРЕХМЕРНЫХ СТРУКТУР      29

4.1.Описание трехмерной сцены плоскими участками                          30

4.2. Применение градиента                                                                         30

4.3. Разметка линий и соединений                                                             30

4.4. Обобщенные конусы                                                                            31

5.Распознавание                                                                                 31

6.Интерпретация                                                                                 32

7.Выводы                                                                                                  34

Список литературы