Гусев А.Н., Баев М.С., Кремлев А.Е.

 

Аннотация. Представлены краткие результаты разработки методологии и технологии компьютерной системы для автоматического анализа мимической активности (МА) и базовых эмоций. Выделены два подхода к разработке ПО для анализа МА – селективный и комплексный, показаны преимущества второго. Разработка ПО основана на принципах прямой оценки изменений геометрии поверхности лица и моделирования восприятия эксперта.

Ключевые слова: мимическая активность, FACS, компьютерное зрение, прямая оценка поверхности лица, моделирование восприятия эксперта, многослойный анализ.

Abstract. Brief results of the development of the methodology and technology of a computer system for the automatic analysis of facial activity (MA) and basic emotions are presented. Two approaches to the development of software for MA analysis are identified – selective and complex, and the advantages of the second approach are shown. The software development is based on the principles of direct assessment of changes in the geometry of the facial surface and modeling the perception of the expert.

Key words: facial activity, FACS, computer FACS, computer vision, direct assessment of the facial surface, expert perception modeling, multi-layer analysis.

Введение. Анализ эмоций и других проявлений мимической активности (МА) – важный компонент психологического исследования поведения человека. До сих пор эта работа сложна для психологов в виду отсутствие устоявшейся методологии оценки МА, высокой трудоемкости этой оценки и отсутствия необходимого числа опытных экспертов. Таким образом, важной научно-методической задачей является разработка компьютерных систем, позволяющих проводить автоматизированный, сравнимый по своей надежности с результатами работы эксперта. Целью нашей работы является разработка методологии и технологии автоматизированного анализа МА.

Методологические контексты. Анализ современных публикаций показал, что в литературе представлены два подхода к проблеме разработки специализированного программного обеспечения (ПО) для анализа базовых эмоций и других видов МА – селективный (selective) и комплексный (comprehensive) [см., например: Ekman, Friesen, Hager, 2002, Rosenberg, Ekman, 2020]. Селективный подход предполагает поиск соответствия выражения лица образцам из заданного набора базовых эмоций. Комплексный – выделение и анализ отдельных движений лица и их сочетаний во времени. Сравнение этих подходов и акценты на преимущества второго представлены в табл. 2. Кроме всего отметим, что у 7-10 процентов популяции в принципе невозможно оценить эмоции по выражению лица, что требует индивидуального решения эксперта, и, следовательно, ограничивает проведения автоматизированного анализа МА.

Таблица 1. Два основных подхода к анализу мимической активности человека.

Селективный

Комплексный

· Используются нейросети, обученные на выборке выражений шести-семи базовых эмоций. · Быстрые движения лица не определяются или определяются плохо. · Индивидуальные особенности МА требуют ручной настройки уровней срабатывания детектора эмоций. · Необходимость учета возрастных особенностей и расовой принадлежности. · Определение Action Units (AUs) системы FACS осуществляется нейросетью, обученной на мало вариабельной выборке.

· Использование системы FACS позволяет описывать все возможные выражения лица. · Возможность оценки быстрых движений лица, в том числе, микровыражений эмоций. ·Оценка индивидуальной вариабельности движений лица. Не требуется индивидуальная настройка системы для каждого лица. ·Возможность сложного анализ лица с выявлением временных паттернов и описанием индивидуальности мимики. ·Независимость от расовой принадлежности.

Результаты. Нашей исследовательской группой разработана методология анализа МА и соответствующее ПО, на основе принципов прямой оценки изменения геометрии поверхности лица на видео записи и моделирования профессиональной деятельности эксперта фейс-кодера, оценивающего эти изменения в виде отдельных AUs и других мимических событий. Реализована оригинальная технология многослойного анализа изменений поверхности лица, основанная на создании пяти новых процедур компьютерного зрения, специфичных особенностям МА в отдельных частях лица и нивелирующих типичные ошибки в работе эксперта. Этот анализ состоит в последовательном применении ряда формальных правил, учитывающих характерные изменения света в отдельных сегментах лица, соответствующих отдельным перцептивным операциям эксперта при восприятии лица другого человека. Основные слои или уровни анализа МА: 1) оценка изменения света в отдельных сегментах лица с помощью процедур компьютерного зрения; 2) выделение значимых событий на поверхности лица в виде перемещений кожи лица и изменения формы всего сегмента или его частей; 3) сопоставление обнаруженных изменений в соседних участках поверхности лица и на лице в целом; 4) выделение отдельных AUs в соответствии со стандартами международной системы FACS [Ekman, Friesen, Hager, 2002]; 5) выделение одной из семи базовых эмоций; 6) выделение характерных паттернов МА.

ПО F 2 F Emotion Studio, прошло эмпирическую апробацию при проведении судебно-психологических экспертиз [Баев, Гусев, 2020] и обработки видео фрагментов, взятых из двух международных баз данных – SAMM [Yap et al., 2020] и CASME II [Yan et al., 2014]. Результаты компьютерного анализа видео фрагментов лицевых экспрессий показали, что, если аннотации анализируемых записей, были точными в соответствии со стандартами FACS, то наше ПО выделяет отдельные AUs и базовые эмоции c точностью, не менее 95%.

Список литературы

1. Баев М.С., ГусевА.Н. Автоматизированный анализ мимических реакций в комплексных экспертных исследованиях видеозаписей // Вестник криминалистики. — 2020. — Т. 73, № 1. — С. 28–42.

2. Ekman P., Friesen W.V., Hager J.C. (2002). Facial Action Coding System (FACS): the Manual & the Investigator's Guide. A Human Face, Salt Lake City U.

3. Rosenberg, E. L., Ekman, P. (2020). What the face reveals basic and applied studies of spontaneous expression using the facial action coding system (FACS). New York: Oxford University Press.

4. Yan, W., Li, X., Wang, S., Zhao, G., Liu, Y., Chen, Y., Fu, X. (2014). CASME II: An IMPROVED Spontaneous Micro-Expression database and the baseline evaluation. PLoS ONE, 9(1). doi:10.1371/journal.pone.0086041

5. Yap, C.H., Kendrick, C., & Yap, M.H. (2020). SAMM long Videos: A spontaneous Facial micro- and Macro-Expressions Dataset. 2020 15th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2020). doi:10.1109/fg47880.2020.00029

 

 

Исследование выполнено при финансовой поддержке РФФИ № проекта 19-013-00782