Основные аспекты процесса извлечения знаний.

    Извлечением знаний называют процесс получения знаний от экспертов. Извлечение знаний – это сложная и трудоемкая процедура, в результате которой инженеру по знаниям необходимо создать собственную модель предметной области на основе информации, полученной от экспертов. Процесс извлечения знаний рассматривают в трех основных аспектах: психологическом, лингвистическом и гносеологическом (рис. 16).

Психологический аспект самый важный из всех аспектов, так как извлечение знаний происходит в процессе общенияинженера по знаниям с экспертами, где психология играет доминирующую роль. Процесс извлечения знаний для интеллектуальных систем необходимо организовать не как однонаправленный процесс передачи сообщений от эксперта аналитику, а как совместный поиск истины. В процессе разговорного общения много информации теряется, поэтому важной проблемой является увеличение информативности общения аналитика и эксперта за счет использования методик, выработанных в психологии (рис. 17).

Модель общения включает участников общения, средства общения и предмет общения (знания). В соответствии с этими компонентами выделяются три слоя психологических проблем: контактный, процедурный, когнитивный.

 

 

Рис. 16 Аспекты извлечения знаний.

 

Степень информативности общения аналитика и эксперта на уровне контактного слоязависит в основном от пола, возраста, темперамента личности и мотивации участников общения. Установлено, что хорошие результаты дают гетерогенные пары (мужчина/женщина) и соотношение возрастов:

где — возраст эксперта;  - возраст аналитика.

Желательно, чтобы участники процесса общения обладали следующими качествами: доброжелательностью, хорошей памятью, вниманием, наблюдатель-ностью, воображением, впечатлительностью, собранностью, настойчивостью, общи-тельностью и находчивостью.

Рис. 17. Потери информации при разговорном общении.

 

В рамках контактного слоя наиболее предпочтительными из четырех классических типов темперамента являются сангвиники и холерики.

Параметры процедурного слояобеспечивают эффективность извлечения знаний. К этим параметрам относятся: ситуация общения (место, время, продол-жительность); оборудование (вспомогательные средства, освещенность, мебель); профессиональные приемы (темп, стиль, методы и др.). Для повышения эффективности процесса извлечения знаний инженер по знаниям должен подобрать значимые для эксперта стимулы, так как эксперт передает аналитику один из самых ценных ресурсов - знания.

Когнитивный слойсвязан с изучением семантического пространства памяти эксперта и с воссозданием его понятийной структуры и модели рассуждений. Желательно, чтобы и аналитики, и эксперты обладали следующими когнитивными характеристиками:

высокой поленезависимостъю,которая подразумевает способность выделять главные аспекты рассматриваемой проблемы и отбрасывать все лишнее, что не относится к поставленной задаче;

рефлексивностью, характеризующей склонность к рассудительности и самоанализу (в то время как импульсивность характеризуется быстрым, зачастую недостаточно обоснованным принятием решений);

когнитивной эквивалентностью, определяющей способность человека к различению понятий и разбиению их на классы и подклассы;

эксперты - устойчивостью представлений, то есть жесткостью структуры восприятия, а аналитики - гибкостью, то есть умением легко приспосабливаться к новой обстановке.

Для эффективного построения ИИС инженер по знаниям должен владеть специальными неформальными методами и математическим аппаратом, позволяющими ему воссоздавать полученные от эксперта знания с помощью различных моделей, например, таких, как продукционная или фреймовая. Не навязывая эксперту какой-либо модели, аналитик должен подобрать средства представления знаний, имеющие максимально высокую семантическую репрезентативность (представительность).

Лингвистический аспект определяется тем, что язык является основным средством общения в процессе извлечения знаний. В области лингвистических проблем наиболее важными являются понятия: общий код, понятийная структура, словарь пользователя.

Общим кодомназывают специальный промежуточный язык общения между экспертом и инженером по знаниям. Этот язык включает совокупность общенаучных и специальных понятий из профессиональной литературы, элементов базового языка, неологизмов и др. Общий код позволяет преодолеть языковой барьер в процессе общения инженеров по знаниям с экспертами. Выработка общего кода для партнеров осуществляется в соответствии с информационными потоками, представленными на рис. 18. В дальнейшем общий код преобразуется в понятийную структуру, или семантическую сеть, которая связывает понятия, хранящиеся в памяти человека. Выявление отношений между элементами знаний, представленных понятиями, является одной из самых сложных проблем в процессах извлечения знаний. 

 

Рис. 18. Структура формирования общего кода.

 

    Разработка словаря пользователя необходима в связи с тем, что конечный пользователь не обязан владеть профессиональным языком предметной области, который использовался при построении БЗ. Интерфейс пользователя создается, как правило, путем доработки словаря общего кода.

    Гносеологический аспект объединяет методологические проблемы получения нового научного знания, так как процесс познания часто сопровождается появлением новых понятий и теорий. В процессе разработки БЗ эксперты довольно часто впервые формулируют некоторые закономерности на основе накопленного эмпирического опыта. Например, последовательность факт à обобщенный факт à эмпирический закон à теоретический закон называется гносеологической цепочкой. Теория - это не только система обобщения накопленных знаний, но и способ получения нового знания.

    В процессе извлечения знаний инженеров по знаниям прежде всего интересуют эмпирические знания экспертов, представляющие собой результаты наблюдений, которые могут оказаться несогласованными. Внутренняя согласованностьэмпириических знаний характеризуется понятиями модальности, противоречивости, неполноты. Под модальностью знания понимается возможность его существования в различных категориях. Противоречивость являетсяестественным свойством эмпирических знаний и не всегда может и должна быть устранена. Она может служить отправной точкой в рассуждениях экспертов. Неполнота знаний связана с невозможностью исчерпывающего описания любой предметной области.

    На начальных этапах инженер по знаниям, исследуя структуру умозаключений эксперта, может использовать разные теории и подходы для построения формальной модели знаний предметной области. Наиболее известными и часто применяемыми приемами являются математическая логика, теория ассоциаций. Математическая логикаформирует критерии, которые гарантируют точность, значимость и непротиворечивость общих понятий, рассуждений и выводов. В теории ассоциациймышление представляется в виде цепочки идей, связанных общими понятиями. Здесь применяются следующие приемы: ассоциации, приобретенные на основе связей различной природы; привлечение прошлого опыта; метод проб и ошибок со случайным успехом; привычные («автоматические») реакции и др.

 

Методы извлечения знаний.

    Многообразие задач, ситуаций и источников знаний обусловило появление большого количества методов извлечения, приобретения и формирования знаний. На первом уровне возможной классификации методов извлечения знаний (рис. 19) выделены два больших класса. Первый класс образуют коммуникативные методы, которые ориентированы на непосредственный контакт инженера по знаниям с экспертом (источником знаний), второй класс - текстологические методы, основанные на приобретении знаний из документов и специальной литературы.

    Коммуникативные методы разделяются на пассивные и активные. В пассивных методах ведущую роль играет эксперт, а в активных - инженер по знаниям. При решении конкретных задач, как правило, используются как пассивные, так и активные методы. Активные методы делятся на индивидуальные и групповые.

 

 

 

Рис. 19. Классификация методов извлечения знаний.

        

 

    В групповых методах знания получают от множества экспертов, а в индивидуальных - от единственного эксперта. Индивидуальные методы получили более широкое применение на практике по сравнению с групповыми.

    Пассивные коммуникативные методывключают наблюдение, анализ протоколов «мыслей вслух», процедуры извлечения знаний из лекций.

    Метод наблюдения является одним из наиболее применяемых на начальных этапах разработки экспертных систем. Его суть заключается в фиксировании всех действий эксперта, его реплик и объяснений. При этом инженер по знаниям не вмешивается в работу эксперта, а только наблюдает за процессом решения реальных задач, либо за решением проблем, имитирующих реальные задачи. Наблюдения за процессом решения реальных задач позволяют инженеру по знаниям глубже понять предметную область. Однако эксперт в этом случае испытывает большое психологическое напряжение, понимая, что осуществляет не только свою профессиональную деятельность, но и демонстрирует ее инженеру по знаниям. Наблюдение за имитацией процесса снимает это напряжение, но приводит к снижению полноты и качества извлекаемых данных. Наблюдения за имитацией незаменимы в тех случаях, когда наблюдения за реальным процессом невозможны из-за специфики изучаемой предметной области.

    Метод анализа протоколов «мыслей вслух»отличается от метода наблюдения тем, что эксперт не только комментирует свои действия, но и объясняет цепочку своих рассуждений, приводящих к решению. Основной проблемой, возникающей при использовании этого метода, является принципиальная сложность для любого человека словесного описания собственных мыслей и действий. Повысить полноту и качество извлекаемых знаний можно за счет многократного уточняющего протоколирования рассуждений эксперта.

    Метод извлечения знаний из лекций предполагает, что эксперт передает свой опыт инженеру по знаниям в форме лекций. При этом инженер по знаниям может заранее сформулировать темы лекций. Если этого не удается сделать, то инженер по знаниям конспектирует лекции и задает вопросы. Качество информации, предоставленной экспертом в ходе лекции, определяется четкостью сформулированной темы, а также способностями лектора в структурировании и изложении своих знаний и рассуждений.

    Предметные области отличаются уровнем документированности и структурированности. Для характеристики предметной области по уровню документированности выделяют три класса: хорошо документированные, средне документированные и слабо документированные области (рис. 20). По степени структурированности знаний предметные области могут быть:

    хорошо структурированными (с четкой аксиоматизацией, широким применением математического аппарата, устоявшейся терминологией);

    средне структурированными (с определившейся терминологией, развивающейся теорией, явными взаимосвязями между явлениями);

    слабоструктурированными (с размытыми определениями, богатым эмпирическим материалом, скрытыми взаимосвязями).

    Активные индивидуальные методы включают методы анкетирования, интервьюирования, свободного диалога и игры с экспертом. Преимуществом методов анкетированияявляется то, что анкета или вопросник составляются инженером по знаниям заранее и используются для опроса экспертов. Составление анкеты следует проводить с учетом рекомендаций, выработанных в социологии и психологии. Основными требованиями к анкетам являются следующие:

    Анкета не должна быть монотонной и однообразной, чтобы не вызывать скуку или усталость. Для этого необходимо разнообразить тематику и форму задания вопросов, применить стиль игры;

    Анкета должна быть приспособлена к языку эксперта;

    Следует учитывать, что вопросы влияют друг на друга, поэтому важно расположить их в правильной последовательности.

    В анкете должно содержаться оптимальное число избыточных вопросов, часть которых предназначена для контроля правильности ответов, а другая часть - для снятия напряжения.

 

 

    Метод интервьюированияотличается от метода анкетирования тем, что позволяет аналитику опускать ряд вопросов в зависимости от ситуации, вставлять новые вопросы в анкету, изменять темы и разнообразить ситуацию общения. Важную роль в методе интервьюирования играют вопросы, классификация которых показана на рис. 21.

Рис. 21. Классификация вопросов при интервьюировании.

Открытый вопрос называет тему или предмет, оставляя эксперту полную свободу в отношении формы и содержания ответа. Закрытыйвопрос предлагает эксперту выбрать ответ из предложенного набора. Личныйвопрос непосредственно касается личного опыта эксперта. Безличный вопрос направлен на выявление наиболее распространенных закономерностей предметной области. Прямойвопрос непосредственно указывает на интересующий предмет или тему (используется при «зажатости» эксперта). Косвенныйвопрос исподволь затрагивает рассматриваемую проблему. Вербальныйвопрос - традиционный устный вопрос. Вопрос использованием наглядного материалапозволяет разнообразить интервью и снять усталость эксперта (используются фотографии рисунки, карточки). Основнойвопрос направлен на выявление знаний. Зондирующийвопрос направляет рассуждения эксперта в нужную сторону. Контрольныйвопрос проверяет достоверность и объективность информации, полученной в интервью ранее. Нейтральныйвопрос подчеркивает беспристрастность инженера по знаниям к предмету исследования. Наводящий вопрос ориентирует эксперта принять во внимание позицию инженера по знаниям. Дополнительно в интервью рекомендуется включать следующие вопросы: контактные (снимающие психологический барьер между аналитиком и экспертом), буферные (разграничивающие отдельные темы интервью), оживляющие память экспертов (реконструирующие отдельные случаи из практики), «провоцирующие» (способствующие получению неподготовленных ответов). При использовании метода интервьюирования следует иметь в виду, что его эффективность во многом определяется языком вопросов (понятностью, лаконичностью, терминологией); порядком вопросов (логическая последовательность); уместностью вопросов (этичностью и вежливостью). Прежде чем готовить вопросы, аналитик должен овладеть ключевым набором знаний исследуемой предметной области, поскольку любой вопрос имеет смысл только в контексте.

    Метод свободного диалога позволяет извлекать знания в форме беседы с экспертом, поэтому здесь не предусматривается использование жесткого вопросника или плана. В то же время подготовка к свободному диалогу должна проводиться по специальной методике, в которую входит общая, специальная, конкретная и психологическая подготовка. Общая подготовка направлена на повышение научной эрудиции, овладение общей культурой, знакомство с системной методологией. Специальная подготовка сводится к овладению теорией и навыками интервьюирования. Конкретная подготовка предполагает изучение предметной области, подготовку ситуации общения, знакомство с экспертом, тестирование эксперта. Психологическая подготовка включает знакомство с теорией общения и с когнитивной психологией.

    Игры с экспертом существенно отличаются от приведений выше индивидуальных активных методов извлечения знании рассматриваются в классе групповых активных методов, где особое место принадлежит ролевым и экспертным методам. Активные групповые методы включают «мозговой штурм», дискуссии за круглым столом и ролевые игры. Групповые методы позволяют творчески интегрировать знания множества экспертов. Метод «мозгового штурма» - один из наиболее известных и широко применяемых методов генерирования новых идей путем творческого сотрудничества группы специалистов. Являясь в некотором смысле единым мозгом, группа пытается штурмом преодолеть трудности, мешающие разрешить рассматриваемую проблему. В процессе такого штурма участники выдвигают и развивают собственные идеи, стимулируя появление новых и комбинируя их. Для обеспечения максимального эффекта «мозговой штурм» должен подчиняться определенным правилам и основываться на строгом разделении во времени процесса выдвижения идей и процесса их обсуждения и оценки. На первой стадии штурма запрещается осуждать выдвинутые идеи и предложения (считается, что критические замечания уводят к частностям, прерывают творческий процесс, мешают выдвижению идей). Роль аналитика состоит в том, чтобы активизировать творческое мышление участников заседания и обеспечить выдвижение возможно большего числа идей. После выдвижения идей выполняются тщательное их обсуждение, оценка и отбор лучших. На стадии обсуждения участники «мозгового штурма» должны сконцентрироваться на положительных сторонах идей, найти в них рациональные зерна и предложить направления их развития. Выдвигаемые в процессе обсуждения дополнительные идеи могут базироваться на идеях других участников или, наоборот, служить для них фундаментом, катализатором. Значительный эффект дает комбинирование идей при одновременном выявлении преимуществ и недостатков синтезируемых при этом вариантов. Метод «мозгового штурма» эффективен при решении не слишком сложных задач общего организационного характера, когда проблема хорошо знакома всем участникам заседания и по рассматриваемому вопросу имеется достаточная информация. Индивидуальный «мозговой штурм» проводится по тем же правилам, что и коллективный, но выполняется одним экспертом, который одновременно генерирует идеи, дает им объективную оценку и критикует их. Массовый «мозговой штурм» проводится в массовой аудитории (до нескольких десятков человек). Отбор идей проводится на промежуточных этапах. Эксперты группируются по 6 - 8 человек, при этом важно, чтобы непосредственное отношение к задаче имел лишь руководитель группы, а остальные были лишь знакомы с нею (иначе амбиции могут сыграть негативную роль). Штурм проводится в два этапа. На первом этапе оперативные группы осуществляют прямой коллективный «мозговой штурм» При этом желательно, чтобы каждая группа работала над задачей, наиболее близкой по тематике к профилю вошедших в нее специалистов. На втором этапе руководители каждой группы в течение нескольких минут оценивают выдвинутые идеи, отбирают из них наиболее интересные и сообщают их на «пленарном заседании». Двойной «мозговой штурм» органически соединяет в себе процессы генерирования идей и их доброжелательной позитивной критики. Обратный «мозговой штурм» отличается от прямого тем, что в нем больше внимания уделяется критике высказанных идей.

    Метод дискуссии за круглым столом предполагает равноправное обсуждение экспертами поставленной проблемы. Отличительной особенностью метода дискуссии является коллективное рассмотрение предметной области с разных точек зрения и исследование спорных гипотез.

    Экспертные игры предназначены для извлечения знаний и базируются на деловых, диагностических и компьютерных играх. По числу участников игры подразделяют на индивидуальные (игры с экспертом) и групповые (ролевые игры в группе). По применению специального оборудования - игры с тренажерами и игры без реквизита. Особый класс представляют собой компьютерные игры. В играх с экспертом инженер по знаниям берет на себя чью-нибудь роль в моделируемой ситуации. Ролевые игры в группе предусматривают участие в игре нескольких специалистов. Участники игры наделяются определенными ролями, а собственно игра проводится по составленному инженером по знаниям сценарию. Компьютерные экспертные игры в настоящее время используются в основном в целях обучения. Они полезны для «разминки» экспертов перед сеансом извлечения знаний.

    Текстологические методы включают методы извлечения знаний основанные на изучении текстов учебников, специальной литературы и документов. Простейший алгоритм извлечения знаний из текстов включает следующие шаги: составление основного списка литературы для ознакомления с предметной областью; выбор текста для извлечения знаний; беглое знакомство с текстом, проведение консультаций со специалистами для определения значений незнакомых слов; формирование первой гипотезы о макроструктуре текста; определение смысла прочитанного текста с выпиской ключевых слов; определение связи между ключевыми словами, составление реферата; формирование нового представления знаний на основании макроструктуры текста.