Искусственный интеллект и задача поиска в Интернете

Тематики исследований в двух крупных направлениях информатики - области искусственного интеллекта и Интернете - сближаются. Методы искусственного интеллекта все в большей степени ориентируются на задачи практического применения, а Интернет стремится к более сложным приложениям, требующим интеллектуального поведения.

Многие методы и приемы искусственного интеллекта нашли применение в конкретных проблемных областях. Перечислим лишь некоторые направления, которые могут с успехом применяться для разработки Интернет-приложений.

• Обработка естественного языка.
• Извлечение информации из баз данных.
• Экспертные консультирующие системы.

Понятие онтология было введено в искусственный интеллект Томом Грубером [Gruber 1993], как спецификация концептуализации. Подобно формальным спецификациям программных продуктов, онтология - это описание концептов и связей между ними. Предполагалось, что онтологии будут использованы исключительно для облегчения взаимодействия интеллектуальных агентов. Затем понятие онтологии было расширено. В частности, иерархическая структура классов в объектно-ориентированном программировании представляет собой онтологию.

Большую роль в сборе информации о существующих ресурсах Интернета играют сетевые роботы, являющиеся интеллектуальными агентами. Они, начиная с некоторого множества ссылок на страницы в сети Интернет, рекурсивно обходят ресурсы, извлекая ссылки на новые ресурсы из полученных документов, до тех пор, пока не будет выполнено некоторое условие остановки. Уточним понятия агента и интеллектуального агента.

• Агент - сущность, находящаяся в некоторой среде, от которой она получает данные, отражающие происходящие в этой среде события. Агент интерпретирует данные и исполняет команды, которые воздействуют на среду.
• Интеллектуальный агент - программно или аппаратно реализованная система, обладающая следующими свойствами:
• автономность - способность функционировать без вмешательства человека;
• общественное поведение - способность функционировать в сообществе с другими агентами;
• реактивность - способность своевременно отвечать на изменения окружающей среды;
• проактивность - способность агента брать на себя инициативу.

В настоящее время исследование применимости идей искусственного интеллекта к среде Интернет ведется в различных направлениях [Mahalingam, Huhns 1997].

• Обработка поисковыми машинами запросов на естественном языке. Система получает запрос на естественном языке, с помощью грамматических и лингвистических правил сопоставляет запрос с информацией в Интернете. Удачным примером такой системы является Япс1ех.В ней независимо от того, в какой форме употреблено в запросе слово, поиск учитывает все его формы по правилам русского языка.
• Продукционно-эвристическое распознавание естественного языка. Системы, развивающиеся в этом направлении, как правило, являются узкопрофильными и предназначены для выполнения очень узко сформированных целей или обработки ограниченных областей данных. Пример системы - FAQFinder
• Автоматическое наполнение базы знаний. Это и следующее направления используют агентную технологию. Данное направление реализовано в интеллектуальном браузере WebWatcher
• Использование эвристических правил для установки приоритета. Это направление реализовано в другом интеллектуальном браузере - Letizia Направление нейронных сетей. Основой здесь являются сети искусственных нейронов и других аналогичных конструкций, присущих нервной системе человека, в которых протекают психические процессы, опирающиеся на физиологический и биохимический уровни. Пример реализации этого направления - система работы со знаниями - Autonomy
• Принцип разделяемых знаний. Реализуется в виртуальных группах, т. е. организациях и рабочих коллективах людей, которые работают и общаются между собой в интерактивном режиме. Знакомство с такого рода системами можно начать с AJMS

Экспериментальные системы интеллектуального поиска используют одновременно мощь существующих поисковых систем и элементы искусственного интеллекта для отбора и анализа извлеченной из Интернета информации [Холчева 1999]. Поисковая система по запросу пользователя обращается на крупнейшие поисковые серверы. Полученные ссылки сортируются. Анализируются html-файлы, расположенные по этим адресам. Пользователю предлагаются выдержки из текста документов, отражающие результаты поиска.

Каждый пользовательский запрос, прежде всего, преобразуется в дизъюнктивную форму со строго определенным порядком следования логических операций. Приоритеты операций расставлены следующим образом (табл. 5.1).

Таблица 5.1. Приоритеты логических операций

Приоритет	Обозначение	Назначение
0	""	Поиск по точному соответствию
1	!	Исключение лексемы
2	&	Логическое И
	|	Логическое ИЛИ

Текстовый редактор предполагает возможность фильтрации и сортировки логических абзацев. Сортировка может производиться по следующим принципам:

• по релевантности логических абзацев;
• по приоритету документов;
• по рассматриваемым поисковым серверам;
• по частоте появления документа на серверах;
• по заголовкам документов.

Таким образом, на вход генератора итогового документа подается набор логических абзацев со списками атрибутов. Синтезировать отчет можно в нескольких формах, различающихся порядком следования логических абзацев, с предоставлением пользователю возможности переключаться из одного режима в другой.