Специальный программный инструментарий

В эту группу программных средств искусственного интеллекта входят специальные инструментарии общего назначения. Как правило, это библиотеки и надстройки над языком искусственного интеллекта Лисп: KEE (Knowledge Engineering Environment), FRL (Frame Representation Language), KRL (Knowledge Represantation Language), ARTS и др., позволяющие пользователям работать с заготовками экспертных систем на более высоком уровне, нежели это возможно в обычных языках искусственного интеллекта.

"Оболочки"

Под "оболочками: (shells) понимают "пустые" версии существующих экспертных систем, т.е. готовые экспертные системы без базы знаний. Примером такой оболочки может служить EMYCIN (Empty MYCIN - пустой MYCIN), которая представляет собой незаполненную экспертную систему MYCIN. Достоинство оболочек в том, что они вообще не требуют работы программистов для создания готовой экспертной системы. Требуется только специалисты) в предметной области для заполнения базы знаний. Однако если некоторая предметная область плохо укладывается в модель, используемую в некоторой оболочке, заполнить базу знаний в этом случае весьма не просто.

 

1. Обзор современных программных продуктов, поддерживающих технологию экспертных систем в экономике

Рассмотрим примеры крупномасштабных экспертных систем.

1. MICIN — экспертная система для медицинской диагностики. Разработана группой по инфекционным заболеваниям Стенфордского университета. Ставит соответствующий диагноз, исходя из представленных ей симптомов, и рекомендует курс медикаментозного лечения любой из диагностированных инфекций. База данных состоит из 450 правил.

2. PUFF — анализ нарушения дыхания. Данная система представляет собой MICIN, из которой удалили данные по инфекциям и вставили данные о легочных заболеваниях.

3. DENDRAL — распознавание химических структур. Данная система старейшая, из имеющих звание экспертных. Первые версии данной системы появились еще в 1965 году во все том же Стенфордском университете. Пользователь дает системе DENDRAL некоторую информацию о веществе, а также данные спектрометрии (инфракрасной, ядерного магнитного резонанса и масс-спектрометрии), и та в свою очередь выдает диагноз в виде соответствующей химической структуры.

4. PROSPECTOR — экспертная система, созданная для содействия поиску коммерчески оправданных месторождений полезных ископаемых.

На рынке коммерческих программных продуктов наряду с аналитическими инструментами нового поколения, основанными на применении логики нечетких множеств — от электронных таблиц (Риггу Cede) до экспертных систем (Cubi Calc) корпорации Hyper Jodic (США), все больший интерес для финансово-экономической деятельности представляют аналитические информационные технологии, основанные на использовании нейронных сетей.

Нейронные сети - обобщенное название групп алгоритмов, которые умеют обучаться на примерах, извлекая скрытые закономерности из потока данных. Компьютерные технологии, получившие название нейросетевых, работают по аналогии с принципами строения и функционирования нейронов головного мозга человека и позволяют решать чрезвычайно широкий круг задач: распознавание человеческой речи и абстрактных образов, классификацию состояний сложных систем, управление технологическими процессами и финансовыми потоками, решение аналитических, исследовательских, прогнозных задач, связанных с обширными информационными потоками. Являясь мощным технологическим инструментом, нейро-сетевые технологии облегчают специалисту процесс принятия важных и неочевидных решений в условиях неопределенности, дефицита времени и ограниченных информационных ресурсов.

С середины 1980-х годов нейронные сети начали использоваться на Западе преимущественно в финансовых и военных приложениях. Однако, несмотря на успех, инструмент оказался слишком сложным и дорогостоящим.

Ситуация изменилась в начале 1990-х годов, когда на рынке появилось новое поколение нейросетевых технологий — мощных, недорогих, простых в использовании. Одним из лидеров рынка стал нейросетевой пакет Brain Maker американской фирмы California Scientific Software.

Разработанный по заказу военных пакет был адаптирован для бизнес-приложений и с 1990 года удерживает лидерство среди самых продаваемых нейросетевых пакетов США.

Свой путь на российский рынок нейронные сети начали с финансово-кредитной сферы, где заинтересованные в совершенствовании аналитической работы банки стали интенсивно включать нейронные сетевые технологии в состав финансовых приложений. В настоящее' время пользователями Brain Marker Pro 3.12 (последней профессиональной версии пакета) стали уже более 200 банков и торговых компаний, а последнее время — и аналитические учреждения верхних эшелонов власти.

Отличительной чертой нейронных сетей является их способность менять свое поведение (обучаться) в зависимости от изменения внешней среды, извлекая скрытые закономерности из потока Данных. При этом алгоритмы обучения не требуют каких-либо предварительных знаний о существующих в предметной области взаимосвязях — необходимо только подобрать достаточное число Примеров, описывающих поведение моделируемой системы в прошлом. Основанная на нейросетях технология не предъявляет повышенных требований к точности входных данных как на этапе обучения, так и при ее использовании (после настройки и обучения), например при распознавании симптомов приближения критических ситуаций, для краткосрочных, а иногда и долгосрочных прогнозов. Таким образом, нейросетевая технология обладает двумя чрезвычайно полезными свойствами.

1. Способностью обучаться на конкретном множестве примеров.

2. Умением стабильно распознавать, прогнозировать новые ситуации с высокой степенью точности, причем в условиях внешних помех, например появления противоречивых или неполных значений в потоках информации.

Взяв за основу работу мозга, нейросетевые технологии включили в себя и ряд биологических терминов, понятий, параметров, а метод получил название генетического алгоритма.

Генетический алгоритм реализован в популярных версиях ней-ропакетов — широко известном в России Brain Maker Professional v.3.11 и менее известном, но более профессиональном Neurofo-rester v.5.1. В этих пакетах генетический алгоритм управляет процессом общения на некотором множестве примеров, а также стабильно распознает (прогнозирует) новые ситуации с высокой степенью точности даже в условиях внешних помех, например, появления противоречивых или неполных знаний. Причем обучение сводится к работе алгоритма подбора весовых коэффициентов, который реализуется автоматически без непосредственного участия пользователя-аналитика.

Для реализации нейросетевой технологии должны быть выполнены следующие условия: наличие IBM PC или совместимого компьютера, мыши, MS Windows 3.1 или выше, 4 Мбайт RAM (оперативной памяти).

В отличие от Brain Maker Professional v.3.11 в пакете Neurofores-ter v.5.1. для решения прогнозных задач ряд процедур выполняется автоматически. В частности, автоматически выбирается оптимальное число дней, обеспечиваемых прогнозом. Пакет имеет также инструменты для предварительной обработки данных: корреляционный анализ, позволяющий определять значимость входных параметров прогноза; анализ с помощью масштабных преобразований и экспоненты Хёрста (rescaled range analysis Hurstexponent) для выявлений скрытых циклов данных; диаграмма-распределение зависимости прогнозируемой величины от входных параметров. Эти методы позволяют уже на этапе подготовки данных выделять наиболее существенные для прогноза параметры. Все результаты обработки представляются в графическом виде, удобном для анализа, принятия решений.

При использовании нейросетевой технологии работа строится в несколько этапов. Рассмотрим их содержание и важнейшие процедуры.

Первым этапом является четкое определение проблемы, т.е. тот, что пользователь-аналитик собирается получить от нейросетевой технологии на выходе. Это может быть некоторый вектор, характеризующий систему или процесс. Например, кривая доходности ГКО; цена отсечения первичного аукциона; показатель целесообразности реструктуризации инвестиционного портфеля, точки перелома тренда и т.п.

Вторым этапом является определение и подготовка исходных данных для реализации нейросетевой технологии. При этом отбирается вся необходимая, адекватно и полно описывающая процесс информация. Для наиболее успешного решения проблемы формирования наборов информации для последующего прогнозирования ситуаций рекомендуется привлекать хорошо знающих данную конкретную область специалистов.

Сложность выполнения второго этапа заключается в том, что должен быть соблюден баланс между стремлением увеличить количество входных параметров и вероятностью получить плохо обучаемую сеть, которая может исказить ожидаемые прогнозы. Дело в том, что число дней ретроспективы и прогноза, которые зависят от свойств исследуемых данных, сильно влияют на точность прогноза. Поэтому выбор несоответственно большого числа дней для прогноза или их малого числа ретроспективы может привести к тому, что сеть будет не в состоянии обучаться.

Ввод данных в систему, подготовка данных, создание файлов Для тренировки и тестирования можно считать самостоятельным третьим этапом. Основной целью работы на этом этапе является формирование необходимого набора ситуаций, с которыми придется работать аналитику, а затем распределение исходных данных по этим ситуациям. При этом нейросетевая технология автоматически реализует задачу классификации, в основе которой лежит иечеткая логика (fuzzy logic). В качестве входных параметров могут быть использованы искусственно созданные характеристики системы, в частности для фондового рынка это могут быть различные индикаторы технического анализа.

На этапе подготовки данных анализируется степень их информационной насыщенности, для чего выявляется степень влияния конкретного параметра на прогнозируемую величину. Достигнув равномерного наполнения всех степеней зависимости, выявляется соответствие между прогнозируемой величиной и параметром в виде «Если..., то...; иначе...», что близко к реализации алгоритма нечеткой логики и экспертным системам.

Выбор типа нейросетевой технологии и метода ее обучения можно выделить в самостоятельный этап. Сеть может быть построена с помощью Net Maker в интерактивном режиме, пользуясь его подсказками, или создать файлы Brain Maker, пользуясь текстовым редактором. Для прогнозирования временных рядов, которыми описываются финансовые рынки, предпочтительно воспользоваться генетическим алгоритмом Genetik Algorithms, а для решения задач распознавания образов и классификации — сетевыми технологиями Hopfield и Kohonen. Наиболее трудоемким процессом является настройка нейросети на обучающую выборку данных, ибо здесь определяется оптимальное количество параметров, свойств исследуемых данных, оптимальное число дней ретроспективы и прогноза. Хорошо продуманные способы задания тестовых множеств в сочетании с несколькими вариантами обучающих алгоритмов (от стандартных до скоростных) и заданием различных критериев остановки обучения предоставляют широкие возможности для экспериментов.

Облегчает процесс работы и то, что все современные нейросе-тевые технологии содержат ту или иную систему конвертеров, позволяющих пользоваться данными, подготовленными в популярных исходных форматах. В частности, Word System может импортировать текстовые файлы, таблицы, подготовленные в Excel, a также данные в формате Meta Stock. Следует подчеркнуть Meta Stock не только программный продукт, но и формат деловой информации, отличающийся высокой компактностью данных в сочетании с надежностью их передачи.

Современные нейросетевые продукты позволяют работать как с числовыми, так и с текстовыми данными, т.е. преобразовывать набор символов (слово, фраза) в уникальный набор чисел. Ward System делает возможной также обратную операцию, т.е. представление результатов работы нейросети в виде не только чисел, но связного текста, что позволяет генерировать результаты в виде различных информационных сообщений. Правила для обучения нейросети могут задаваться посредством их ввода в готовом вице, а также в виде чисел, требующих дополнительных преобразований данных. Причем эти ограничивающие и разрешающие правила и условия могут задаваться в процессе решения задачи. Другим методом задания правил в Ward System является работа с индикаторами технического анализа. Включение индикаторов в процесс обучения существенно повышает не только точность прогнозов, но и их стабильность и статистическую достоверность. Для решения этой же проблемы в Ward System с большей эффективностью можно воспользоваться специальным блоком, который содержит полный список процедур с возможностью автоматического подбора параметров и переноса выбранных значений в подготовленный набор входных данных, что значительно облегчает работу аналитика.

Последними этапами можно считать проведение тестирования нейросети и ее запуск для получения прогноза. Работоспособность первоначально обученных сетей проводится на тестовой выборке данных. По результатам тестов отбираются наиболее перспективные варианты. При этом руководствуются тем, что точность и надежность прогноза прежде всего зависят от типа прогнозируемой величины, состояния, в котором находится система (стационарное, вблизи критической точки и т.п.), типа системы (управляемая она извне или замкнутая). Например, наиболее точен и надежен прогноз локального изменения тренда в стационарном состоянии рынка.

Если результаты тестирования не удовлетворяют, то просматривают набор входных данных, изменяют некоторые учебные программы или перестраивают сеть.

После завершения полного цикла решения задачи возможны два пути: пользоваться в дальнейшей работе созданной системой, что вполне приемлемо для одного специалиста, решающего определенный круг задач, или создать для каждой задачи независимые приложения в виде отдельного файла, который может использоваться другими программами. В этом случае полученный вариант нейросетевой технологии представляет собой упакованную нейросеть с описанными функциями передачи данных команд управления.

Гибкость и мощность нейронных сетей открывает перед ними практически неограниченные возможности применения, особенно в качестве аналитических инструментов в таких плохо формализуемых и многокритериальных областях, как анализ финансовой и банковской деятельности. Любая задача, связанная с использованием финансовых средств на валютном рынке или рынке ценных бумаг, сопряжена с риском и требует тщательного анализа и прогноза. Точность прогноза, устойчиво достигаемая нейросетевыми технологиями при решении реальных задач, уже превысила 95%. Поэтому количество примеров успешного применения нейросетевых программных продуктов стремительно растет.

Среди перспективных направлений использования нейросетевых технологий можно назвать создание компьютерных моделей поведения клиента для оценки риска или перспективности работы с конкретными клиентами. Например, можно проанализировать прежние сделки и на этой основе оценить вероятность того, согласится ли конкретный клиент на то или иное-предложение.

На мировом рынке аналитического программного обеспечения представлен широкий спектр нейросетевых технологий, начиная от систем, ориентированных на суперкомпьютеры, стоимость которых превышает 50 тыс. долл., до недорогих (несколько сотен долларов) нейропакетов, работающих на платформе персональных компьютеров и рабочих станций. Это делает доступной технологию нейронных сетей для приложений практически любого уровня. Ее массовое применение — вопрос ближайшего будущего.

 

Практическое задание: Изучить работу экспертной системы «Все о налогообложении в Российской Федерации».

Разработчик: Научно-производственная фирма «БУХинфо».

Экспертная система расположена в Internet по адресу: http://www.byx.ru/expert/exp.php

Вопросы для самоконтроля: