Вопрос анализ данных в аис на пп.

Автоматизация анализа массивов данных – одно из основных назначений АИС.

Системы и модули больших КИС предназначенные д/ автоматизации анализа данных называют СППР (DSS).

Основное предназн-е анализа данных – поддержка принятия управленч решений.

Любая система анализа данных должна обеспечивать: ввод, хранение, анализ данных.

Ср-вами ввода данных явл-ся интерфейсные ср-ва клиентских компонентов OLTP-систем.

Д/ хранения данных в системах анализа исп-ся БД и хранилища данных (ХД, ИХ – инф. хранилища, Data Warehouse).

Концепция ХД возникла в начале 90-х гг. Появление связано с выявленными противоречиями в требованиях к системам оператив обработки данных и к системам анализа.

Противоречия:

1. Сложные аналитиче запросы забирают ресурсы системы и могут существенно тормозить обработку оператив. данных.

2. Оператив базы не приспособлены к длит хранению больших массивов данных, кот необходимы д/ анализа.

3. Избыточность данных в оперативных базах должна сводиться к мин. Д/ анализа некоторая избыточность м/б полезной.

4. Ошибки при ручном вводе данных неизбежны и в принципе могут допускаться. В то же время ошибки в данных, предназначенных д/ анализа, могут полностью исказить его результаты.

5. Аналитич запросы в отличие от обычных запросов OLTP-систем не м/б определены заранее.

Д/ систем оператив обработки типична средняя постоянная загрузка вычислит системы. При анализе данных набл-ся пиковая загрузка при обработке запросов.

Основная идея ХД – принцип разделения оперативных данных и данных д/ анализа.

 

 

Определение ХД (У. Инмон 1993 г.).

ХД – предметно ориентир, интегрир, неизменяемый, поддерживающий хронологию набор данных, предназ д/ поддержки принятия управленч решений.

Предметная ориентир-сть - некоторую предметную область отражают данные, поступающие в ХД из оперативных источников, отражающих отдельные аспекты этой области. Д/ анализа необходимо хранить только содержательные данные.

Интегрированность - данные в ХД поступают из различных внутр и внеш источников: оперативные базы пп, сеть Интернет, электронные СМИ, эл каталоги, справочники, архивы, стат отчеты. Данные перед помещением в ХД приводятся к единым форматам – интегрируются.

Неизменяемость –данные не должны подвергаться изменениям за искл случаев выявления ошибок.

Хронология – все эл-ты данных должны иметь временные метки, соответств моменту времени появления данных.

Хранилища м/б централизованными, в этом случае используют единое хранилище на одном компе, или в одном узле сети. Либо хранилище м/б распределенным, в этом случае функции ХД реализуются на неск узлах сети.

Хранилища могут быть физическими- данные фактически перегружаются из оперативных баз в спец хранилище, кот-му адресуются аналитические запросы.

Также хранилища м/б виртуальными - запросы обрабатываются оперативными источниками данных (OLTP). Виртуальное ХД проще в создании и менее затратно, но эффективность анализа невысока. Физическое ХД сложнее и дороже, но его исп-е более эффективно.

Безопасность данных в ХД можно повысить, исп-уя принцип витрин данных (Data Mart), т.е. упрощенных хранилищ, предоставляющих данные опред категориям пользователей в соответствии с имеющейся у них необходимостью.

В целом систему для анализа данных можно представить:

По степени сложности и интеллектуальности задачи анализа данных можно разделить на 3 класса:

1. Инф-поисковые. Их решение сводится к поиску и выборке необх данных. Д/ решения таких задач достаточно средств в стандартном СУБД. Например, инф-поисковая задача – предоставить данные об определенном потребителе продукции.

2. Задачи оперативного анализа. Выполняется группировка и обобщение первичных данных, вычисляются агрегированные пок-ли и строятся соответств зависимости. Такие задачи решаются с помощью технологии OLAP (On-line Analytical Processing). Пример: предоставить инф-ию о пп-покупателях, задерж оплаты отгруженной им продукции на текущий момент.

3. Задачи интеллек анализа. Их решение сводится к выявлению закономерностей (шаблонов) в массивах данных. Используется Data Mining (добыча данных, интеллектуальный анализ данных). Пример: Построить инф портрет типичного пп, задерж оплату отгруженной ему продукции.