Хранилища данных. Многомерные хранилища данных

Комбинация многомерного и реляционного подхода: киоск данных

Каждая из описанных моделей имеет как достоинства, так и недостатки.

Многомерная модель позволяет производить быстрый анализ данных, не позволяет хранить большие массивы информации.

Реляционная модель практически не имеет ограничений по объему накапливаемых данных, однако имеет низкую скорость выполнения аналитических запросов.

Можно ли совместить эти два подхода?

Во-первых редко возникает операция когда для анализа необходима вся информация, хранящая в хранилище. Обычно каждый аналитик обслуживает одно из направлений деятельности организации.

Реальный объем этих данных позволяет вместить их в многомерные хранилища. Источником данных для них должен быть центральное хранилище организации. Многомерные хранилища данных выполняют роль мелких складов.

Киоск данных - это специализированное многомерное хранилище, обслуживающее одно из направлений деятельности предприятия.

Комбинация будет выглядеть следующим образом.

 

Системы, использующие хранилища данных строятся на основе архитектуры клиент-сервер. Хранилище размещается на специализированном сервере для него используют мощные многопроцессорные вычислительные системы. В качестве СУБД используют СУБД, поддерживающие параллельную обработку запросов:

1. TERADATA,NCD

2. DB\2, IBM

3. Oracle

4. INFORMIK

Киоски данных реализуются с использованием серверов многомерных баз данных:

1. Essbase (Arbor Soft ware)

2. Oracle Express (Oracle)

3. Centium (Planning Sciences)

Хранилища данных принято делить:

ип хранилища	объем данных	число строк в фактологической таблице
маленькие	до 3 Гбайт	несколько миллионов строк
средние	до 25 Гбайт	до 100 млн. строк
большие	до 200 Гбайт	несколько сотен млн.строк
сверхбольшие	свыше 200 Гбайт	миллиард и более

 

В таблице приведен полезный объем, использованый для анализа. Дисковое пространство обычно в несколько раз больше за счет того, что необходимо поддерживать систему индексов, обычно в 5-10 раз.

Методы аналитической обработки (OLAP)

1. используется статистический метод: регрессивного, факторного, дисперсионного анализа, анализа временных рядов

2. метод искусственного интеллекта - нейронные сети, нечетная логика, генетические алгоритмы, методы извлечений знаний. Эти методы называют методы интеллектуального анализа данных (ИАД)

Средство анализа данных в системах принятия решений (СППР) на основе хранимых данных, используется для решения следующих задач:

1. выделение в данных групп, сходных по некоторым признакам

2. нахождение и аппроксимация зависимостей, а также поиск наиболее значимых параметров

3. анализ аномалий, т.е. поиск данных, отклоняющихся от среднего

4. прогнозирование развития событий на основе хранящейся ретроспективной информации об их состоянии в прошлом

Хранилища данных

Зачем нужны хранилища данных.

Хранилище данных является неотъемлемым элементом большинства корпоративных систем business intelligence.

Как правило, даже небольшие компании используют несколько информационных систем для автоматизации различных сфер деятельности. Кроме того, большинство компаний использует отдельные системы в филиалах и региональных офисах. Данные, получаемые от различных структурных элементов компании не унифицированы, часто противоречивы, и показатели, используемые для анализа и управления не могут быть из них получены напрямую.

Использование хранилища данных, как специализированного источника для аналитической обработки информации необходимо, т.к. именно на стадии сбора и интеграции данных происходит объединение данных, их унификация и другие преобразования.

В хранилище данных, в которое в зависимости от решаемых задач, пройдя предварительную обработку, стекаются данные из самых разнообразных источников, включая корпоративные информационные системы, локальные файлы (таблицы Excel, Access), данные, предоставляемые или каким-то образом получаемые от контрагентов, данные по рынку и др.

Практически вся полезная информация в подготовленном виде находится в хранилище данных, а методы обработки и типы систем бизнес-анализа зависят от конкретных задач.