Метод интеллектуальной обработки данных data mining.

В настоящее время для интеллектуальной обработки данных интенсивно разрабатываются методы, получившие общее название Data Mining (добыча, извлечение знаний). Современные системы добычи знаний используют представления и интерпретации, основанные на методах искусственного интеллекта, и позволяют обнаруживать растворенную в терабайтных хранилищах не очевидную, но весьма ценную информацию.

Data Mining - это новая технология интеллектуального анализа данных с целью выявления скрытых закономерностей в виде значимых особенностей, зависимостей, тенденций и шаблонов. В ее основу положена концепция шаблонов (patterns). Шаблоны представляют собой закономерности, свойственные выборкам данных, которые могут быть компактно выражены в понятной человеку форме. Поиск шаблонов производится методами, не ограниченными рамками априорных (заранее известных) предположений о структуре выборки и виде распределений значений анализируемых показателей.

Другими словами, Data Mining - это исследование и обнаружение алгоритмами и средствами искусственного интеллекта в данных шаблонов, которые:

o ранее не были известны;

o нетривиальны;

o практически полезны;

o доступны для интерпретации человеком и необходимы для принятия решений в различных сферах деятельности. Такие шаблоны должны отражать неочевидные, неожиданные закономерности, так называемые скрытые знания.

Выделяют следующие типы закономерностей:

o классификация. Это наиболее распространенная задача Data Mining. Она позволяет выявить признаки, характеризующие однотипные группы объектов, для того чтобы по известным значениям этих характеристик можно было отнести новый объект к тому или иному классу. Ключевым моментом выполнения этой задачи является анализ множества классифицированных объектов;

o кластеризация. Логически продолжает идею классификации на более сложный случай, когда сами классы еще не определены. Результатом использования метода, выполняющего кластеризацию, является определение (посредством свободного поиска) классов. Так, например, можно выделить группы клиентов или покупателей, схожих по каким-то признакам, чтобы в отношении их вести дифференцированную политику;

o ассоциация. В отличие от двух предыдущих типов определяется не на основе значений свойств одного объекта или события, а выявляет связи

между двумя или несколькими одновременно наступающими событиями. При этом указывается на то, что при наступлении одного события с той или иной степенью вероятности наступает другое. С помощью ассоциации можно выполнить анализ покупательской корзины, портфеля ценных бумаг, набора финансовых услуг и др.;

o последовательность. Также выявляет связи между событиями, но наступающими не одновременно, а с некоторым определенным разрывом во времени. Таким образом, ассоциация есть частный случай последовательности с нулевым временным интервалом. С помощью последовательности можно ответить, например, на вопрос, покупки каких товаров предшествуют покупке данного вида продукции;

o прогнозирование. Представляет собой особую форму предсказания, которая на основе особенностей поведения текущих и исторических данных оценивает будущие значения определенных показателей. В задачах подобного типа наиболее часто используются традиционные методы математической статистики (в частности, регрессия), а также нейронные сети.

При выявлении перечисленных закономерностей Data Mining использует большое число различных методов анализа или их комбинации.

Лидерами на рынке систем интеллектуальной обработки данных являются компании Business Objects, Cognos, Information Builders, а также корпорации Microsoft и Oracle.