Общая характеристика этапов моделирования на основе данных

Построение моделей — универсальный способ изучения окружающего мира, позво­ляющий обнаруживать зависимости, прогнозировать, разбивать на группы и решать множество других важных задач. Но самое главное: полученные таким образом знания можно тиражировать.

Тиражирование знаний — совокупность методологических и инструментальных средств создания моделей, которые обеспечивают конечным пользователям возможность исполь­зовать результаты моделирования для принятия решений без необходимости понимания методик, при помощи которых эти результаты получены.

Процесс построения моделей состоит из нескольких шагов (рис.).

Рис. Процесс построения модели

Формулирование цели моделирования. При построении модели следует от­талкиваться от задачи, которую можно рассматривать как получение ответа на интересующий заказчика вопрос.

Например, в розничной торговле к таким вопросам относятся следующие: какова структура продаж за определенный период? какие клиенты приносят наибольшую прибыль? какие товары продаются или заказываются вместе? как оптимизировать товарные остатки на складах?

В этом случае можно говорить о создании модели прогнозирования продаж, модели выявления ассоциаций и т. д.

Данный этап также называют анализом про­блемной ситуации.

Подготовка и сбор данных. Информационный подход к моделированию ос­нован на использовании данных, подготовить и систематизировать которые — от­дельная задача. Поэтому актуальным являются принципы подготовки данных, включающие их очистку и обогащение.

Поиск модели. После сбора и систематизации данных переходят к поиску модели, которая объясняла бы имеющиеся данные, позволила бы добиться эмпирически обоснованных ответов на интересующие вопросы. В промышленном анализе дан­ных предпочтение отдается самообучающимся алгоритмам, машинному обучению, методам DataMining.

Если построенная модель показывает приемлемые результаты на практике (на­пример, в тестовой эксплуатации), ее запускают в промышленную эксплуатацию. Если качество модели неудовлетворительное, то процесс построения модели повторяется, как это показано на рис.

Моделирование позволяет получать новые знания, которые невозможно извлечь каким-либо другим способом. Кроме того, полученные результаты представляют собой формализованное описание некоего процесса, вследствие чего поддаются автоматической обработке.

Однако результаты, полученные при использовании моделей, очень чувствительны к качеству данных, к знаниям аналитика и экспертов и к формализации самого изучаемого процесса. К тому же почти всегда имеются случаи, не укладывающиеся ни в какие модели.

На практике подходы комбинируются. Например, визуализация данных на­водит аналитика на некоторые идеи, которые он пробует проверить при помощи различных моделей, а к полученным результатам применяются методы визуали­зации.

Полнофункциональная система анализа не должна замыкаться на применении только одного подхода или одной методики. Механизмы визуализации и построе­ния моделей должны дополнять друг друга. Максимальную отдачу можно полу­чить, комбинируя методы и подходы к анализу данных.

Подготовка данных к анализу при информационном моделировании

Информационный подход к анализу базируется на различных алгоритмах извлече­ния закономерностей из исходных данных, результатом работы которых являются модели. Таких алгоритмов довольно много, но они не способны гарантировать качественное решение. Никакой, даже весьма изощренный, метод сам по себе не даст хорошего результата, так как критически важным является качество исходных данных. Чаще всего именно оно становится причиной неудачи. Несмотря на то, чтосуществуют специальные методы очистки данных, понимание и соблюдение принципов сбора и подготовки данных значительно облегчит построение моделей и позволит получить хорошие результаты.

 

Подготовка и сбор данных. Информационный подход к моделированию ос­нован на использовании данных, подготовить и систематизировать которые — от­дельная задача. Поэтому актуальным являются принципы подготовки данных, включающие их очистку и обогащение.

 

Рис. Процесс построения модели

Поиск модели. После сбора и систематизации данных переходят к поиску модели, которая объясняла бы имеющиеся данные, позволила бы добиться эмпирически обоснованных ответов на интересующие вопросы. В промышленном анализе дан­ных предпочтение отдается самообучающимся алгоритмам, машинному обучению, методам DataMining.

Если построенная модель показывает приемлемые результаты на практике (на­пример, в тестовой эксплуатации), ее запускают в промышленную эксплуатацию. Если качество модели неудовлетворительное, то процесс построения модели повторяется, как это показано на рис.

Моделирование позволяет получать новые знания, которые невозможно извлечь каким-либо другим способом. Кроме того, полученные результаты представляют собой формализованное описание некоего процесса, вследствие чего поддаются автоматической обработке.

Однако результаты, полученные при использовании моделей, очень чувствительны к качеству данных, к знаниям аналитика и экспертов и к формализации самого изучаемого процесса. К тому же почти всегда имеются случаи, не укладывающиеся ни в какие модели.

На практике подходы комбинируются. Например, визуализация данных на­водит аналитика на некоторые идеи, которые он пробует проверить при помощи различных моделей, а к полученным результатам применяются методы визуали­зации.

Полнофункциональная система анализа не должна замыкаться на применении только одного подхода или одной методики. Механизмы визуализации и построе­ния моделей должны дополнять друг друга. Максимальную отдачу можно полу­чить, комбинируя методы и подходы к анализу данных.