Prospects for the use of Big data technologies in enterprise production planning

 

Abstract: This article discusses the Big Data technology in the field of enterprise production planning. The main advantages and disadvantages of integration of neural network technologies in the company's production activities are revealed on the example of such systems as" Hadoop"," Rapid Miner", and Yandex "Sniper".

Keywords: Big Data, machine learning, production planning, software, mathematical modeling.

 

Технология Big Data повсеместно используется в разных отраслях от финансового до аграрного секторов экономики. Интеграция данной технологии на предприятии позволяет реализовать процесс аналитики больших массивов данных компании, что способствует оптимизации производственного процесса, по средствам сокращения переменных и постоянных издержек, а также повышения маржинальности продукта.

В ходе анализа российского рынка технического оборудования удалось определить, что существует огромное количество вариативных приложений, основанных на технологии «Больших Данных», которые уже введены в эксплуатацию компаниями металлургического и топливно-энергетического комплекса. Характерным примером служат такие компании, как Магнитогорский металлургический комбинат, Северсталь и Сургутнефтегаз, которые используют данную технологию для оптимизации расходов материалов при производстве стали, для реализации методов математического моделирования по повышению производительности оборудования и сокращение времени необходимого для обработки данных предприятия соответственно.

Уникальность технологии Big Data основана на тщательном анализе больших массивов данных по средствам машинного обучения, что позволяет детерминировать скрытые закономерности и недоработки производственного процесса, влияющие на качество конечного результата, в ином случае скрытые от специалистов в области анализа данных.

Термин Big Data прежде всего включает в себя ряд подходов, специализированных инструментов и методов по обработке, как структурированных, так и хаотичных данных больших объемов, которые не подвергаются анализу типичных баз данных по управлению, хранению и анализу информации. Одним из наиболее релевантных примеров применения данной технологии является программное обеспечение «Hadoop», которое используется для работы с большими данными в целях оптимизации производственного процесса промышленных предприятий, разработанная компанией «Apache Software Foundation».

«Hadoop» - это система, которая базируется на 4 основных компонентах: Hadoop Common, HDFS, YARN, Hadoop Map Reduce. Hadoop Common является набором инфраструктурных программных библиотек и утилит, которые необходимы для решения задач в смежных проектах, а конкретно управление распределенными файлами и генерация необходимой инфраструктуры. HDFS – это подсистема реализующая репликацию информационных блоков, обеспечивающая надежное хранение файлов, равномерно распределенных между узлами вычислительного кластера. YARN, подсистема, реализующая управление кластером Map reduce, обеспечивающая совместное использование приложений. Фактически подсистема YARN является интеРФейсом между аппаратными ресурсами кластера и приложения, использующая ее мощности для обработки данных. Hadoop Map Reduce – подсистема выполнения распределенных вычислений с использованием большого количества компьютеров, образующих кластер.

Рисунок 1 – Блок-схема экосистемы «Hadoop».

Источник: Авторская схема

 

Таким образом, «Hadoop» является типичным примером программного обеспечения, основанного на технологии Big Data, который позволяет реализовывать процесс сбора, обработки и анализа данных. Вариативность подсистем гарантирует сохранность данных, а также высокую точность конечного результата. 

Другим примером программного обеспечения, основанного на технологии Big Data является программное обеспечение «Rapid Miner», разработанное одноименной компанией. «Rapid Miner» - инструмент, созданный для сбора и обработки данных. Система «Rapid miner» строится на двух компонентах: майнер и сервер. Задачей майнера является реализация процесса сбора и анализа данных при помощи нескольких операторов. Операторы «Rapid Miner» разделены на четыре категории: операторы по преобразованию типов данных, операторы обеспечивающие доступ к данным и работу с файлами, операторы математического моделирования, генерирующие прогнозные, оптимизационные модели и модели кластерного анализа, а также вспомогательные операторы, обеспечивающие сохранность и анонимизацию данных и запуск Java и Groovy-подпрограмм. Серверы, в свою очередь соединяют источники данных между пользователями, выполняя роль веб-сервера.

Таким образом, использование данной системы в производственном планировании предприятия позволяет детерминировать превентивные меры, которые в свою очередь позволят сократить издержки и риски предприятия и, таким образом, повысить прибыль компании.

Одной из последний разработок технологии Big Data на отечественном рынке является совместный проект Магнитогорского металлургического комбината и Yandex Data Factory, «Снайпер», который был представлен в конце 2016 года в опытно-промышленную эксплуатацию. Цель данной аналитической платформы заключалась в обработке параметров плавки на основе таких факторов как: данные по исходному составу, требованиям по содержанию химических элементов готовой продукции с последующим формированием рекомендации по оптимизацию производственного процесса. В настоящий момент времени были введены в эксплуатацию «Интегрированной системе управления энергетической эффективностью ЦЭС на основе оптимизационной технико-экономической модели» и «Системы автоматического регулирования режимов паровых котлов ТЭЦ». Экономический эффект от внедрения данной технологии в период с августа 2017 по март 2018 года составил 31,7 млн рублей при совокупной стоимости проекта в 65 млн рублей. Таким образом, столь низкий срок окупаемости данной технологии указывает на перспективность ее применения в сфере производственного планирования.

Именно поэтому в настоящий момент времени ММК реализует масштабирования сферы применения данной технологии в рамках стратегической инициативы «ММК-Индустрия 4.0».

Несмотря на перспективность данной технологии существует ряд сдерживающих факторов, которые в перспективе могут оказать негативное влияние на точность производимой аналитики. Так, например, реализация технологии Big Data на предприятии также подразумевает и наличие специализированной инфраструктуры, состоящей из сети датчиков и систем управления, которые позволят собирать и накапливать архивные данные для последующей обработки. В случае сбоя хотя бы одного датчика вероятность корректного результата существенно снижается, что указывает на необходимость в формировании системы с высоким уровнем надежности.

Другой характерной проблемой Big Data является постоянное увеличение объемов обрабатываемой информации, а также постоянное изменение типов и характера данных. В связи с необходимостью компаний работать как со структурированными, так и с неструктурированными данными существует потребность во внедрении дополнительных инструментов по оптимизации процесса анализа. Однако существует проблема в получении корректного результата в связи с использованием устаревших систем управления массивами данных, которым не хватает функциональности и мощности для обработки новых типов данных большого объема.  

Рисунок 2 – график прогнозируемого объема данных в зеттабайтах в мире.

Источник: Авторская схема

 

Данные рассчитаны информационным агентством «Statista» на основании данных за 2020 год и пятилетнего совокупного годового темпа роста (CAGR) в 26 процентов. Данные до 2020 г. основаны на прогнозе IDC на конец 2018 г.

В целом технологии Big data обеспечивают пользователя огромным количеством возможностей повышения качества производственного планирования, определяя уязвимости, а также возможные оптимизации системы. Тем не менее, несмотря на инновационность данной технологии, существует ряд недостатков, которые требуют пристального внимания при создании архитектуры сетей и программного обеспечения Big Data. Так или иначе, несмотря на сложность импликации данной технологии в производственную систему предприятия и высокую стоимость, которая в настоящий момент времени может достигать нескольких десятков миллионов рублей, ожидаемый экономический эффект превалирует возможные издержки. Таким образом, реализация технологии Big Data на предприятии может считаться целесообразным и потенциально выгодным вложением. 

 

Список литературы

1. Абдрахманова Г. И., Вишневский К. О. Большие данные в промышленности и ИТ-отрасли // Расчеты ИСИЭЗ НИУ ВШЭ, выполненные по итогам проекта «Пилотная апробация предложений по модернизации действующей системы статистического наблюдения в целях измерения цифровой экономики» [Электронный ресурс] – Режим доступа: https://issek.hse.ru/news/373303903.html (дата обращения: 11.12.2020).

2. Завьялова Н. А., Вылегжанина Е. В. Big Data: практика применения технология для планирования и прогнозирования финансовых показателей // Вестник алтайской академии экономики и права. – 2020. - №8 – С. 55-60.

3. Иванов П. Д., Вампилова В. Ж. Технологии Big Data и их применение на современном промышленном предприятии // Инженерный журнал: наука и инновации. – 2014.

4. Митрович С. Рынок «больших данных» и их инструментов: тенденции и перспективы в России // МИР (Модернизация. Инновация. Развитие). - 2018. – т. 9. - №1.

5. Паскова А. А., Технологии Big Data в автоматизации технологических и бизнес-процессов // Журнал: Научное образование. Технические науки. – 2018. -№4 – С. 23-27.

 

Пояркова Е.И.,

Тронева Е.В.

Научный руководитель: Маслякова И.Н.

РЭУ им. Г.В. Плеханова

СОЗДАНИЕ WEB-ПЛАТФОРМЫ ДЛЯ АДАПТИВНОГО ТЕСТИРОВАНИЯ СТУДЕНТОВ ПО МАТЕМАТИЧЕСКИМ ДИСЦИПЛИНАМ

 

       Аннотация: в настоящее время процесс цифровизации затрагивает все сферы общественной жизни, в частности, и образование. В данной работе рассматривается использование системы адаптивного тестирования для оценки уровня знаний обучающихся, а также представляется математическая модель для реализации данной технологии и описание разрабатываемой системы.

       Ключевые слова: адаптивное тестирование, дистанционное образование, цифровизация, оценка, IRT.