Создание единой ит-инфраструктуры

Введение

Интеграция данных включает объединение данных, находящихся в разных источниках и предоставления данных пользователям в унифицированном виде. Этот процесс становится существенным как в коммерческих задачах (когда двум похожим компаниям необходимо объединить их базы данных), так и в научных (комбинирование результатов исследования по различным биоинформационных репозиториев, для примера). Роль интеграции данных возрастает когда увеличивается объем и необходимость совместного использования данных. Это стало фокусом большого теоретической работы, а многочисленные проблемы остаются нерешенными.

К интеграции данных есть два альтернативных подхода: старый - синтаксический и новый - семантический. Первый основывается на внешнем сходстве обьедннання данных, второй на содержательном. Например, если мы, следуя первому, объединяем две обычные таблицы, то предполагаем, что в поле «Температура» значения выражены в одной шкале, а если мы смогли бы каким-то образом организовать семантическое хранения, то тогда могли бы рассчитывать на то, что в поле «Температура» находятся данные и метаданные, т.е. запись физической величины и указание на то, по какой шкале она измерена, и смогли бы объединить массивы данных, записанных и по Цельсию, и по Фаренгейту. Семантическая интеграция основывается на знании и учете природы данных. Разумеется, хранения данных вместе с метаданными создает дополнительные сложности, но обеспечивает большее удобство работы.

Новая экономическая реальность требует новых подходов к интеграции данных. Современный подход должен обеспечивать:

- Интеграцию всех баз данных внутри корпорации, включая неструктурированные данные.

- Интеграцию данных за пределами корпорации - в приложениях и системах «облачных вычислений».

- Свободный обмен данными с торговыми партнерами.

- Качество всех данных.

- Управление жизненными циклами приложений с оптимальными затратами.

Интеграция информационных систем = интеграция данных + интеграция приложений.

Интеграция при помощи Web -сервисов

 Данный вид интеграции является передовым и стремительно развивающимся подходом к интеграции приложений. Он базируется на предоставлении стандартного для Web-служб интерфейса доступа к приложениям и их данным. Примером может являться стандартный протокол доступа к объектам — SOAP (англ. Simple Object Access Protocol — простой протокол доступа к объектам). Так, при помощи SOAP, браузер пользователя может одновременно сравнить данные на нескольких выбранных веб-сайтах и представить клиенту сравнительный отчет. Другой пример: сотрудники одного географически распределенного предприятия могут единовременно использовать корпоративные приложения, доступ к которым осуществляется через соответствующие Web-сервисы (портальное решение). Web-сервисы похожи на подход EAI, но с одним главным отличием — EAI-решения, в своём множестве, выпускаются как частные случаи для связи определённых продуктов. Соответственно, подключить к уже используемому EAI-решению еще одну стороннюю систему будет довольно трудной и длительной задачей. По своей природе Web-сервисы существенно более унифицированы и стандартизованы. Поскольку Web-сервисы базируются на общих и единых для Консорциума Всемирной паутины (англ. World Wide Web Consortium, W3C-консорциум) стандартах, они могут работать везде, где используется сеть Интернет.

Интеграция на уровне данных

 Данный вид интеграции подразумевает, что несколько программных приложений могут обращаться к одной базе данных или в несколько баз данных, связанных репликациями. Преимуществом такого вида является низкая стоимость интеграции. К недостаткам можно отнести следующее: если база данных не экранирована хранимыми процедурами и не имеет необходимых ограничений и защиты целостности (например, в виде указания каскадных операций и триггеров), то взаимодействие различных приложений с данной БД может явиться причиной ошибок и приводить данные в противоречивые состояния. В случае если БД экранирована и поддерживается целостность хранимых данных, то в одновременно взаимодействующих с одной БД приложениях будут дублироваться части программного кода, выполняющие одинаковые или схожие операции. Кроме того, при внесении изменений в структуру базы, необходимо отдельно переписывать программный код всех приложений, работающих с такой БД.

 

Расплавы»

Основными компонентами архитектуры ИИС являются: вычислительные приложения, CORBA-оболочки приложений, сервер приложений, (SQL) реляционная база данных, web-сервер, web-клиент и мост XML-СУБД. Механизм интеграции программных компонентов ИИС - обмен документами XML. Динамическое управление приложениями осуществляется с помощью технологии CORBA.

Рис. 1. Структура ИИС «Шлаковые расплавы» версии 6.0

Вычислительные приложения и web-сервер взаимодействуют с базой данных опосредованно через промежуточное программное обеспечение, которое осуществляет формирование требуемого XML документа на основании содержания базы данных и обновление базы данных на основании документа XML [2]. Использование XML в качестве универсального средства обмена данными оправдано, т.к. обеспечивает масштабируемость – одно из важнейших требований при проектировании любой ИС. Однако, как показал анализ производительности ИИС, метод формирования XML-документов, предложенный и реализованный разработчиками ИИС «Шлаковые расплавы», не является оптимальным.

Для унификации информационных потоков между компонентами ИИС используется программа-адаптер XML2DB, которая является промежуточным звеном между СУБД и подсистемами информационной системы. Единый формат обмена данными обеспечивается с помощью XML-документов, содержащих трансляционные схемы.

Рис.2. Процесс обмена данными в ИИС «Шлаковые расплавы»

 

На обработку программе XML2DB поступает соответствующая трансляционная схема и правило ее обработки в виде ключа. Происходит синтаксический разбор этой схемы, после чего программа определяет дальнейшие инструкции, в зависимости от типа трансляционной схемы: a. Трансляционная схема представляет собой правило выборки данных из базы. В этом случае происходит обращение к базе, выборка необходимых данных, на основе которых генерируется новый XML-документ b. Трансляционная схема содержит правило обновления или вставки данных - программа производит модификацию базы данных в соответствии с правилами, заложенными в программе XML2DB при разборе схемы трансляции.

Заключение

Предложен подход, позволяющий автоматизировать процесс межсистемной интеграции. Решена проблема исключения «горячего программирования» при внесении минимальных изменений в структуру или содержание информационных пакетов за счет синтеза XML-пакетов на основе XML-шаблонов. XML обеспечивает универсальный формат информационных сообщений, а XSD – строго определенную семантику. Организация взаимодействия с основной информационной системой через служебные таблицы базы данных дает возможность асинхронного выполнения заданий информационного обмена с внешними веб-сервисами. Предложенный подход позволяет разработчикам реализовывать требуемый функционал для взаимодействия с веб-сервисами в отдельном модуле интеграции, функционирующем на сервере базы данных и/или приложений, и избавляет от необходимости дорабатывать основную информационную систему для нужд интеграции. При этом унифицированный транспортный протокол HTTP(S) обеспечивает взаимодействие через веб-сервисы. Важным плюсом разработанного подхода является автономность и кроссплатформенность разрабатываемых на его основе программных средств. Опыт разработки и эксплуатации программного комплекса интеграции [13] показал, что реализованный подход без внесения существенных доработок в корпоративное программное обеспечение может быть применен при решении задач межсистемной интеграции в любой сфере.

Исследовательская информационная система «Шлаковые расплавы» создана с использованием наиболее перспективных технологий – с помощью среды разработки Apache Cocoon 2.1. Интеграция модулей системы осуществляется за счет обмена XML-данными. Но на этапе тестирования было выявлено неэффективное управление обработкой XML-документов, снижающее производительность. Углубленное изучение технологий пакета Apache Cocoon показало, что существует наиболее оптимальный метод обмена XML-данными - использование встроенной библиотеки тегов XSP – ESQL для прямого и обратного преобразования XML данных, вместо программы-адаптера XML2DB.

Литература:

1. Roy Thomas Fielding. Architectural Styles and the Design of Network-based Software Architectures (Ph.D.) // Roy Thomas Fielding. – University of California, Irvine, 2000. – 180 p.

2. Спецификация SOAP. [Электронный ресурс]. – Режим доступа: http://www.w3.org/TR/soap/

3. Бертран Портье. Обзор терминологии SOA: Часть 1. Сервис, архитектура, управление и бизнес-термины // IBM DeveloperWorks. – 2008. [Электронный ресурс]. – Режим доступа: http://www.ibm.com/developerworks/ru/library/ws-soa-term1/

4. Хохгуртль Брайан. С# и Java: межплатформные Web-сервисы // Брайан Хохгуртль. – М.: Связь, 2004. – 213 с.

5. ООС. АЛЬБОМ ТФФ. Требования к форматам и способам передачи информации по телекоммуникационным каналам связи в рамках интеграции Общероссийского официального сайта со смежными системами // Официальный общероссийский сайт. – 2014. – 520 с.

 6. Буч Г., Рамбо Д., Джекобсон А. Язык UML Руководство пользователя // Г. Буч, Д. Рамбо, А. Джекобсон. – ДМК Пресс, 2007. – 496 с.

7. Леоненков А. Самоучитель UML // Леоненков А. – БХВ-Петерург, 2004. – 551 с.

8. Воронова Л.И., Рыжов Н.А., Тетерин С.А., Середа Д.В. Использование XML для интеграции приложений и реляционных СУБД / Сб.научн. трудов «Математическое моделирование: естественно-научные, технические и гуманитарные приложения». СПб: ЛГУ им.А.С.Пушкина, 2004, с.117-119.
9. Matthew Langham, Carsten Ziegeler “Cocoon: Building XML Applications”, New Riders Publishing, 2002.

10. http://cocoon.apache.org/2.1/userdocs/basics/index.html

 

 

 

 

Введение

Интеграция данных включает объединение данных, находящихся в разных источниках и предоставления данных пользователям в унифицированном виде. Этот процесс становится существенным как в коммерческих задачах (когда двум похожим компаниям необходимо объединить их базы данных), так и в научных (комбинирование результатов исследования по различным биоинформационных репозиториев, для примера). Роль интеграции данных возрастает когда увеличивается объем и необходимость совместного использования данных. Это стало фокусом большого теоретической работы, а многочисленные проблемы остаются нерешенными.

К интеграции данных есть два альтернативных подхода: старый - синтаксический и новый - семантический. Первый основывается на внешнем сходстве обьедннання данных, второй на содержательном. Например, если мы, следуя первому, объединяем две обычные таблицы, то предполагаем, что в поле «Температура» значения выражены в одной шкале, а если мы смогли бы каким-то образом организовать семантическое хранения, то тогда могли бы рассчитывать на то, что в поле «Температура» находятся данные и метаданные, т.е. запись физической величины и указание на то, по какой шкале она измерена, и смогли бы объединить массивы данных, записанных и по Цельсию, и по Фаренгейту. Семантическая интеграция основывается на знании и учете природы данных. Разумеется, хранения данных вместе с метаданными создает дополнительные сложности, но обеспечивает большее удобство работы.

Новая экономическая реальность требует новых подходов к интеграции данных. Современный подход должен обеспечивать:

- Интеграцию всех баз данных внутри корпорации, включая неструктурированные данные.

- Интеграцию данных за пределами корпорации - в приложениях и системах «облачных вычислений».

- Свободный обмен данными с торговыми партнерами.

- Качество всех данных.

- Управление жизненными циклами приложений с оптимальными затратами.

Интеграция информационных систем = интеграция данных + интеграция приложений.

Создание единой ИТ-инфраструктуры

Создание единой IT-инфраструктуры предполагает интеграцию приложений, с помощью которых автоматизируется управление различными процессами компании (интеграция автоматизированных информационных систем управления и учета, в том числе интеграция корпоративных приложений). Интеграция приложений не вызывает особых сложностей, когда речь идет о 2 информационных системах. Однако со временем IT-инфраструктура предприятия может усложняться, и интеграция уже трех автоматизированных систем, как и их совместная работа, может вызывать определенные трудности.

В результате изменения процессов и внедрения новых информационных систем и технологий, IT-инфраструктура практически каждого предприятия становится малоэффективной: количество связей между различными автоматизированными системами и их сложность растет в геометрической прогрессии, возникает двойной ввод информации, разночтения в нормативно-справочной информации и многие другие проблемы, приводящие, в конечном счете, к замедлению процессов и ошибкам в оперативных, тактических и стратегических решениях. В итоге появляется жизненная необходимость интегрировать приложения путем создания единой инфраструктуры, в которой все процессы и все информационные потоки связаны друг с другом и протекают быстро и без сбоев.

DATAREON предлагает эффективный способ формирования единой ИТ-инфраструктуры предприятия с максимальным использованием уже внедренного программного обеспечения и технологий — создание композитного решения с сервис-ориентированной архитектурой на базе собственного решения класса ESB (Enterprise Service Bus) — DATAREON ESB.