GRID інструментальних засобів

Практичний досвід з багатьох прикладних областей показує, що швидких обчислень буває замало: часто необхідно в реальному часі збирати великі обсяги даних, що надходять з датчиків, аналізувати поточну ситуацію, виробляти рішення і генерувати керуючі дії. Все це вимагає тісної інтеграції керування, обробки даних різного виду, моделювання процесів, візуалізації даних в реальному часі. Обчислювальні комплекси такого роду отримали назву інтелектуальних інструментальних засобів.

Основна мета GRID інструментальних засобів полягає в тому, щоб істотно збільшити можливості реєстрації, організації, пошуку і забезпечення високоефективного і незалежного від географічного розміщення доступу до даних, що генеруються подібними інструментальними засобами. Такі дані зазвичай відносять до великих об’єктів даних (large data object — LDO). Екземпляри великих об’єктів даних найчастіше є результатом окремого операційного циклу роботи наукового приладу, цільової системи спостереження чи відображення, або суперкомп’ютера і характеризуються розміром від десятків Мб до десятків Гб. У багатьох областях людської діяльності вони є основним елементом сучасного середовища аналітичних досліджень.

Великі об’єкти даних – це найчастіше структурована колекція метаданих, що включає посилання на первинні дані. Метадані звичайно описують характеристики екземплярів об’єктів, забезпечують інформацію про методи доступу, керують доступом до інформації і т.д. Вони часто також вміщують похідні дані, що забезпечують, наприклад, візуальну інтерпретацію первинних даних.

Управління засобами масового збереження первинних даних здійснюється за рахунок виконання віддалених програм на Web-серверах. Для подальшого використання екземпляри об’єктів даних можуть бути перенесені до локальних дисків для доступу користувачів, за звичай, за допомогою Web-оглядачів, або вміщені до високопродуктивного кешу для доступу спеціалізованих додатків.

Характерним є те, що багато які із систем, що генерують такі об’єкти даних, використовуються різнорідним і географічно розподіленим співтовариством: у науці, приміром, це прискорювачі і системи різноманітних детекторів — приладів, що “фотографують” зіткнення; великі телескопічні системи; великі електронні мікроскопи; могутні джерела рентгенівського випромінювання тощо. Подібні комплекси спостереження і візуалізації, так само як і системи, що реєструють, існують також у галузі охорони здоров’я, входять до складу різноманітних систем моніторингу й т. ін. Важливість забезпечення і керування розподіленим доступом до систем збереження даних подібних об’єктів складається також у тому, що інфраструктури контрольно-вимірювальних лабораторій, лікарень, служб моніторингу тощо, часто є не кращим місцем для обслуговування великомасштабних цифрових систем збереження. Такі системи можуть одержати від GRID-технологій значну економію в масштабі у функціональному значенні, а легко доступна високопродуктивна мережа може забезпечити незалежність таких систем від місця розташування.   

У будь-якій прикладній області, де дані генеруються у великих обсягах і з високою продуктивністю, і, особливо в розподіленому середовищі, де системи, що генерують дані, просторово відділені від систем, що здійснюють каталогізацію чи використання даних, є кілька важливих вимог для керування даними, що генеруються інструментальними системами:

-  автоматичне породження хоча би мінімальних метаданих;

- автоматична каталогізація даних і метаданих негайно після отримання даних (чи наскільки це є можливо наближеним до реального часу);

- прозоре керування зовнішніми системами збереження, де заархівовані оригінальні (первинні) дані;

- допомога в проведенні кооперативних досліджень шляхом надання зазначеним локальним і віддаленим користувачам як негайного, так і довгострокового доступу до даних;

- включення даних в інші бази даних чи документи.

GRID додатків

Grid-додатки відрізняються від звичайних мережевих додатків більшим спрямуванням на бізнес-цілі та потужнішою наукомісткістю рішень. В якості класичного прикладу GRID-додатку можна розглядати Semantic Grid, що мав би відтворювати бізнес-процес отримання нових знань “Дані –> Інформація  –> Знання” у будь-якому проблемно-орієнтованому середовищі.

Grid-технології у даний час розглядаються чи вже розгорнуті для численних додатків, включаючи:

- додатки для фармацевтичних компаній, що аналізують складні послідовності ДНК для розробки високоефективних і більш безпечних ліків;

- додатки для виробників автомобілів, що моделюють автомобільні аварії, оптимізують час виконання проекту й удосконалюють безпеку автомобілів;

- додатки для проектування літаків, що оптимізують аеродинамічні характеристики дизайну, в особливості, форму крила;

- додатки для фінансового, страхового ринку і ринку нерухомості, що виконують сценарії для портфелів клієнта при кожному ринковому коливанні, вирішують задачі керування ризиками;

- додатки для енергетичних компаній, що оптимізують рішення для планувальників параметрів передачі й розподілу електроенергії в електричних мережах;

- додатки для нафтових компаній, що аналізують величезну кількість геологічних даних, щоб визначити найперспективніші місця буріння і т. ін.

Особливу цінність здобувають такі додатки за необхідності аналізу критичних даних у реальному часі (EnFuzion компании Аxceleon). Повідомляється про збільшення швидкодії окремих аналітичних додатків у результаті додавання до них GRID-шару в 10000 разів.

Напрямки використання GRID

Серед основних напрямків використання GRID у науковій сфері на даний момент виділяють:

- розподілені суперобчислення, рішення дуже великих задач, що вимагають величезних процесорних ресурсів, пам’яті тощо;

- потужні обчислення (High-Throughput Computing), що дозволяють організувати ефективне використання ресурсів для невеликих задач, використовуючи комп’ютерні ресурси, що звільнюються та тимчасово простоюють;

- обчислення “за вимогою” (On-Demand Computing), великі разові розрахунки;

- обчислення із залученням великих обсягів розподілених даних (Data-Intensive Computing), наприклад, у метеорології, астрономії, фізиці високих енергій;

- колективні обчислення (Collaborative Computing).

Перший напрямок застосування GRID – запуск традиційних, але ресурсномістких програм і додатків на адекватних обчислювальних потужностях. Уже перші спроби використання для цих цілей традиційних мережевих технологій показали високій ступінь впливу інфраструктури на можливості реалізації концепції високопродуктивних розподілених обчислень.

Другий напрямок застосування – виконання паралельних програм на процесорах, встановлених в окремі комп’ютери. Обмін даними між процесорами забезпечується не спеціально розробленими каналами зв’язку, як у суперкомп’ютерних архітектурах, а локальними і глобальними мережами серійного і, завдяки цьому, не такого вартісного устаткування. Підтримка розподілених паралельних процесів є головною рисою, що відрізняє технології метакомп’ютингу від звичайних сьогодні клієнт-серверних обчислень, де виклики процедур відбуваються за синхронним принципом. Такий напрямок застосування здається найцікавішим тому, що дозволяє отримати еквівалентні обчислювальні потужності без мільйонних вкладень у суперкомп’ютери.

Зусилля багатьох дослідників в області розподілених обчислень спрямовані на те, щоб довести можливість ефективної роботи паралельних додатків в умовах ненадійних мереж групового використання.

Проблема, однак, полягає не тільки в мережах. Основною проблемою залишається створення паралельних програм. З появою таких інструментальних засобів як PVM, адаптованої для GRID та повної версій MPI для різнорідних обчислювальних платформ, паралельних версій мов С і Fortran, ситуація покращилася, проте розробка і налагодження програм з паралельними процесами все ще надзвичайно ускладнена. Це й є ще однією з перешкод розширення сфери застосування метакомп’ютерних мережевих обчислень.

Іншим фактором, що стримує розвиток метаобчислень, вважають відсутність технологій програмування, позбавлених властивостей відтворення інформаційного шуму. Один з підходів вирішення цієї проблеми пропонує принципи і способи формування в ресурсах мережі єдиного, математично однорідного поля комп’ютерної інформації. Він спрямований на випереджуюче створення засобів програмування глобально-розподілених обчислень й інформаційно-обчислювальних систем масового використання.

Зараз у багатьох великих університетських центрах Америки, Європи й Азії ведуться роботи зі створення інфраструктур із застосуванням GRID-технологій.

Так, нещодавно було повідомлено про оголошення Міністерством освіти Китаю про відкриття спільного з IBM проекту на підтримку створення інфраструктури метаобчислень, що поєднає понад 200 тис. персональних комп’ютерів у 100 Університетах країни. Стрімкий розвиток досліджень у галузі GRID-обчис-лень вже дозволяє вести мову про третю генерацію подібних систем.

До третього покоління відноситься нинішня версія проекту Globus, що є розвитком одного з перших проектів у цій області I-WAY. Це – географічно розподілена обчислювальна мережа. Центральним елементом проекту є інструментарій класу middleware Globus Toolkit™. Його остання версія – GT3 – є першою повномасштабною реалізацією нової специфікації Open Grid Services Architecture (OGSA), у визначенні якої розробник інструментарію Globus Alliance зіграв чималу роль.

Ще один приклад – проект Legion, побудований як об’єктно-орієнтована метасистема, що дозволяє користувачам зі своїх робочих станцій одержувати доступ до інтегрованої інфраструктури незалежно від масштабу, фізичного розташування, мови й операційних систем. Проект Legion був представлений широкому науковому загалу ще у 1997 р. У 1998 р. була створена компанія Applied Metacomputing (з 2001 р. – Avaki), що почала комерційну експлуатацію ідей GRID-обчислень, зараз вона займає одне з перших місць у цьому секторі.

На відміну від наукових Grid-обчислень, для бізнес-структур потужність комп’ютеру або систем збереження не є головною вимогою. У світі бізнесу скоріше матимуть місце такі вимоги до ІТ-інфраструктури, що ведуть до застосування Grid-технологій:

- ефективне використання існуючих ресурсів. Так, за даними МЕТА Group у 2002 р. ефективність використання UNIX та Windows-серверів не перевищувала 25 % протягом 24 годин;

- оптимальне та автоматизоване управління обчислювальним центром. Масштабування ресурсів шляхом збільшення кількості виділених серверів, підключення нових пристроїв і т. ін. збільшує навантаження на персонал, що веде до збільшення накладних витрат і, можливо, зниження якості обслуговування;

- управління відповідністю угодам про рівень послуг (service level agreement – SLA) та якість послуг, що надаються (quality of service — QoS);

- прискорення відновлення даних у разі скоєння лиха;

- поліпшення безперервної діяльності.

Найпершими кандидатами до застосування Grid-технологій у бізнес-сфері можна вважати наступні:

- і ндустріальний сектор наук про життя (геноміка, біоінформатика, протеоміка, обчислювальна хімія) – прискорення аналізу та поліпшення доступу до експериментальних даних шляхом забезпечення уніфікованого доступу до колекцій даних нестандартних форматів для винаходу нових та дослідження існуючих структур;

- ф інансовий сектор – бізнес-аналітика й оптимізація використання ІТ-інфраструктури. Перше рішення допоможе розширити конкурентноздатність і збільшити активність компанії на фінансовому вторинному ринку, прискорюючи аналіз торгової діяльності і збільшуючи продуктивність обчислень. Друге – допоможе клієнтам експлуатувати доступні, недозавантажені обчислювальні ресурси і пристрої збереження. Іншими застосуваннями можуть бути рішення в сфері управління ризиками та розподілу активів;

- а втомобільна та аерокосмічна промисловість – прискорення розробки нових видів продукції за рахунок управління витратами в реальному часі та оптимізації інвестицій у розробку в існуючій інфраструктурі, підтримка співпраці під час розробки;

- урядування – прискорення доступу до інформаційних ресурсів, максимальне використання існуючих інформаційних ресурсів, добування даних та зіставлення даних, що походять з різних джерел з метою поліпшення прогнозування та упереджуючого реагування на негативні обставини.