Типи грід-систем з точки зору вирішуваних завдань

 

Аналізуючи існуючі проекти з побудови грід-систем можна зробити висновок про три напрямки розвитку грід-технології:

1. обчислювальний грід (Computational Grid),

2. грід для інтенсивної обробки даних (Data Grid),

3. семантичний Грід для оперування даними з різних баз даних (Semantic Grid).

Метою першого напряму є досягнення максимальної швидкості обчислень за рахунок глобального розподілу цих обчислень між тисячами комп'ютерів, а також, можливо, серверами і суперкомпьютерами.

Метою другого напрямку є обробка величезних обсягів даних щодо нескладними програмами. Тому обчислювальні ресурси грід-інфраструктури в цьому випадку найчастіше представляють собою кластери персональних комп'ютерів. А ось доставка даних для обробки і пересилання результатів в цьому випадку є досить складне завдання. Одним з найбільших проектів, метою якого є створення грід-системи для обробки наукових даних, є проект EGEE (Enabling Grids for E-sciencE) [3]. Про нього ми будемо докладно розповідати в частині 3 і в контексті цієї розповіді обговоримо питання, пов'язані зі зберіганням і (своєчасної) передачею великих обсягів даних.

Грід-системи третього напряму - семантичні - надають інфраструктуру для виконання обчислювальних задач на основі розподіленого мета-інформаційного оточення, що дозволяє оперувати даними з різнотипних баз, різних форматів, представляючи результат у форматі, визначеному додатком. У цьому огляді ми зовсім будемо засуджувати цей тип грід-систем і просто відсилаємо читача до відповідного веб-сайту [4].

 

Взаємодія підсистеми управління завантаженням з іншими грід-службами

 

Реєстраційна і облікова інформація щодо подій, згенерованих різними компонентами WMS зберігається в підсистемі протоколювання. Користувач може дізнаватися про станах його завдання, запитуючи цю підсистему (за допомогою відповідних команд - за допомогою інтерфейсу користувача). Крім активних запитів про стан завдання, користувач може також зареєструватися для того, щоб отримувати повідомлення про зміни в стані завдань (наприклад, про закінчення виконання завдання).

Крім того, при підборі ресурсів Брокер ресурсів взаємодіє з каталогами підсистеми управління даними, щоб знайти місця розташування файлів, зазначених у списку вхідних даних JDL-файлу. Це необхідно, щоб спрямоване в грід завдання по можливості виконувалося на робочого вузлі, близькому до використовуваних файлів.

WMS також взаємодіє з підсистемою безпеки і контролю прав, щоб правильно ідентифікувати користувача і надати відповідний доступ до ресурсів гріда.

Нарешті (але не в останню чергу) WMS взаємодіє з обчислювальною

елементами (CE) ресурсних центрів для того, щоб направити завдання на виконання, і для того, щоб отримувати повідомлення про стан ресурсів і їх характеристиках. Спрощена схема WMS і її взаємодії з іншими підсистемами представлена на рис.

Рис. Спрощена схема підсистеми управління завантаженням і її взаємодії з іншими компонентами гріда

 

Обчислювальний елемент

 

Обчислювальний елемент (Computing Element, CE) це служба, що представляє обчислювальні ресурси даного сайту (Ресурсного центру) гріда і виконує на ньому функції управління завданнями (запуск, видалення і т.д.). Звернення до CE виходять або безпосередньо від інтерфейсу користувача, або від менеджера завантаження, який розподіляє завдання по безлічі CE. Взагалі кажучи, CE може працювати як у відповідність з моделлю «нетерплячого планування» (push-модель), коли менеджер завантаження самостійно приймає рішення про посилку завдання на CE, так і в режимі «ледачого планування» (pull-модель), коли CE запитує завдання у WMS. Обидві стратегії планування мають свої переваги і недоліки. Вибір тієї чи іншої стратегії або їх комбінації залежить від призначення і характеристик роботи (зокрема, інтенсивності запуску завдань, числа ресурсних центрів тощо) грід-системи.

Крім того, CE містить компоненти, які є інтерфейсом між високорівневим менеджером ресурсів і локальною системою управління обчислювальними ресурсами грід-сайту (прикладами таких систем є PBS (Portable Batch System) [5], LSF (Load Sharing Facility) [6] або fork - найпростіше стандартна програма запуску процесів в UNIX / Linux). Ці компоненти виконують такі функції:

· виробляють взаємну аутентифікацію з клієнтом;

· аналізують запит (зроблений на мові опису завдань);

· відображає клієнтський запит на обліковий запис деякого локального (формального) користувача, права якого відповідають локальній політиці ресурсного центру та прав грід- користувача, що запустив завдання;

· запускають завдання та виробляють його подальший моніторинг, повідомляючи клієнту про помилки, завершення завдання та інші події.

Крім функцій управління завданнями CE також поставляє інформацію про стан ресурсів. У push-моделі її публікує інформаційна служба, і вона використовується WMS для вибору CE, на якому буде запускатися завдання. У pull-моделі ця інформація пересилається WMS в повідомленні, головним змістом якого є: "CE доступний і готовий прийняти нове завдання".