Средний уровень «Настройка CI/CD и работа проектной командой».

Студенты получают на вход полуразобранную структуру CI/CD, тестовое задание. Их задача реализовать простейшую доработку программного обеспечения, донастройку контура Ci/CD и запустить полный цикл разработки.

Порядок:

1. Распределение ролей между студентами: постановщик задач, разработчик, DevOps – инженер.

2. Уяснение задачи, проблем, цели, сроков.

3. Актуализация состояния разработки, контура CI/CD, выявление проблем, постановка задач, старт работы.

4. Восстановление работоспособности Ci/CD – разработка скриптов, тестовые запуски компиляции ПО.

5. Простая доработка ПО и вывод их на продуктовый сервер.

 

Сложный уровень

Студенты получают на вход виртуальные машину, IP адреса, описание конечной задачи и дистрибутивы CI/CD. Их задача, исходя из ограничений:

1. Разработать архитектуру решения

2. Установить ПО

3. Завести роли и настроить связи

4. Загрузить проект в Git

5. Настроить компиляцию и сборку и доставку до продуктового сервера.

 

ВОПРОСЫ, ЗАДАЧИ ДЛЯ СОГЛАСОВАНИЯ

В зависимости от уровня знаний студентов, числа практических занятий, нужно выбрать:

4. С каких тестовых заданий начинать?

5. Исходя из опыта подобрать с чем работать: с автономными приложениями, либо с платформенными приложениями?

6. Прогон и подбор заданий, что бы уложиться в «2 академических часа».

 

Практики и инструменты мониторинга больших систем

Описание курса

Цель курса:

Обеспечить базовыми знаниями принципов построения систем мониторинга для более точного понимания текущего состояния систем и своевременного реагирования на инциденты.

По окончании курса обучающийся научится:

· строить сложные эффективные системы мониторинга и логирования инфраструктуры и приложений;

· следить за работой большого количества серверов и работать в связке Zabbix, Prometheus и Grafana;

· обеспечивать визуализацию метрик и настраивать оповещения о критически важных событиях.

 

Предоставляемые сконфигурируемые программные средства

3. Виртуальные машины (3 штуки с собранным комплексом CI/СD на Линукс).

4. Микросервисное приложение: «Service Desk» с готовым комплексом CI/CD (GitLab, Jenkins), системой сборки логов LogStach, мониторинга Graphana, Prometeus.

5. Дополнительно настроенные ПО для работы Elastik Search.

Структура курса

Модуль 1. Мониторинг и алертинг

1. Задачи мониторинга и алертинга.

2. Модели мониторинга – RED (Requests, Errors, D uration).

3. USE (Utilization, Saturation, Errors).

4. Принципы работы систем мониторинга. Паттерны и антипаттерны.

 

Модуль 2. Zabbix

1. Установка и конфигурация.

2. Мониторинг порталов и баз данных.

3. Discovery Trapper. Настройка алертинга.

4. Графики и комплексные экраны.

 

Модуль 3. Экосистема мониторинга микросервисных платформ

1. Prometheus экспортеры.

2. Prometheus Alerting.

3. Grafana как универсальный инструмент визуализации.

4. Grafana формирование дашбордов.

5. Alertmanager. Node exporter.

 

Модуль 4. Агрегация логов

1. ELK/EFK Stack. Elasticsearch в качестве хранилища данных.

2. Kibana как инструмент визуализации и аналитики.

3. Filebeat и Logstash как конвейеры преобразования и передачи логов. Graylog.

4. Концепция «observability».

Инструменты

Zabbix  - система мониторинга и отслеживания статусов разнообразных сервисов компьютерной сети, серверов и сетевого оборудования. Состоит из сервера и агентов, устанавливаемых на отслеживаемые узлы. Веб-интерфейс сервера позволяет агрегировать и визуализировать различные метрики. (рис. 3.1)

 

Рисунок 13

 

Экосистема мониторинга микросервисных платформ:

1. Prometheus – сервер сбора и обработки метрик. Time-Series Database.

2. Grafana – инструмент визуализации метрик.

3. Alertmanager – управление оповещениями.

4. Node exporter – сборщик системных метрик с узлов.

 

Рисунок 14

 

Рисунок 15

Агрегация логов:

a. ELK/EFK Stack:

i. Elasticsearch в качестве хранилища данных.

ii. Kibana как инструмент визуализации и аналитики.

iii. Filebeat и Logstash как конвейеры преобразования и передачи логов.

Рисунок 16

 

Graylog – альтернативное решение all-in-one.

Рисунок 17

Концепция «observability»: - объединение данных мониторинга и логов приложения на единую «витрину данных». Пример – инструмент Loki.

 

 

Примеры задач

· Развертывание и настройка окружения мониторинга микросервисной среды. Работа в масштабируемых системах, Service Discovery.

· Построение мониторинга распределенного приложения. Системные метрики и бизнес-метрики.

· Агрегация и визуализация данных мониторинга (суммы, среднее, перцентили, построение графиков и диаграмм).

· Интеграция exporter-ов в приложение для экспорта специфичных метрик. Whitebox и Blackbox мониторинг

· Написание правил и политик алертов/реагирования на инциденты.

· Развертывание системы агрегации логов многокомпонентной системы. Структурирование логов, преобразование форматов, фильтры. Написание запросов для аналитических выборок.

 

ВОПРОСЫ, ЗАДАЧИ ДЛЯ СОГЛАСОВАНИЯ

В зависимости от уровня знаний студентов, числа практических занятий, нужно выбрать:

1. С каких тестовых заданий начинать?

2. А студентам выше читался стек технологий, или вообще не известнго ничего?

3. Прогон и подбор заданий, что бы уложиться в «2 академических часа».

4. Какая инфраструктура есть и что нужно?