Лекция 6. Подтверждение и тестирование информационно – технологических сервисов

 

Понятия подтверждения и тестирования услуг. Понятие и содержание стратегии тестирования. Примеры моделей тестирования.

Подходы к тестированию. Деятельность в рамках тестирования.

Подтверждение(Validation) -деятельность, которая гарантирует, что новая или измененная услуга, процесс, план или другой результат отвечает нуждам бизнеса. Подтверждение гарантирует, что требования бизнеса удовлетворены, даже если они могли измениться по отношению к исходному результату проектирования.

Подтверждение и тестирование услуг (Service Validation and Testing) - процесс, ответственный за подтверждение и тестирование новой или измененной услуги. Подтверждение и тестирование услуг удостоверяет, что услуга соответствует ее спецификации проектирования и будет отвечать потребностям бизнеса.

Если не протестировать услуги корректно, при их передаче в промышленную эксплуатацию вырастет количество:

· инцидентов, связанных со сбоями элементов услуг и несовпадениями между прогнозами и практикой;

· количество звонков и обращений в сервис-деск, вызванных тем, что услуги не функционируют должным образом;

· проблем и ошибок, которые труднее диагностировать в процессе эксплуатации;

· издержек, так как ошибки сложнее и дороже исправлять в процессе эксплуатации, чем в процессе тестирования;

· услуг, которые не могут использоваться эффективно пользователями и предоставлять им желаемую ценность.

Основные цели процесса Подтверждения и тестирования услуг:

· планирование и последующая реализация процессов тестирования и подтверждения, которые представят объективные доказательства того, что услуги предоставляют заявленную ценность заказчикам, пользователям и инвесторам;

· оценка качества релиза и его компонентов;

· идентификация, оценка и улаживание проблем, ошибок и рисков в процессе Внедрения.

Таким образом, Подтверждение и тестирование услуг позволяет удостовериться, что услуга сможет предоставлять ценность заказчикам и их бизнесу.

Услуга определяется пакетом услуг, который может состоять из нескольких пакетов уровней услуг (SLP) и компонентов, которые в свою очередь также могут быть услугами, например, поддерживающими. SLP определяет уровень полезности и качества, которые должны предоставлять услуги, и является основным входом процесса Подтверждения и тестирования услуг. Дизайн (проект) услуги зависит от того, где и как она будет использоваться. Атрибуты услуги характеризуют ее форму и функциональность в контексте перспективы использования. Таким образом, SLP определяет совокупность требований к услугам, а также набор ограничений для их использования. Процесс Подтверждения и тестирования услуг должен определить возможности устранения ограничений, определенных на этапе Проектирования, и проверить их корректность.

Прежде чем начинать тестирование, необходимо сформировать стратегию тестирования. Стратегия тестирования определяет подход к организации тестирования и обработке его результатов. Она может применяться ко всей организации, набору услуг или отдельной услуге. Каждая стратегия должна согласовываться с инвесторами, так как они выделяют деньги на ее реализацию.

Содержание стратегии тестирования:

· цели и задачи тестирования;

· контекст;

· стандарты, требования законов и регуляторов;

· контракты и соглашения;

· охват и организация:

o команды поставщика услуг;

o организация тестирования;

o третьи стороны, стратегические партнеры, поставщики;

o бизнес-единицы и их месторасположение;

o пользователи и заказчики.

· процесс тестирования:

o управление и контроль тестированием - запись, мониторинг прогресса, ведение отчетности;

o планирование и оценка тестирования;

o действия в рамках тестирования - планирование, реализация и документирование тестов и их результатов.

· метрики тестирования и улучшения

· идентификация объектов тестирования:

o пакет услуг;

o пакет уровня услуг;

o модель услуг, отображающая структуру и динамику развития услуг;

· план эксплуатации услуг;

· планы сервис-менеджмента:

o критические элементы, на которых необходимо сконцентрировать тестирование;

o месторасположение бизнес-единиц, на которых будет осуществляться тестирование.

· интерфейсы поставщика услуг;

· подход:

o выбранная модель тестирования;

o уровни тестирования;

o подходы к тестированию;

o степень независимости реализации, оценки и анализа тестирования;

o повторное использование - опыт, практика, знания и результаты тестирований в прошлом;

o распределение по времени;

o разработка и повторное использование проектов, инструментов, сценариев и данных для тестирования;

o контроль изменений и исправление ошибок;

o система измерения.

· критерии:

o приема/отклонения;

o входа и выхода для каждой стадии тестирования;

o остановки или повторного запуска тестирования.

· требования к людям:

o роли и ответственности;

o составление расписания тренингов для персонала;

o требования к степени вовлеченности заинтересованных лиц - поставщиков услуг, поставщиков, заказчиков, пользователей.

· требования к среде:

o среды тестирования, которые будут использованы, их расположение, организация и техническое оснащение;

o требования к каждой среде тестирования;

o планирование и ввод в эксплуатацию сред тестирования.

· результаты:

o обязательная и опциональная документация;

o планы тестирования;

o спецификации тестирования - процедуры, проект, обоснование тестирования;

o результаты тестирования и отчеты;

o проверка отчетов;

o суммарные отчеты по тестированию.

Модель тестирования включает в себя план тестирования, то, что должно быть протестировано и сценарий тестирования каждого элемента. Сценарии тестирования определяют условия тестирования, цикл тестирования и результаты, которые должны быть получены.

Таблица 1 - Примеры моделей тестирования
Модель тестирования	Результат/цель тестирования	Условия, на которых основано тестирование
Тестирование контрактов	Заказчик может использовать услугу с целью получения ценности	Требования контрактов
Модель тестирования требований к услугам	Поставщик услуг может предоставлять услугу с характеристиками, которые требует заказчик	Требования к услугам и Критерии приемки услуг
Модель тестирования уровня услуг	Поставщик услуг предоставляет услугу с заданным уровнем услуг, то есть тестирование времени ответа и исправления ошибок, доступности, вспомогательных услуг	Требования уровня услуг, SLA, OLA
Модель тестирования услуги	Поставщик услуг способен предоставлять, сопровождать и управлять новой или измененной услугой с использованием модели услуг, включающей в себя модель ресурсов, модель затрат, модель прогресса, модель мощностей и производительности и т.п.	Модель услуг
Модель тестирования инсталляции	Команда развертывания, инструменты и процедуры могут инсталлировать пакет релизов в целевую среду в заданных временных рамках	Проект и план релизов и развертывания
Модель тестирования верификации развертывания	Развертывание завершено успешно, все услуги и конфигурации "на своих местах" и соответствуют критериям качества	Тесты и проверки текущего состояния активов и конфигураций

Существует множество подходов к тестированию. Они могут комбинироваться или использоваться по отдельности в зависимости от того, что конкретно тестируется. Например:

· обзор документации;

· моделирование и измерение - подходит для тестирования модели услуг и плана эксплуатации;

· подход, основанный на рисках - концентрируется на областях повышенного риска, например, критичных для бизнеса услугах;

· подход, основанный на проверке соответствия стандартам;

· подход, основанный на опыте - использование экспертов в конкретной области для руководства тестированием;

· симуляция;

· тестирование по сценариям;

· разыгрывание ролей;

· макетирование;

· тестирование в лабораторных условиях;

· регрессивное тестирование;

· пилотирование в отдельном помещении;

· пилотирование в среде промышленной эксплуатации.

Чтобы оптимизировать использование ресурсов в рамках тестирования, необходимо расставить приоритеты тестирования в зависимости от значимости услуги для бизнеса, влияния услуги и рисков, ассоциированных с ней.

Существуют разные типы тестирования. Рассмотрим некоторые из них:

· тестирование структуры услуги и требований к ней. Проверка атрибутов услуг в контексте контрактов, компонентов услуг и поддерживающих ее активов на совместимость;

· тестирование гарантии. Как уже говорилось в предыдущих лекциях, пользователи видят и измеряют ценность услуги в двух составляющих - гарантии и полезности. При этом для каждой услуги определяются четкие показатели гарантии. Эта четкость позволяет провести тестирование гарантии или того, что услуга подходит для использования. В рамках тестирования гарантии могут проводиться:

o тестирование доступности;

o тестирование мощности;

o тестирование непрерывности;

o тестирование безопасности.

· тестирование простоты использования услуги используется, как правило, для организации работы потенциальных пользователей услуги с ограниченными возможностями, например, глухонемых или дальтоников;

· тестирование соответствия контрактам и требованиям регуляторов. Тестирование проверяет, что все критерии контрактов и требования регуляторов выполнены и удовлетворены;

· тестирование Управления услугами - тестирование процессов в рамках Управления услугами;

· операционное тестирование - включает в себя множество тестов, зависящих от типа услуги. Типичные тесты включают:

o нагрузочные тесты и стресс-тесты - проверяют способность услуги работать на требуемом уровне на доступных мощностях. В качестве мощностей может рассматриваться полоса пропускания сети, ресурсы сервис-деска, доступные лицензии, мощность процессора, доступная память и т.п.;

o тестирование безопасности - все услуги должны быть рассмотрены со стороны их влияния на аспекты безопасности организации;

o тестирование восстанавливаемости - тестирование плана восстановления, который должен быть разработан для каждой услуги.

· регрессивное тестирование - такое тестирование повторяет успешные тесты и сравнивает вновь полученные значения с предыдущими. Оно позволяет протестировать услуги и их компоненты, которые раньше работали без сбоев и ошибок.

Основные деятельности в рамках тестирования схематически показаны на Рисунок 1.

 

Рисунок 1. Деятельности в рамках тестирования

Не все деятельности в рамках тестирования выполняются последовательно, многие могут выполняться параллельно.

1. Управление тестированием. Управление тестированием включает в себя следующие действия:

o планирование ресурсов для тестирования;

o распределение что и когда должно тестироваться;

o управление инцидентами, ошибками, проблемами, рисками;

o проверка того, что известные ошибки и документация обработаны;

o отслеживание прогресса и сбор данных от обратной связи с различными этапами тестирования;

o осуществление незначительных изменений для уменьшения ошибок в промышленной эксплуатации;

o фиксация базового состояния конфигураций;

o тестирование набора метрик, анализ, ведение отчетности и управление.

Метрики тестирования используются для оценки деятельностей в рамках тестирования. Они позволяют персоналу, ответственному за тестирование, контролировать прогресс и успешность тестирования.

2. Планирование и проектирование тестирования

Планирование и проектирование тестирования рассматривает следующие вопросы:

o обеспечение ресурсами;

o программное, аппаратное обеспечение, персонал и другие мощности;

o необходимые ресурсы со стороны бизнеса/заказчиков;

o поддерживающие услуги;

o определение дат контрольных точек;

o согласованное время предоставления результатов тестирования;

o точка и время приемки;

o финансовые требования.

3. Проверка плана и проекта тестирования контролирует то, что:

o модель тестирования предоставляет адекватные и подходящие тесты, покрывающие все риски, связанные с услугой;

o модель тестирования покрывает все ключевые аспекты интеграции и интерфейсов;

o сценарии тестирования точные и завершенные.

4. Подготовка среды тестирования, в том числе фиксирование базового состояния для начала тестирования.

5. Осуществление тестирования - проведение тестов с использованием ручных или автоматизированных процедур. Если тестирование провалилось, причины должны быть документированы. Тестирование должно проводиться в соответствии с принятыми планами и стратегиями тестирования.

6. Достижение критериев выхода и формирование отчета

Результаты тестирования должны быть сравнены с прогнозируемыми. Они могут быть интерпретированы в терминах "прием/отклонение" тестирования; рисков для бизнеса или поставщика; изменении спроектированной ценности, вызванное увеличением издержек или уменьшением выгоды от использования услуги. По результатам тестирования формируется итоговый отчет.

7. завершение тестирования.

Входами процесса Подтверждения и тестирования услуг являются:

· пакет услуг;

· Пакет уровня услуг (SLP);

· интерфейсы поставщика услуг;

· проектная документация (SDP);

· планы релизов и развертывания;

· критерии приемки;

· Запросы на изменения.

Основными выходами процесса Подтверждения и тестирования услуг являются:

· формирование базового состояния конфигураций для проведения тестирования;

· осуществляемые тесты;

· результаты этих тестов;

· анализ результатов - сравнение реальных и прогнозируемых данных, анализ выявленных в ходе тестирования рисков.

Ключевые показатели производительности процесса Подтверждения и тестирования услуг:

1. первостепенные показатели отражают ценность для бизнеса и заказчиков:

o раннее подтверждение того, что услуга сможет предоставлять предсказанную ценность;

o уменьшение негативного влияния ошибок и инцидентов в промышленной эксплуатации;

o более эффективное использование ресурсов;

o уменьшение задержек в тестировании, которые влияют негативно на бизнес;

o улучшение понимания новой или измененной услуги;

o четкое понимание ролей и ответственностей, относящихся к новой или измененной услуге;

o затраты и ресурсы, необходимые от пользователей и заказчиков.

2. второстепенные показатели - внутренние по отношению к поставщику услуг. Эти показатели отражают эффективность и результативность тестирования:

o объем работ и стоимость настройки среды тестирования;

o объем работ для нахождения дефектов;

o уменьшение повторяющихся ошибок - достигается за счет обратной связи тестирования с проектированием и внедрением. Благодаря анализу результатов тестирования ошибки исключаются из будущих релизов;

o уменьшение количества ошибок/дефектов на поздних стадиях тестирования и в процессе производства;

o повторное использование данных тестирований;

o количество ошибок на каждой стадии жизненного цикла;

o количество и процентное соотношение ошибок, которые были обнаружены в ходе тестирования;

o инциденты, найденные в ходе тестирования, как процент от общего количества инцидентов, произошедших в ходе эксплуатации;

o количество известных ошибок, задокументированных на ранних стадиях тестирования.