Розділ 4 Особливості індустріального тестування

Тема 4.1 Оцінка якості тестування

Завдання: законспектувати тему до зошита у вигляді відповідей на контрольні запитання, що містяться в кінці теми.

 

Тести мають потребу в контролі якості так само, як і продукт, що тестується. Оскільки тести для продукту є свого роду еталоном його структурних і поведінкових характеристик, закономірне питання про те, наскільки адекватний еталон. Для оцінки якості тестів використаються різні методи, найбільш популярні з яких коротко розглянуті нижче.

Тестові метрики

Існує устояний набір тестових метрик, що допомагає визначити ефективність тестування й поточний стан продукту. До таких метрик відносяться наступні:

1)Покриття функціональних вимог.

2) Покриття коду продукту. Найбільш застосовно для модульного рівня тестування.

3)Покриття безлічі сценаріїв.

4) Кількість або щільність знайдених дефектів. Поточна кількість дефектів порівнюється із середнім для даного типу продуктів з метою встановити, чи перебуває воно в межах припустимого статистичного відхилення. При цьому виявлені відхилення як у більшу, так і в меншу сторону приводять до аналізу причин їхньої появи й, якщо необхідно, до вироблення коригувальних дій.

5)Співвідношення кількості знайдених дефектів з кількістю тестів на дану функцію продукту. Сильна розбіжність цих двох величин говорить або про неефективність тестів (коли велика кількість тестів знаходить мало дефектів) або про погану якість даної ділянки коду (коли знайдена велика кількість дефектів на не дуже великій кількості тестів).

6) Кількість знайдених дефектів, співвіднесена за часом, або швидкість пошуку дефектів. Якщо похідна такої функції близька до нуля, то продукт має якість, достатню для закінчення тестування й поставки замовникові.

Огляди тестів і стратегії

Тестовий код і стратегія тестування, зафіксовані у вигляді документів, помітно поліпшуються, якщо піддаються колективному обговоренню. Такі обговорення називаються оглядами (review). Існує прийнята в організації процедура проведення й оцінки результатів огляду. Огляди поряд з тестуванням утворюють потужний набір методів боротьби з помилками з метою підвищення якості продукту. Цілі оглядів тестової стратегії й тестового коду різні.

Цілі огляду тестової стратегії:

1)Встановити достатність перевірок, забезпечуваних тестуванням.

2)Проаналізувати оптимальність покриття або адекватність розподілу кількості планованих тестів по функціональності продукту.

3)Проаналізувати оптимальність підходу до розробки коду, генерації коду, автоматизації тестування.

Цілі огляду тестового коду:

1)Встановити відповідність тестового набору тестової стратегії.

2)Перевірити правильність кодування тестів.

3)Оцінити досягнутий ступінь якості коду, виходячи з вимог по стандартах, простоті підтримки, наявності коментарів і т.п.

4)Якщо необхідно, проаналізувати оптимальність тестового коду з метою задоволення вимог до швидкодії й обсягу.

Оцінка відтестованості проекту: метрики й методика інтегральної оцінки

Тестування програми Р за деяким критерієм С означає покриття множини компонентів програми P М = {m1...mk} по елементах або по зв'язках

T = {t1...tn} - кортеж ненадлишкових тестів ti.

Тест ti ненадлишковий, якщо існує покритий ним компонент mi з M(P,C), не покритий жодним з попередніх тестів t1...ti-1. Кожному ti відповідає ненадлишковий шлях pi - послідовність вершин від входу до виходу.

V(P,C) - складність тестування Р за критерієм С - виміряється max числом ненадлишкових тестів, що покривають всі елементи множини M(P,C)

DV(P,C,Т) - залишкова складність тестування Р за критерієм С - виміряється max числом ненадлишкових тестів, що покривають елементи множини M(P,C), що залишилися непокритими, після прогону набору тестів Т. Величина DV строго й монотонно убуває від V до 0.

TV(P,C,Т) = (V-DV)/V - оцінка ступеня тестованності Р за критерієм С.

Критерій закінчення тестування TV(P,C,Т) >= L, де (0 <= L <= 1). L - рівень відтестованості, заданий у вимогах до програмного продукту.

Розглянемо дві моделі програмного забезпечення, використовувані при оцінці відтестованості.

Для оцінки ступеня відтестованості часто використається КГП - керуючий граф програми. КГП багатокомпонентного об'єкта G (Мал. 4.1), містить всередині себе два компоненти G1 і G2, КГП яких розкриті. У результаті КГП компонента G має такий вид, як якби компоненти G1 і G2 у його структурі спеціально не виділялися, а КГП компонентів G1 і G2 минулого вставлені в КГП G. Для тестування компонента G відповідно до критерію шляхів буде потрібно прогнати тестовий набір, що покриває наступний набір трас графа G

P1(G) = 1-2-3-4-5-6-7-10;

P2(G) = 1-2-3-4-6-7-10;

P3(G) = 1-2-11-16-18-14-15-7-10;

P4(G) = 1-2-11-16-17-14-15-7-10;

P5(G) = 1-2-11-16-12-13-14-15-7-10;

P6(G) = 1-2-19-20-23-22-7-10;

P7(G) = 1-2-19-20-21-22-7-10;

Мал. 4.1. Плоска модель КГП компонента G

Методика інтегральної оцінки тестованості

1)Вибір критерію С и приймальної оцінки тестованості програмного проекту - L

2)Побудова дерева класів проекту й побудова КГП для кожного модуля

3)Модульне тестування й оцінка TV на модульному рівні

4)Побудова КГП, що інтегрує модулі в єдину ієрархічну (класову) модель проекту

4) Вибір тестових шляхів для проведення інтеграційного або системного тестування

5) Генерація тестів, що покривають тестові шляхи кроку 5

6) Інтегральна оцінка тестованності проекту з урахуванням оцінок тестованності модулів-компонентів

7) Повторення кроків 5-7 до досягнення заданого рівня тестованності L

 

Контрольні запитання:

1. За якими критеріями оцінюють якість тестів?
2. Дайте поняття та призначення тестових метрик.
3. Дайте поняття та призначені оглядів тестів та стратегій.
4. Як оцінити відтестованість проекту?
5. Як використовується КГП для оцінки відтестованості проекту?
6. Як виконати інтегральну оцінку тестованності?