з використанням метрик стандарту ISO/IEC 9126

Оберемо декілька характеристик та під характеристик для нашої моделі якості.

1. Функціональність (Functionality). Це набір можливостей (функцій), що надає дана система користувачу.

1) Функціональна повнота (Suitability).

Обхват функціонального виконання (Functional implementation coverage) – на скільки коректний обхват функціонального виконання. Для і повноцінної роботи системи, яка б задовольняла користувача, необхідно, щоб усі необхідні функції були реалізовані в повному обсязі.

Метод: зробити функціональні випробування (випробування чорного ящика) системи за відповідним технічним завданням. Перерахувати число неправильно здійснюваних або відсутніх функцій, що були виявлені в оцінці і порівняйте з повним числом функцій описаних в технічних завданнях Перерахувати число реалізованих функцій в порівнянні з тими, що не реалізовані.

X=1- A / B, де

A - кількість невірно реалізованих або відсутніх функцій, виявлених при виконанні,

B - кількість функцій, описаних у відповідному технічному завданні;

Чим ближче значення Х до 1, тим краще.

Кількість функцій, що були описані у відповідному технічному завданні В = 60, а кількість функцій, що не було реалізовано А = 6, тому Х = 1-6/60=0,9

 

2) Точність (Accuracy). Від точності обрахунків залежить повноцінність системи. Для системи АТ є дуже важливою точність обчислення, так як робота всього АТ базується на обрахунках і бухгалтерії.

Точність (Precision) - як часто кінцевий користувач стикається з недостатньою точністю.

Метод: записати кількість результатів з недостатньою точністю.

X=A / T, де

A – кількість результатів, отриманих користувачем, що не відповідають необхідній точності,

T – час функціонування;

Чим ближче значення Х до 0, тим краще.

Середнім часом функціонування обираємо Т = 2000хвилин (це час, який працівник повинен витрачати на роботу з нашою системою за тиждень), а кількість результатів, що не відповідають необхідній точності в середньому дорівнюватиме А = 7. Отже, точність нашої системи дорівнює

Х = 10/2000 = 0,005

 

 

 

 

3) Захищеність (Security). У базах АТ зберігається велика кількість фінансових даних про клієнтів. Ця інформація є конфіденційною, тому захищеність системи є серйозною властивістю.

Запобігання порушенню цілісності даних (Data corruption prevention) – з якою частотою відбувається порушення цілісності даних. Так як інформація, що зберігається на серверах системи є важливою (на ній тримається вся робота АТ), порушення цілісності даних може призвести до дуже складних наслідків, які надійніше було б передбачити, ніж виправити.

 

Метод: перерахувати випадки подій значного і незначного порушення цілісності даних.

 

 

a) X= 1 – A / N, де

A – кількість разів, коли відбувалися події значного порушення цілісності даних,

N – кількість випадків, коли подію порушення цілісності даних було викликано під час тестів;

Чим ближче значення Х до 1, тим краще.

Визначимо кількість разів, коли відбувалися події значного порушення цілісності даних А = 8, кількість випадків, коли подію порушення цілісності даних було викликано під час тестів Т = 10. Звідси, Х = 1-8/10 = 0,8

 

b) Y= 1- B / N, де

B – кількість разів, коли відбувалися події незначного порушення цілісності даних;

Чим ближче значення Х до 1, тим краще.

Визначимо кількість разів, коли відбувалися події значного порушення цілісності даних А = 8, кількість випадків, коли подію порушення цілісності даних було викликано під час тестів Т = 10. Звідси, Х = 1-8/10 = 0,8

 

 

c) Z= A / T or B / T, де

T - період операційного часу (протягом операційного випробування)

Чим ближче значення Х до 0, тим краще.

Припустимо, що операційне випробування проходить протягом Т = 2000, тоді Z = 8/2000 = 0,004.

 

2. Надійність (Reliability). Ця характеристика передбачає, що програмний продукт має властивість зберігати у часі в установлених межах значення всіх параметрів, які характеризують здатність виконувати потрібні функції в заданих режимах та умовах застосування та технічного обслуговування.

1) Завершеність (Maturity)

Вирішення проблем (Failure resolution) – скільки проблем вирішено.

 

Метод застосування: підрахуйте кількість відмов, які не повторюються протягом певного періоду в аналогічних умовах.

Х = А1 / А2, де

A1 – кількість виправлених відмов,

A2 – кількість виявлених відмов;

Чим ближче Х до 1, тим краще.

Під час роботи з даним програмним продуктом було виявлено 15 проблем (А2=15), з них вдалось вирішити 7 (А1 = 7).

Х = А1 / А2 = 7 / 15 = 0,46

 

2) Відмовостійкість (Foult tolerance)

Уникнення збоїв (Failure avoidance) – як часто схеми збоїв беруться під контроль, щоб уникнути серйозних і критичних збоїв у роботі. Так само як і уникнення порушення цілісності даних, уникнення збоїв має важливу роль у роботі системи, так як збої призводять до унеможливлення виконання функцій системи правильним чином, що призводить до неправильних результатів. А це є неприйнятним для роботи АТ.

 

Метод: порахувати кількість схем збоїв, що вдалось уникнути, і порівняти з кількістю схем, що були розглянуті.

X=A / B, де

А - кількість серйозних і критичних збоїв, що вдалось уникнути, у порівнянні з числом тестових випадків збоїв,

B – кількість оброблених тестових схем збоїв (що майже спричиняють відмову) під час випробувань;

Чим ближче значення Х до 1, тим краще.

Під час роботи системи вдалось уникнути 6 серйозних збоїв (А = 6), оброблених тестових схем було 8 (В = 8). Х = 6/8 = 0,75.

 

3. Переносимістю (Portability) називають адаптацію деякої програми або її частини, з тим щоб вона працювала в іншому середовищі, відмінному від того, під який вона була написана першочергово.

1) Адаптивність (Adaptability)

Перенесення призначеної для користувача дружелюбності (Porting user friendliness) – чи може користувач чи обслуговуючий персонал швидко адаптувати програмне забезпечення до операційного середовища. Для якісного програмного продукту необхідно, щоб користувач міг легко і швидко адаптувати його під звичний для себе режим роботи. Тоді він зможе працювати швидше і продуктивніше. Так як серед користувачів системи має бути велика кількість бухгалтерів і фінансистів, які не мають достатніх технічних знань, інтерфейс має бути максимально пристосованим для правильної роботи.

 

Метод: дослідити поведінку користувача чи обслуговуючого персоналу під час спроб адаптувати програмне забезпечення до операційного середовища.

T – загальна кількість часу, що користувач витратив на те, щоб пристосувати програмне забезпечення до операційного середовища;

Чим менше значення Х, тим краще.

Користувач витратив на пристосування програмного забезпечення до операційного середовища близько 4,5 хв.

 

2) Зручність установки (Installability)

Легкість установки (Ease of installation) – чи може користувач чи обслуговуючий персонал легко встановити програмне забезпечення в операційне середовище. Програмне забезпечення має бути легким у встановленні навіть для недосвідченого користувача. У такому випадку знижується час, необхідний для обслуговування, і збільшується час власне на роботу.

 

Метод: дослідити поведінку користувача чи обслуговуючого персоналу під час спроб встановити програмне забезпечення в операційне середовище.

X = A / B, де

A – кількість вдалих спроб користувача змінити ПЗ для зручності,

B – загальна кількість спроб користувача змінити ПЗ для зручності;

Чим ближче значення Х до 1, тим краще.

Користувачу вдалось вдало змінити ПЗ для зручності 7 разів з 12 спроб. Отже, Х = 7/12 = 0,58.

 

 

3) Здатність до співіснування (Co-existance)

Доступне співіснування (Available co-existence) - як часто користувач стикається з будь-якими обмеженнями або несподіваними невдачами, діючи одночасно з іншим програмним забезпеченням.

Програмний продукт повинен нормально співіснувати з різним програмним забезпеченням, щоб не створювати проблем і перебоїв під час роботи. Передбачається, що користувачі нашого програмного продукту будуть користуватись іншим програмним забезпеченням для певних фінансових обрахунків і створення звітів, тому співіснування є дуже важливим аспектом правильної роботи системи.

 

Метод: використовувати оцінюване програмне забезпечення одночасно з іншим програмним забезпеченням, яке користувач часто використовує.

X = A / T, де

A - кількість будь-яких обмежень або несподіваних невдач, з якими користувач стикається протягом роботи одночасно з іншим програмним забезпеченням,

T - тривалість часу одночасної роботи з іншим програмним забезпеченням;

Чим ближче значення Х до 0, тим краще.

Зазвичай, кількість проблем під час роботи одночасно з іншим програмним забезпеченням А = 16, а загальна тривалість роботи з іншим програмним забезпеченням Т = 20. Х = 16/20 = 0,8.

4. Ефективність (Efficiency). Властивість системи виконувати поставлену перед нею ціль в заданих умовах використання з певною якістю і за призначенням. Показники ефективності характеризують ступінь пристосованості системи до виконання поставлених задач і являються узагальнюючими показниками оптимальності функціонування системи.

1) Реактивність (Time behaviour)

Тривалість відповіді (Response time) – скільки часу необхідно для виконання конкретного завдання; як багато часу системі необхідно, щоб видати відповідь. Для того, щоб робота з програмним продуктом була максимально ефективна, час відповіді на будь-який запит має бути мінімальним, це забезпечує швидку роботу і високу продуктивність. Так як у АТ динамічно змінюються дані про нових акціонерів і користувачів системи, швидкість відповіді повинна бути мінімальною, щоб в роботі не виникали збої чи затримки.

 

Метод: почати виконання певного завдання; виміряти час, що система витратила на опрацювання цього завдання; записати результати всіх спроб.

T = (час, за який отримано результат) - (час закінчення вводу команди)

Чим менше значення Х, тим краще.

Час отримання результату в середньому складає від 2 до 4 секунд, тому візьмемо значення 4 секунди (Т = 4). Як верхню межу неприйнятну для нас поставимо 25 секунд. Т = 4.

2) Використання ресурсів (Resourse utilisation)

Використання пристроїв вводу/виводу (I/O devices utilisation) – чи є використання пристроїв вводу/виводу дуже великим, викликаючи нездатність до функціонування. При зростанні зайнятості пристроїв вводу/виводу істотно збільшується час, що використовується на роботу, що створює збої у механізмі функціонування всієї системи. Від пристроїв вводу/виводу залежить час реакції користувача на результати та час реакції системи на дії користувача, тому перевантаження пристроїв призведе до серйозних затримок.

 

Метод: виконувати одночасно великий ряд завдань, записувати використання пристроїв вводу/виводу і порівнювати отримані значення з завданнями проекту.

X = A / B, де

A – час зайнятості пристрою вводу/виводу,

B – час функціонування пристрою вводу/виводу, згідно завдання проекту.

Чим ближче значення Х до 1, тим краще.

Згідно завдання проекту час функціонування пристрою вводу/виводу має бути В = 15, а реальний час зайнятості пристроїв вводу/виводу А = 6. Х = 6/15 = 0,4.

Такі параметри як «Захищеність» та «Реактивність» можуть конфліктувати між собою, так як захищеність системи потребує додаткових перевірок, що може негативно відобразитись на швидкості роботи програмного продукту. Щоб їх узгодити, необхідно використовувати більш потужну техніку для підвищення швидкодії та новіші алгоритми захисту, що не перевантажують ресурси системи. Уникнути конфліктів між ними також можна, якщо знизити час реакції до середнього рівня, а захищеність до межі між середнім і відмінним рівнем.

Параметри «Функціональна повнота» так «Здатність до співіснування» є конфліктуючими, тому що велику кількість функцій системи важко реалізувати для різних платформ одночасно. Цього можна уникнути при використанні мов програмування, що мають вбудовані функції для реалізації необхідних параметрів під різні операційні системи.

1. Ефективність (Effectiveness):

- доля виконаних користувачем задач;

- доля правильно виконаних користувачем задач;

- відношення числа успішних дій до помилок;

- кількість використовуваних функцій і команд.

2. Продуктивність (Productivity):

- час, необхідний для виконання задачі;

- продуктивність виконання задачі;

- продуктивність відносно експерта;

- час, необхідний на попереднє навчання користування;

- час, що витрачається через помилки користувача;

- відсоток чи кількість помилок;

- частота використання документації;

- кількість повторних і помилкових дій (команд).

3. Безпека (Safety):

- вплив на здоров'я і безпеку користувачів;

- вплив на здоров'я і безпеку інших людей;

- величина економічних збитків;

- можливість пошкодження програми.

4. Задоволення користувача (Satisfaction):

- рейтингова оцінка по шкалі корисності продукту чи послуги;

- рейтингова оцінка по шкалі задоволення функціональністю продукту;

- кількість випадків, коли користувач відчував фрустрацію чи гнів при користуванні продуктом;

- рейтингова оцінка по шкалі технологічного керування задачею без втручання користувача;

- оцінка того, наскільки технологічне виконання задачі відповідає вимогам користувача;

- доля потенційних користувачів програми.

 

Побудуємо шкали ранжування для обраних внутрішніх метрик:

 

1. Ефективність (Effectiveness):

Частота помилок ( Error frequency) – як часто трапляються помилки. Надто велика кількість помилок унеможливлює роботу, тому їх частота має бути мінімальною.

 

Метод: тестування користувачем.

 

X = A/T, де

A – кількість помилок, що зробив користувач,

T – час або кількість завдань;

Чим ближче Х до 0, тим краще.

Кількість завдань, що їх виконав користувач, складає 500 (Т = 500), при цьому кількість зроблених помилок дорівнює 10. Отже, Х = 10/500 = 0,02.

2. Продуктивність (Productivity):

Ефективність задач (Task efficiency) – на скільки користувачі ефективно працюють. Ефективність роботи АТ залежить від працівників, їхня кваліфікація повинна бути високою, і відповідно до кваліфікації працівників, програмний продукт повинен відповідати необхідним критеріям ефективності.

 

Метод: тестування користувачем.

X = M1 / T, де

M1 – ефективність задач,

T – час на завдання;

Чим менше Х, тим краще.

Ефективність задач нашої системи складає М1 = 0,8. Середній час на виконання завдання дорівнює Т = 30 хвилин, отже Х = 0,8/30 = 0,027.

3. Безпека (Safety):

Пошкодження програмного забезпечення (Software damage) – що собою являє пошкодження програмного забезпечення. При пошкодженні програмного забезпечення унеможливлюється нормальне функціонування всього АТ, що є неприйнятним для його роботи, тому цей параметр є важливим для системи.

 

Метод: тестування користувачем

X = 1-A / B, де

A – кількість випадків пошкодження програмного забезпечення,

B – загальна кількість робочих станцій;

Чим ближче Х до 1, тим краще.

Загальна кількість робочих станцій 200 (В = 200), кількість випадків пошкодження програмного забезпечення 8. Х = 1- 8/200 = 0,96

4. Задоволення користувача (Satisfaction):

Величина задоволеності (Satisfaction scale) – наскільки задоволеним є користувач. Продуктивність працівника залежить від його відношення до роботи. Тому при зростанні задоволеності зростає і продуктивність праці, що є позитивним аспектом системи.

 

Метод: тестування користувачем.

X = A/B, де

A – задоволеність за результатами опитування,

B – середній показник задоволеності.

Чим більше Х, тим краще.

За результатами опитування задоволеність користувачів складає 80% (А = 80), а середній показник задоволеності становить 88% (В = 88).

Х = А / В = 80 / 88 = 0.91

 

Метрики, що проектуються, можуть виглядати наступним чином:

- число успішних операцій повинно бути не нижче ніж 75%;

- користувач повинен знайти контактну інформацію не більше, ніж за півтори хвилини;

- доля потенційних користувачів програми більше, ніж у основного конкурента, на 30%.

Характеристики зовнішньої і внутрішньої якості мають безпосередній вплив на характеристики експлуатаційної якості. Наприклад, Зручність використання впливає на Продуктивність — зручний інтерфейс дозволяє не звертатися до документації або служби підтримки, а висока керованість дозволяє суттєво збільшити продуктивність, особливо якщо при цьому вдасться зберегти простоту інтерфейсу. Якщо ж виникнуть незрозумілості, користувач завжди може звернутися у службу підтримки, контакти якої можна знайти за півтори хвилини, знаходячись на будь-якій стадії роботи програми. Надійність безпосередньо впливає на Продуктивність — чим більш надійна програма, тим менше помилок буде виникати, тим менше буде відволікатися користувач і більше роботи буде виконувати. Також можна сказати, що на Задоволення користувача впливають всі характеристики зовнішньої та внутрішньої якості.

Інтегральна оцінка за внутрішніми метриками буде мати вигляд:

Частота помилок ( Error frequency)

Максимальна оцінка: 100

Отримана оцінка: 90

Ефективність задач (Task efficiency)

Максимальна оцінка: 100

Отримана оцінка: 92

Пошкодження програмного забезпечення (Softwere damage)

Максимальна оцінка:100

Отримана оцінка: 96

Величина задоволеності (Satisfaction scale)

Максимальна оцінка: 100

Отримана оцінка: 91

 

Назва ознаки	Q/Qmax	W
Error frequency	90/100
Task efficiency	92/100
Softwere damage	96/100
Satisfaction scale	91/100

 

Згідно цих даних визначимо інтегральну оцінку програмного продукту:

U_q = 9*90 + 9*92 + 4*96 + 7*91 = 810 + 828 + 384 + 637 = 2659.

За оцінкою внутрішньої якості наша система отримала 2659 балів з 2900, що складає більше 91%. Це свідчить про високу якість системи.

Дамо інтегральну оцінку системі за зовнішніми метриками.

Обхват функціонального виконання (Functional implementation coverage)

Максимальна оцінка: 100

Дійсна оцінка: 90

Точність (Precision)

Максимальна оцінка: 100

Дійсна оцінка: 98

Запобігання порушенню цілісності даних (Data corruption prevention)

Максимальна оцінка: 100

Дійсна оцінка: 86

Резолюція проблем (Failure resolution)

Максимальна оцінка: 100

Дійсна оцінка: 46

Уникнення збоїв (Failure avoidance)

Максимальна оцінка: 100

Дійсна оцінка: 75

Перенесення призначеної для користувача дружелюбності (Porting user friendliness)

Максимальна оцінка: 50

Дійсна оцінка: 46

Легкість установки (Ease of installation)

Максимальна оцінка: 80

Дійсна оцінка: 45

Доступне співіснування (Available co-existence)

Максимальна оцінка: 50

Дійсна оцінка: 48

Тривалість відповіді (Response time)

Максимальна оцінка: 150

Дійсна оцінка: 120

Використання пристроїв вводу/виводу (I/O devices utilisation)

Максимальна оцінка: 100

Дійсна оцінка: 40

 

 

Назва ознаки	Q/Qmax	W
Functional implementation coverage	90/100
Precision	98/100
Data corruption prevention	86/100
Failure resolution	46/100
Failure avoidance	75/100
Porting user friendliness	46/50
Ease of installation	45/80
Available co-existence	10/50
Response time	120/150
I/O devices utilisation	40/100

 

Згідно цих даних визначимо інтегральну оцінку програмного продукту:

U_q = 10*90 + 9*98 + 4*86 + 4*46 + 5*75 + 5*46 + 6*45 + 8*10 + 9*120 + 9*40 = 900 + 882 + 344 + 184 + 375 + 230 + 270 + 80 + 1080 + 360 = 4705.

Спроектована нами система має середній рівень якості. Її інтегральна оцінка складає 4705 балів з 6580 максимально можливих. Проблемами цієї системи є низький рівень завершеності, здатності до співіснування та погане використання ресурсів. Переваги системи: захищеність точність та функціональна повнота, що є дуже важливим для нормальної роботи системи.