Класс одномерных унимодальных функций.

Покроем интервал [ a,b ] сеткой из M узлов и обозначим Ф(x_i)=Ф i, .

Положим, что необходимо построить одномерную унимодальную функцию, минимум которой находится в узле , т.е. в точке x_i ^*.Тогда для генерации такой функций может быть использован следующий алгоритм построения тестовых одномерных унимодальных функций.

1. Генерируем дискретную случайную величину i ^*, равномерно распределенную на множестве 1,2,…, M.

2. Генерируем случайные числа Ф _i по рекуррентной формуле:

,
где β _i, - случайные величины, равномерно распределенные в интервале (-α,0), если i ≤ i ^*, и в интервале (α,0), если i > i ^*. Здесь α ‑ некоторая константа, определяющая максимальную скорость изменения искомой функции.

3. Для получения функции Ф(x) используем линейную интерполяцию полученных значений Ф _i, . Минимум полученной функции Ф(x) достигается в точке x_i ^*= x ^*.

Функцию данного класса можно описать следующим образом:

,

где k₁ и k₂ – некоторые случайные величины.

Класс многоэкстремальных функций нескольких переменных.

Алгоритм генерации многоэкстремальных функций нескольких переменных можно построить на основе использования совокупности M квадратичных функций, каждая из которых дает локальный минимум искомой функции: , где квадратичная функция .

Здесь n – размерность X, – точка j -го локального минимума глубиной c_j, постоянные , , , c_j - случайные величины с некоторыми законами распределения.

Анализ результатов

Тестирование будем производить на одномерной унимодальной функции мультиверсиями, которые реализуют:

· метод дихотомии;

· метод «золотого сечения»;

· метод квадратичной интерполяции.

А также на функции Розенброка и классе многоэкстремальных функций несколько переменных программными реализациями алгоритмов:

· алгоритм Гаусса-Зейделя;

· алгоритм Нелдера-Мида;

· алгоритм Хука-Дживса;

· алгоритм Флетчера-Ривса.

При тестировании не имеет существенного значения то, какие именно алгоритмы оптимизации используются. Цель эксперимента - показать эффект от применения мультиверсионного программирования в системах управления. Поэтому важно лишь различие программных реализаций и различие конечного алгоритма функционирования.

Стандартные алгоритмы мультиверсионного голосования во всех исследуемых ситуациях показали заметно худшие результаты и по времени, и по отклонению от точки экстремума, чем метод голосования по значению оптимизируемой функции (см. главу 3). Результаты будем приводить только для этого метода согласования.

Так как, в случае сравнения мультиверсионной системы из нескольких методов, с каждым отдельным методом количество итераций основного цикла не может являться показателем производительности, то в таблицу результатов был добавлен показатель «время». Это число показывает время затраченное системой на весь процесс оптимизации. В случае с мультиверсионной системой, это время также включает время работы внутренних алгоритмов системы.

Показатель количества побед как мультиверсия отображает, какой вклад внес тот или иной модуль, в общий результат мультиверсионной системы.

Результаты представлены в таблице 3.1.

В целом мультиверсионный подход к оптимизационным алгоритмам показывает не худшие результаты, чем наилучший из алгоритмов.

Таблица 3.1 Результаты исследования эффективности мультиверсионного подхода к алгоритмам оптимизации функций

Класс функций	Алгоритм	Время, по отн. к лучшему по времени	Время, по отн. к лучшему по результату	Среднее отклонение от точки экстремума	Побед как мультиверсия
Класс одномерных унимодальных функций	Мультиверсионная система	35,71	1,00	1,00	–
Метод квадратичной интерполяции	24,86	0,70	0,97	0,85
Метод «золотого сечения»	1,00	0,03	0,49	0,53
Метод дихотомии	1,15	0,03	0,49	0,46
Функция Розенброка	Мультиверсионная система	1,93	1,00	0,96	–
Метод Нелдера-Мида (версия 2)	1,02	0,53	1,05	0,76
Метод Нелдера-Мида (версия 1)	1,00	0,52	22,74	0,71
Метод Хука-Дживса (версия 1)	9,32	4,83	137,67	0,63
Метод Гаусса-Зейделя	0,04	0,02	9801,82	0,85
Метод Хука-Дживса (версия 2)	35,80	18,55	12461,90	0,48
Метод Флетчера-Ривса (версия 1)	130,03	67,37	32156,17	0,92
Метод Флетчера-Ривса (версия 2)	86,60	44,86	37708,33	0,88
Класс многоэкстремальных функций нескольких переменных	Мультиверсионная система	2,76	1,00	6,17	–
Метод Флетчера-Ривса (версия 1)	1,47	0,53	6,20	0,93
Метод Флетчера-Ривса (версия 2)	1,48	0,53	7,07	0,90
Метод Нелдера-Мида (версия 1)	1,23	0,45	312,63	0,25
Метод Нелдера-Мида (версия 2)	1,00	0,36	616,78	0,41
Метод Хука-Дживса (версия 2)	159,42	57,75	735,10	0,63
Метод Хука-Дживса (версия 1)	165,12	59,81	1069,42	0,64
Метод Гаусса-Зейделя	58,62	21,23	8514,35	0,36

 

Заключение

· Разработана методика, позволяющая использовать существующие мультиверсионные модели повышения надежности для реализации программного комплекса системы управления.

· Разработан программный инструментарий, позволяющий унифицировать применение мультиверсионного подхода к различным программным комплексам, который в отличие от существующих в настоящее время, позволяет исполнять модули не только с помощью методологии мультиверсионного программирования, но также с использованием остальных распространенных мультиверсионных моделей: восстанавливающихся блоков, согласованных восстанавливающихся блоков, t/(n-1)-версионного программирования и мультиверсионного программирования с самопроверкой.

· Разработана методика, позволяющая оценить эффективность мультиверсионных моделей, а также выбрать алгоритм мультиверсионного голосования.

· Предложена и проверена модификация алгоритмов мультиверсионного голосования, позволяющая повысить устойчивость алгоритмов к межверсионным ошибкам.

· Путем тестирования показано, что примение методологии мультиверсионного программирования позволяет повысить отказоустойчивость системы.

Результаты выполнения имитационных тестов подтвердили универсальность разработанных систем мультиверсионного исполнения программных модулей.

Список использованных источников

1. Котенок, А.В. Программная система "СМВИ v1.0" (среда мультиверсионного исполнения программных модулей) // Компьютерные учебные программы и инновации.- № 8, 2005.

2. Котенок, А.В. Построение среды мультиверсионного исполнения
программных модулей / А.В. Котенок // Вестник НИИ СУВПТ:
Сб.научн. трудов / Под общей ред. профессора Н.В. Василенко;
Красноярск: НИИ СУВПТ.- 2003. Выпуск 14.- с. 13‑21.

3. Котенок, А.В. Реализация алгоритмов мультиверсионного голосования / А.В. Котенок // Вестник университетского комплекса:
Сб.научн. трудов / Под общей ред. профессора Н.В. Василенко;
Красноярск: ВСФ РГУИТП, НИИ СУВПТ.- 2004. Выпуск 3 (17). - с. 86‑93.

4. Котенок, А.В. Среда мультиверсионного исполнения программных модулей // Вестник университетского комплекса:
Сб.научн. трудов / Под общей ред. профессора Н.В. Василенко;
Красноярск: ВСФ РГУИТП, НИИ СУВПТ.- 2006. Выпуск 6 (20). - с. 219‑238.

5. Ковалев, И.В. К проблеме выбора алгоритма принятия решения в мультиверсионных системах / И.В. Ковалев, А.В. Котенок // Информационные технологии; №9, 2006. с. 39-44.

6. Ковалев, И.В. Имитационная система для среды мультиверсионного исполнения программных модулей (программная система «ИС-СМВИ v1.0») // Компьютерные учебные программы и инновации.- № 2, 2007.

7. Котенок А.В. Программная система "СМВИ v1.0" (Среда мультиверсионного исполнения программных модулей). / А.В. Котенок // Номер гос. регистрации 50200401366 от 25.11.2004 г.- М.: ВНТИЦ, 2004.

8. Ковалев И.В. Имитационная система для среды мультиверсионного исполнения программных модулей (программная система «ИС-СМВИ v1.0») / И.В. Ковалев, А.В. Котенок / Номер гос. регистрации 50200501597 от 24.11.2005 г.- М.: ВНТИЦ, 2005.

9. Гантер, Р. Методы управления проектированием программного обеспечения: Пер. с англ./ Р. Гантер, Е. К. Масловский. – М.: Мир, 1981. – 392 с.

10. Липаев, В. В. Качество программного обеспечения. / В. В. Липаев. – М.: Финансы и статистика, 1983. – 263 с.

11. Мамиконов, А. Г. Проектирование АСУ. / А. Г. Мамиконов. – М.: Высшая школа, 1987. – 304 с.

12. Липаев, В. В. Проектирование программных средств: Учеб. пособие для вузов по спец. "Автом. сист. обр. информ. и упр.". / В. В. Липаев. – М.: Высшая школа, 1990. – 303 с.

13. Майерс, Г. Надежность программного обеспечения: Пер. с англ. Галимова Ю. Ю. / Г. Майерс, В. Ш. Кауфман. – М.: Мир, 1980. – 360 с.

14. Avizienis, A. On the implementation of N-version programming for software fault-tolerance during execution. / A. Avizienis, L. Chen. In Proc. IEEE COMPSAC 77, с. 149-155, ноябрь 1977.

15. Elmendorf, W. Fault-tolerant programming. / W. R. Elmendorf. // In Digest of 2-nd FTCS, с. 79-83, Newton, MA, June 1972.

16. Avizienis, A. Fault tolerance and fault intolerance: complementary approaches to reliable computing. / A. Avizienis. In Proc. 1975 International Conference on Reliable Software, с. 458-464, апрель 1975.

17. Avizienis, A. The methodology of N-version programming. In Software fault-tolerance / A. Avizienis, M. R. Lyu, с. 23-47, Wiley, 1995.

18. Avizienis, A. DEDIX 87 - A supervisory system for design diversity experiments at UCLA. / A. Avizienis, M. R. Lyu, W. Schuetz, U. Voges. // In Digest of 18th FTCS, с. 129-168, Токио, Япония, июнь 1988.

19. Chen, J. Software Diversity and Its Implications in the N-version Software Life Cycle. / J. J. Chen. PhD dissertation, UCLA, Computer Science Department, 1990.

20. Pressman, R. Software Engineering: A Practitioner’s Approach. // 4^th Edition. Mc Graw-Hill, 1997.

21. Software Considerations in Airborne Systems and Equipment Certification. RTCA/DO-178B, RTCA, Inc, 1992.

22. Lyu, M.R. Improving the N-Version Programming Process Through the Evolution of a Design Paradigm / M.R. Lyu, Y. He, IEEE COMSPAC, 1993

23. Lyu, M. Software diversity metrics and measurements. / M. R. Lyu, J. H. Chen, A. Avizienis. In Proc. IEEE COMPSAC 1992, с. 69-78, Chicago, Illinois, сентябрь 1992.

24. Randell, B. The Evolution of the Recovery Block Concept / J. Xu, B. Randell – University of Newcastle upon Tyne, England, 1995.

25. Anderson, T. Fault Tolerance: Principles and Practice / T. Anderson, P. A. Lea – Practice Hall, 1981

26. Randell, B. System structure for software fault tolerance // IEEE Trans Software Engineering, том SE-1, с. 220-231, 1975

27. Peter J. Denning, Fault Tolerant Operating Systems // ACM Computing Surveys, Vol. 8, No. 4, December 1976, pp. 359 - 389.

28. Fetzer, C. Automatic Detection and Masking of Non-Atomic Exception Handling / C. Fetzer and K. Högstedt (USA), P. Felber (France). 2003

29. Kim, K. Fault-Tolerant Software Voters Based on Fuzzy Equivalence Relations / K.Kim, M.A. Vouk and D.F. McAllister – Department of Computer Science, North Carolina State University, 1997

30. Leung, Y.W. Maximum Likelihood Voting for Fault Tolerant Software with Finite Output Space / IEEE Trans. Rel, Vol. 44(3) с. 419-427, 1995

31. Mitchell, G. An approach for network communications systems Recovery / G.G. Mitchell, S. Brown – Department of Computer Science, National University of Ireland, 2000

32. Romanovsky, A. Diversely Designed Classes for Use by Multiple Tasks. – University of Newcastle upon Tyne, 2000

33. Xu, J. The t/(n–1)-VP Approach to Fault-Tolerant Software / J. Xu, B. Randell – University of Newcastle upon Tyne, 1998

34. Steen, M. A Scalable Location Service for Distributed Objects / M. van Steen, F.J. Hauck, A.S. Tanenbaum – Vrije Universiteit, Amsterdam, 1996

35. Daniels, F. The Reliable Hybrid Pattern: A Generalized Software Fault Tolerant Design Pattern – Department of Electrical & Computer Engineering, North Carolina State University, 1999

36. Xu, J. Implementing Software-Fault Tolerance in C++ and Open C++: An Object-Oriented and Reflective Approach / J. Xu, B. Randell, A.F. Zorzo – Department of Computing Science, University of Newcastle upon Tyne, 2000

37. Bondavalli, A. Adaptable Fault Tolerance For Real-Time Systems / A. Bondavalli, J. Stankovic, L. Strigini – CNUCE-CNR, Pisa, Italy, 1995

38. Brunie, L. Optimizing complex decision support queries for parallel execution / L. Brunie, H. Kosh - LIP-CNRS at Ecole Normale Superieure de Lyon, France, 1997

39. Anderson Т., Fault Tolerance: Principles and Practice / T. Anderson and P.A. Lee // Prentice Hall, 1981.

40. Knight, J.C. An Experimental Evaluation of the Assumption of Independence in Multiversion Programming / J.C. Knight, N.G. Leveson // IEEE Transactions on Software Engineering, том SE-12, №1, с. 96-109, январь 1986

41. Eckhardt, D.E. An Experimental Evaluation of Software Redundancy as a Strategy For Improving Reliability / D.E. Eckhardt, A. Caglavan, J.C. Knight, L.D. Lee, D.F. McAllister, M.A. Vouk, J.P.J. Kelly // IEEE Transactions on Software Engineering, том 17, №7, с. 692-702, июль 1991.

42. Avizienis, A. In Search of Effective Diversity: A Six-Language Study of Fault-Tolerant Flight Control Software / A. Avizienis, M.R. Lyu, W. Schutz // Proceedings 18th Annual International Symposium on Fault Tolerant Computing – Токио, Япония, 27-30 июня 1988.

43. Pradhan, D. K. Fault-Tolerant Computer System Design. / D. K. Pradhan – Prentice-Hall, Inc., 1996.

44. Laprie, J.C. Architectural Issues in Software Fault Tolerance, in Software Fault Tolerance, Michael R. Lyu, editor, Wiley, 1995, pp. 47 – 80.

45. Hecht, H. Fault-Tolerance in Software, in Fault-Tolerant Computer System Design. / H. Hecht, M. Hecht – Dhiraj K. Pradhan, Prentice Hall, 1996.

46. Lorczack, P. R. A Theoretical Investigation of Generalized Voters for Redundant Systems. / P. R. Lorczack – Digest of Papers FTCS-19: The Nineteenth International Symposium on Fault-Tolerant Computing, 1989. – pp. 444-451.

47. Taylor, J. Redundancy in Data Structures: Improving Software Fault Tolerance, IEEE Transactions on Software Engineering, Vol. SE-6, No. 6, November 1980, pp. 585 - 594.

48. Taylor, J. Redundancy in Data Structures: Some Theoretical Results, IEEE Transactions on Software Engineering, Vol. SE-6, No. 6, November 1980, pp. 595 - 602.

49. Broen, R. B. New Voters for Redundant Systems, Transactions of the ASME. / R. B. Broen – Journal of Dynamic Systems, Measurement, and Control, March 1975. – pp. 41-45.

50. Abbott, J. Resourceful Systems for Fault Tolerance, Reliability, and Safety / Russell J. Abbott – ACM Computing Surveys, Vol. 22, No. 1, March 1990, pp. 35 – 68.

51. Gersting, J. A Comparison of Voting Algorithms for N-Version Programming. / J. Gersting – Proceedings of the 24th Annual Hawaii International Conference on System Sciences, Volume II, January 1991. – pp. 253-262.

52. Croll, P. R. Dependable, Intelligent Voting for Real-Time Control Software. / P. R. Croll – Engineering Applications of Artificial Intelligence, vol. 8, no. 6, December 1995. – pp. 615-623.

53. Bass, J. M. Voting in Real-Time Distributed Computer Control Systems. / J. M. Bass – PhD Thesis, University of Sheffield, October 1995.

54. Kelly, J. P. J. Multi-Version Software Development. / J. P. J. Kelly – Proceeding of the Fifth IFAC Workshop, Safety of Computer Control Systems, October 1986. – pp. 43-49.

55. Tso, K. S. Community Error Recovery in N-Version Software: A Design Study with Experimentation. / K. S. Tso, A. Avizienis – Digest of Papers FTCS-17: The Seven teenth International Symposium on Fault-Tolerant Computing, July 6 – 8, 1987. – pp. 127-133.

56. Saglietti, F. The Impact of Voter Granularity in Fault-Tolerant Software on System Reliability and Availability. / F. Saglietti, M. Kersken, – Software Fault Tolerance: Achievement and Assessment Strategies, Springer-Verlag, 1991.

57. Ковалев, И.В. Автоматизация создания программных средств систем управления. / В кн.: Микроэлектронные устройства: проектирование и технология. – Красноярск. КПИ, 1990. – С. 79-85.

58. Ковалев, И.В. Математический метод многоатрибутивного принятия решения при формировании мультиверсионного программного обеспечения. / И.В. Ковалев, Р.Ю. Царев; Тез. докл. межрегиональной конференции «Математические модели природы и общества» – Красноярск: ТЭИ, 2002. – С. 52-58.

59. Ковалев, И.В. Многоатрибутивный метод принятия решений с учетом относительной близости к лучшей альтернативе. / И.В. Ковалев, Р.Ю. Царев; Тез. докл. межрегиональной конференции «Математические модели природы и общества» – Красноярск: ТЭИ, 2002. – С. 63-66.

60. Ковалев И.В. Многоатрибутивная модель формирования гарантоспособного набора проектов мультиверсионных программных систем. / И.В. Ковалев, Р.Ю. Царев; Вестник НИИ СУВПТ. – Вып.7. – Красноярск: НИИ СУВПТ, 2001. – С. 129-137.

61. Ковалев, И.В. Оптимальное проектирование мультиверсионных систем управления. / И.В. Ковалев, А.А. Попов, А.С. Привалов. – Доклады НТК с международным участием «Информационные технологии в инновационных проектах». – Ижевск: ИжГТУ, 2000. – С. 24-29.

62. Ковалев, И.В. Параллельные процессы в информационно-управляющих системах. Формирование и оптимизация: Монография. / И.В. Ковалев, Р.Ю. Царев, Ю.Г. Шиповалов. – Под ред. д.т.н., проф. А.В. Медведева. – Красноярск: НИИ СУВПТ, 2001. – 143 с

63. Ковалев, И.В. Система мультиверсионного формирования программного обеспечения управления космическими аппаратами: Диссертация на соискание ученой степени доктора технических наук. / Красноярск: КГТУ, 1997. – 228 с.

64. Ковалев, И.В. Мультиверсионный метод повышения качества программно-информационных технологий для корпоративных структур. / И.В. Ковалев, А.М. Алимханов, Р.В. Юнусов; Россия в III тысячелетии: прогнозы культурного развития. Качество жизни. Наука. Культура. Образование. Искусство. Власть. Производство: Сборник научных трудов по материалам Всероссийской научной конференции / АМБ, Екатеринбург, 2002. С. 171-173

65. Ковалев, И.В. Надежность архитектуры программного обеспечения телекоммуникационных технологий. / И.В. Ковалев, Н.В. Василенко, Р.В.Юнусов; Международная научная конференция Telematica’2001, Санкт-Петербург, 2001- С. 23-24

66. Ковалев, И.В. Мультиверсионный метод обеспечения отказоустойчивости программных архитектур систем управления критичными по надежности техническими объектами. / И.В. Ковалев Р.В., Юнусов; Научная конференция ”Научно-инновационное сотрудничество”. Москва, 2002.

67. Ковалев, И.В.Оценка надежности аппаратно-программного информационно-управляющего комплекса. САКС-2002. / И.В.Ковалев, Р.В Юнусов;: Тезисы докладов международной научно-практической конференции (6-7 дек. 2002, г. Красноярск)/ СибГАУ. Красноярск, 2002. С. 352-353

68. Ковалев, И.В. Мультиверсионный метод повышения программной надежности информационно-телекоммуникационных технологий в корпоративных структурах. / И.В.Ковалев, Р.В. Юнусов; Телекоммуникации и информатизация образования. 2003. №2, С. 50-55

69. Ковалев, И.В. Эффективность программно-алгоритмической реализации технологических режимов: Информационные процессы в промышленности: Сборник научных трудов / Кемерово: Кузбасский политехнический институт, 1989. – С. 47-52.

70. Kovalev, I. V. An Approach for the Reliability Optimization of N-Version Software under Resource and Cost/Timing Constraints. / 16th International Computer Measurement Group Conference, Nashville, TN, USA, December 9-13, 1991.

71. Kovalev, I. V. Computer-Aided Modelling of Production Cycles Optimal Sequence in: Letunovsky V.V.(Editor-in-chief): Problems of products quality assurance in machine-building: Proceedings of Int. Conf. KSTU / Krasnoyarsk, 1994. – pp. 43-48.

72. Kovalev, I.V. Fault-tolerant software architecture creation model based on reliability evaluation / I.V. Kovalev, R.V.Younoussov; Advanced in Modeling & Analysis, vol. 48, № 3-4. Journal of AMSE Periodicals, 2002, – pp. 31-43.

73. Юдин, Д.Б. Математические методы оптимизации устройств и алгоритмов АСУ / Д.Б. Юдин, А.П. Горяшко, А.С. Немировский – Москва, «Радио и связь», 1982. – 288 с.

74. Антамошкин, А.Н. Оптимизация функционалов с булевыми переменными. Монография. – Под ред. д.т.н. Л.А. Растригина. – Томск: Издательство томского университета, 1987. – 104 с.

75. Антамошкин, А.Н. Оптимизация процессов автоматизированного синтеза систем управления космическими аппаратами. – Дисс. на соиск. уч. ст. доктора техн. наук – Красноярск: Сибирская аэрокосмическая академия, 1996, - 285 с.

76. Antamoshkin, A. System Analysis, Design and Optimization / A. Antamoshkin, H.P. Schwefel, and others. – Ofset Press, Krasnoyarsk, 1993. – 312 p.

77. Семенкин, Е.С. Поисковые методы синтеза управления космическими аппаратами. Монография / Е.С. Семенкин, О.Э. Семенкина, С.П. Коробейников – Под ред. д.т.н. Е.С. Семенкина. – Красноярск: СИБУП, 1996. – 325 с.

78. Березовский, Б.А. Многокритериальная оптимизация: математические аспекты. – Москва: Наука, 1989. – 128 с.

79. Вентцель, Е.С. Теория случайных процессов и ее инженерные приложения. / Е.С. Вентцель, Л.А. Овчаров. – М.:Наука, Гл.ред.физ.-мат.лит. – 1991. – 384 с.

80. Питерсон У., Уэлдон Э. Коды, исправляющие ошибки: Пер. с англ. // Под ред. Р. Л. Добрушина и С. И. Самойленко. – М.: Мир, 1976. – 594 с.

81. Семенкин, Е.С. Адаптивные поисковые методы оптимизации сложных сложных систем. Монография / Е.С. Семенкин, О.Э. Семенкина, С.П. Коробейников. – Под ред. д.т.н. Е.С. Семенкина. – Красноярск: СИБУП, 1996. – 358 с.

82. Аоки, М. Ведение в методы оптимизации. – М.: Наука, 1977. – 344 с.

83. Габасов, Р.Ф.. Методы оптимизации. / Р.Ф. Габасов, Ф.М. Кириллова – Минск: Изд. бел. гос. ун., 1981. – 350 с.

84. Моисеев, Н.Н. Методы оптимизации. / Н.Н. Моисеев, Ю.П. Иванилов, Е.М. Столярова – М.: Наука. 1978. – 352 с.

85. Поляк Б.Т. Введение в оптимизацию. – М.: Наука, 1983. – 384 с.

86. Дегтярев, Ю. И. Методы оптимизации: Учеб. пособие для вузов. — М.: Сов. радио, 1980. — 272 с.

87. Лебедев, В.А. Параллельные процессы обработки информации в управляющих системах: Монография. / В.А. Лебедев, Н.Н. Трохов, Р.Ю. Царев. – Красноярск: НИИ СУВПТ, 2001. – 137 с.

88. Попов, А.А. Бинарная модель отказоустойчивой системы программного обеспечения: Доклады НТК с международным участием «Информационные технологии в инновационных проектах». / А.А. Попов, А.С. Привалов. – Ижевск: ИжГТУ, 2000. – С. 77-83

89. Царев, Р.Ю. Метод простого суммарного назначения весов при решении задачи многоатрибутивного выбора состава мультиверсионной программной системы. / Решетневские чтения. Тез. докл. V Всерос. Научн.-практ. конф. студентов, аспирантов молодых специалистов 12-15 ноября 2001. – Красноярск: САА, 2001. – С. 86-87.

90. Царев, Р.Ю. Многокритериальное принятие решений при создании отказоустойчивого программного обеспечения. / Вестник НИИ СУВПТ. – Вып.2. – Красноярск: НИИ СУВПТ, 1999. – С. 190-194.

91. Царев, Р.Ю. Многокритериальное принятие решений при мультиверсионном проектировании гарантоспособных программных средств. / Научная сессия МИФИ – 2002 г. Научн.-тех. конференция «Научно-инновационное сотрудничество». Сборник научных трудов. В 3 частях. – М: МИФИ, 2002. – С. 153-154.

92. Царев, Р.Ю. Многоцелевой выбор проекта информационной системы с эффективным распределением взаимосвязанных ресурсов. / Решетневские чтения. Тез. докл. IV Всерос. Научн.-практ. конф. студентов, аспирантов молодых специалистов 10-12 ноября 2000. – Красноярск: САА, 2000. – С. 273.

93. Царев, Р.Ю. Модель многокритериального решения при выборе проектов мультиверсионной программной системы. / Р.Ю. Царев, Ю.Г. Шиповалов; Перспективные материалы, технологии, конструкции, экономика. Материалы Всероссийской научно-технической конференции 24-26 мая 2001. – Вып.7. – Красноярск: ГАЦМиЗ, 2001. – С. 642-644.

94. Юнусов, Р.В. Анализ надежности аппаратно-программного информационно-управляющего комплекса. / Вестник НИИ СУВПТ: Сб. научн. Трудов. / Под общей ред. профессора Н.В. Василенко; Красноярск: НИИ СУВПТ. 2003. Выпуск 11. С. 103-106.

95. Юнусов, Р.В. Оценка надежности и гарантоспособная модель архитектуры программного обеспечения. / Вестник НИИСУВПТ; Красноярск: НИИСУВПТ.2001. – Вып.8. С.194-208.

96. Юнусов, Р.В. Моделирование программных архитектур автоматизированных систем управления. / Управляющие и вычислительные системы. Новые технологии: Материалы всероссийской электронной научно-технической конференции. Вологда: ВоГТУ, 2001. С. 60-61.

97. Юнусов, Р.В. Модель формирования гарантоспособной архитектуры программного обеспечения. / Решетневские чтения: Тезисы докладов 4 Всероссийской Научно-практической конференции студентов, аспирантов и молодых специалистов. Красноярск: САА, 2000. С. 172-174.

98. Фокс, Д. Программное обеспечение и его разработка: Пер. с англ. / Д. Фокс – М.: Мир, 1985. – 268 с.

99. Козленко Л. Проектирование информационных систем. / Л. Козленко –М.: КомпьютерПресс, № 9-11, 2001.

100. Орлов С.А. Технологии разработки программного обеспечения. / С.А. Орлов – СПб.: Питер, 2002.

101. Гантер, Р. Методы управления проектированием программного обеспечения: Пер. с англ. / Р. Гантер, Е. К. Масловский. – М.: Мир, 1981. – 392 с.

102. Майерс, Г. Надежность программного обеспечения: Пер. с англ. / Г. Майерс, В. Ш. Кауфман. – М.: Мир, 1980. – 360 с.

103. Буч Г. Объектно-ориентированный анализ и проектирование с примерами на С++. / Г. Буч. – М.: БИНОМ, 1998. – 560 с.

104. Элджер, Д. C++: библиотека программиста. / Д. Элджер – СПб.: Питер, 2000. – 320 с.

105. Страуструп, Б. Дизайн и эволюция C++. / Б. Страуструп – СПб.: Питер, 2006. – 448 с.

106. Iannino, A. Criteria for software reliability comparison / ACM Sigsoft Software Engineering Notes, Vol. 8, 1983. – с. 227-232.

107. Поздняков, Д.А. Разработка и исследование среды мультиверсионного исполнения программных модулей. / Д.А. Поздняков, И.С. Титовский, Р.В.Юнусов; Вестник НИИ СУВПТ: Сб. научн. трудов; Красноярск: НИИ СУВПТ.- 2003. Выпуск 13.- с. 155-170

108. Gray, J. Why Do Computers Stop and What Can Be Done About It / Proceedings of the Fifth Symposium On Reliability in Distributed Software and Database Systems, January 13-15, 1986, pp. 3 - 12.

109. Randell, B. Predictably Dependable Computing Systems / Springer, 1995.

110. Pradhan, K. Fault-Tolerant Computer System Design / Prentice-Hall, Inc., 1996

111. Xu, J. Software Fault Tolerance: t/(n-1)-Variant Programming / Jie Xu and Brian Randell // IEEE Transactions on Reliability, Vol. 46, No. 1, March 1997, pp. 60 - 68.

112. Rosenberg, L. Software Metrics and Reliability / L. Rosenberg, T. Hammer, J. Shaw; Software reliability engineering was presented at the 9-th International Symposium, “Best Paper” Award, November, 1998

113. Shooman, M.L.. Software Reliability for Use During Proposal and Early Design Stages / FastAbstract ISSRE Copyright 1999

114. Scott, R. Fault-Tolerant Software Reliability Modeling / R. Keith Scott, James W. Gault, and David F. McAllister // IEEE Transactions on Software Engineering, Vol. SE-13, No. 5, May 1987, pp. 582 – 592.

115. Silayeva, T. K.-E. An Innovative Method for Program Reliability Evaluation / T. Silayeva, K.-E. Grosspietsch. – Euromicro ’95. Como (Italy), September 1995

116. Ammann, P.E. Data Diversity: An Approach to Software Fault Tolerance / P.E. Ammann, J.C. Knight // IEEE Transactions on Computers, Vol. 37, No. 4, April 1988, pp. 418 - 425.

117. Tai, A. Performability Enhancement of Fault-Tolerant Software / A. Tai, J. Meyer, A. Avizienis. – IEEE Trans. on Reliability, 1993. – Vol. 42, No. 2. – P. 227-237

118. Wattanapongsakorn, N. Reliability Optimization for Software Systems with Multiple Applications./ FastAbstract ISSRE and Chillarege Corp. Copyright 2001

119. Whitehouse, G. E. Applied operations research: a survey, Wiley, Inc. / G. E. Whitehouse, B. L. Wechsler. – New York, 1976. – 424 с.

120. Xie, M. Regression Goodness-Of-fit Test for Software Reliability Model Validation / M. Xie, B.Yang; FastAbstract ISSRE Copyright 2000

121. Zahedi, F. Software reliability allocation based on structure, utility, price, and cost / F. Zahedi, N. Ashrafi. – IEEE Trans. on Software Engineering, April 1991. – Vol. 17, No. 4. – с. 345-356