Лекция 12-13. Виртуальная память

ТЕМА 3. УПРАВЛЕНИЕ ПАМЯТЬЮ

 

Лекция 12-13. Виртуальная память

План занятия:

1. Мотивировка концепции виртуальной памяти.

2. Страничная организация по требованию.

3. Обработка ситуации отсутствия страницы в памяти.

4. Отсутствие свободного фрейма. Оценка производительности стратегии обработки страниц по требованию.

5. Преимущества виртуальной памяти при создании процессов.

6. Проблема замещения страниц

7. Алгоритмы замещения страниц.

8. Оптимальный алгоритм замещения страниц.

9. Алгоритм Least Recently Used (LRU).

10. Алгоритмы, близкие к LRU.

11. Алгоритмы со счетчиком.

12. Выделение фреймов

13. Thrashing.

14. Модель рабочего множества.

15. Страничная организация по требованию в Windows NT.

16. Страничная организация в Solaris

 

Виртуальная память – распространенная стратегия распределения памяти, используемая во всех современных операционных системах, основанная на идее расширения физической памяти путем размещения расширенной памяти на диске и использования таблиц страниц (или сегментов) для трансляции адресов. В лекции рассмотрены следующие вопросы:

· Мотивировка концепции виртуальной памяти;

· Потребность в страничной организации;

· Создание процесса и его пространства виртуальной памяти;

· Замена страницы;

· Размещение фреймов;

· Thrashing;

· Примеры организации виртуальной памяти в различных ОС.

Преимущества виртуальной памяти при создании процессов

Благодаря механизму виртуальной памяти, могут быть использованы следующие оптимизации расходования памяти при создании процессов:

· Копирование по записи (Copy-on-Write)

· Отображение файлов в память (Memory-Mapped Files).

Принцип совместного использования страниц процессами (или копирование по записи - Copy-On- Write, COW) позволяет первоначально родительскому и дочернему процессам использовать одни и те же страницы памяти. Если какой-либо процесс модифицирует разделяемую страницу, то только в этом случае данная страница копируется. Принцип COW обеспечивает более эффективное создание процесса, так как копируются только модифицируемые страницы. Свободные страницы распределяются из списка страниц, инициализированных нулями.

Использование при вводе-выводе файлов, отображаемых в память, позволяет рассматривать файловый ввод-вывод как обычное обращение к памяти путем отображения блока на диске в страницу памяти.

Первоначально файл читается с использованием запроса страниц по требованию. Часть файла размером с одну страницу читается из файла в физическую страницу (фрейм). Последующие чтения из файла и записи в файл трактуются как обычные обращения к памяти. Это упрощает доступ к файлу, по сравнению с системными вызовами read () и write (). Это позволяет также нескольким процессам отображать в память один и тот же файл, по тому же принципу, как они совместно используют какие-либо страницы.

На рис. 5 иллюстрируется концепция файла, отображаемого в память.

Рис. 5. Файлы, отображаемые в память.

 

Процессы A и B совместно используют файл, причем каждому блоку файла соответствует страница в памяти. Эти страницы имеют одни и те же номера в таблицах страниц виртуальной памяти процессов. Страницы, присутствующие в памяти, фактически являются частями файла, обрабатываемого при вводе-выводе, благодаря этому, гораздо быстрее, чем обычный файл. По окончании обмена, при закрытии файла, система записывает все его измененные части на диск.

Подобный механизм имеется в большинстве операционных систем. Например, в системе Solaris он реализуется командой и системным вызовом mmap (memory map).

Проблема замещения страниц

Для предотвращения переполнения памяти, подпрограмма обслуживания отказов страниц дополняется поддержкой замещения страниц.

Для сокращения времени передачи страниц используется бит модификации в таблице страниц: только модифицированные страницы откачиваются на диск.

Замещение страниц дополняет картину и стратегию разделения между виртуальной и физической памятью – большая виртуальная память может быть отображена на небольшую физическую память.

Пример замещения страниц приведен на рис.6.

Рис. 6. Пример замещения страниц.

 

В примере имеются два пользовательских процесса, каждый из которых использует по 4 страницы виртуальной памяти. Однако имеется только 6 фреймов в основной памяти, выделенных для пользовательских процессов, (начальные фреймы занимает резидентный монитор ОС). В процессе 1 происходит обращение к данным M, расположенным на странице 3 виртуальной памяти, отсутствующей в основной памяти. В процессе 2 точно так же может произойти обращение к данным B на странице виртуальной памяти 1, которой также нет в основной памяти. Следовательно, ОС должна выполнить замещение страниц, т.е. решить две задачи:

· по какому принципу выбирать "жертвы", т.е. страницы для откачки, находящиеся в оперативной памяти, для освобождения необходимых фреймов?

· в каком порядке обслужить процессы 1 и 2, в каждом из которых возникла необходимость в свободном фрейме?

Кратко алгоритм замещения страниц можно сформулировать следующим образом:

1. Найти, где размещается требуемая страница на диске.

2. Найти свободный фрейм:

o Если есть свободный фрейм, использовать его.

o Если нет свободных фреймов, использовать алгоритм замещения страниц для выбора фрейма -"жертвы".

3. Прочитать содержимое требуемой страницы во вновь освобожденный фрейм. Модифицировать таблицы фреймов и страниц.

4. Продолжить выполнение процесса.

На рис. 7 иллюстрируется момент замещения страниц, с предварительной откачкой страницы-жертвы на диск.

Рис.7. Замещение страниц с откачкой жертвы на диск.

 

Этапы замещения страниц: 1 – откачка жертвы; 2 – изменение ее элемента таблицы страниц (бит valid заменяется на invalid); 3 – подкачка на освободившееся место желаемой страницы; 4 – изменение элемента таблицы страниц для новой страницы (бит invalid заменяется на valid; запоминается физический адрес подкачанной страницы).

Алгоритмы замещения страниц

Как видно из рассмотренного выше, поиск оптимального алгоритма замещения страниц должен быть основан на следующем критерии: необходимо добиваться уменьшения коэффициента отказов страниц p.

Оценка алгоритма может быть выполнена путем опробования его на конкретной строке обращений к памяти (строке запросов) и определения числа отказов страниц при данной строке запросов.

Во всех приводимых ниже в данном разделе примерах из области страничной организации строка запросов имеет вид:

1, 2, 3, 4, 1, 2, 5, 1, 2, 3, 4, 5.

График зависимости числа отказов страниц от числа фреймов в основной памяти изображен на рис. 8.

Рис. 8. Зависимость числа отказов страниц от числа фреймов.

 

В целом, как и подсказывает здравый смысл, зависимость обратно пропорциональная: чем больше имеется фреймов, тем меньше отказов страниц. Однако случаются и аномалии в этом законе, рассмотренные далее.

Алгоритм FIFO (First-In-First-Out). Наиболее простой алгоритм замещения страниц – в качестве жертвы всегда выбирается фрейм, первым из имеющихся считанный в основную память.

Рассмотрим пример использования данного алгоритма.

Пусть строка запросов имеет вид: 1, 2, 3, 4, 1, 2, 5, 1, 2, 3, 4, 5.

Случай 1: 3 фрейма (3 страницы могут быть одновременно в памяти для одного процесса). Пусть имеются три процесса. Их таблицы страниц примут вид:

(1, 2, 3) (4, 1, 2) (5, 3, 4).

В данном случае имеет место 9 отказов страниц (проверьте в качестве упражнения).

Случай 2: 4 фрейма. Пусть имеются по -прежнему три процесса. Таблицы страниц в данном случае будут иметь вид:

(1, 2, 3, 4) (5, 1, 2, 3) (4, 5)

Нетрудно проверить, что в данном случае имеет место 10 (!) отказов страниц, несмотря на то, что процесс может иметь больше свободных фреймов, чем в предыдущем случае.

Данная аномалия называется аномалией Belady.

В целом же, как уже говорилось, зависимость такова, что чем больше фреймов может иметь процесс (при достаточно большом числе фреймов), тем меньше отказов страниц.

Пример работы алгоритма FIFO для замещения страниц, при максимальном числе фреймов для процесса, равном 3, приведен на рис.9.

Рис. 9. Пример работы алгоритма FIFO.

 

На рис. 10 изображен график зависимости числа отказов страниц от числа фреймов при алгоритме FIFO, отображающий аномалию Belady.

Рис. 10. Аномалия Belady при использовании алгоритма FIFO замещения страниц.

Алгоритмы, близкие к LRU

Имеется несколько алгоритмов, близких к алгоритму LRU, в которых реализованы различные идеи улучшений или упрощений, направленные на то, чтобы уменьшить недостатки LRU.

1. Бит ссылки (reference bit). В данном алгоритме с каждой страницей связывается бит, первоначально равный 0. При обращении к странице бит устанавливается в 1. Далее, при необходимости замещения страниц, заменяется та страница, у которой бит равен 0 (если такая существует), т.е. страница, к которой не было обращений. Данная версия алгоритма позволяет избежать поиска по таблице страниц. Однако она, очевидно, менее оптимальна, чем LRU.

2. Второй шанс (second chance). В данной версии алгоритма используются ссылочный бит и показания часов, которые хранятся в каждом элементе таблицы страниц. Замещение страниц основано на показаниях часов. Если страница, которую следует заместить (по показаниям часов), имеет ссылочный бит, равный 1, то выполняются следующие действия:

o Установить ссылочный бит в 0;

o Оставить страницу в памяти;

o Заместить следующую страницу (по показаниям часов), по тем же самым правилам.

Данный алгоритм имеет следующее эвристическое обоснование. Странице, которая дольше всего не использовалась, как бы дается второй шанс на то, что она будет использована, т. е. делается эвристическое предположение, что, по мере возрастания времени, вероятность обращения к странице, к которой давно не было обращений, возрастает.

Схема алгоритма второго шанса изображена на рис. 14.

Рис. 14. Алгоритм второго шанса.

Алгоритмы со счетчиком

Идея, родственная идее алгоритма LRU, - хранить счетчики числа обращений к каждой странице. На основе этой идеи существуют два алгоритма:

· - Алгоритм Least Frequently Used (LFU):замещать страницы с минимальным значением счетчика (к которым было меньше всего обращений);

· - Алгоритм Most Frequently Used (MFU):замещать страницы с максимальным значением счетчика. Данный алгоритм основан на соображении, что страница с минимальным счетчиком – возможно, лишь недавно загружена, и, видимо, в дальнейшем будет активно использоваться, поэтому она оставляется в памяти.

Выделение фреймов

До сих пор мы рассматривали алгоритмы замещения страниц при определенном числе фреймов, выделенных каждому процессу. Рассмотрим теперь стратегии выделения фреймов. При их выделении ОС исходит из того, чтобы каждому процессу выделить минимально необходимое число страниц.

Однако различные аппаратные платформы имеют свои особенности, что тоже приходится учитывать. Например, в системе IBM 370 требуется 6 (!) страниц, чтобы обработать команду MOVE (пересылки) формата SS (Storage-Storage). В самом деле, длина команды - 6 байтов, так что она может размещается на двух соседних страницах. Кроме того, максимум две страницы требуются для обработки источника и максимум две страницы – для обработки получателя. Разумеется, подобный казус не может произойти в RISC -системах.

В операционных системах используются две основных схемы выделения фреймов - фиксированное выделение и выделение по приоритетам.

Фиксированное выделение фреймов. Наиболее простой вариант - равномерное распределение фреймов процессам. Например, если имеется 100 фреймов и 5 процессов, каждому выделяется по 20 страниц. Используется также пропорциональное распределение – выделять фреймы в соответствии со следующим принципом: если общее число фреймов m, размер процесса – s, а общий размер всех процессов – S, то общее число фреймов, выделенных процессу, равно:

a = m * (s / S).

Выделение по приоритетам. Принцип данного распределения фреймов следующий: применять схему пропорционального распределения, но используя приоритеты, а не размер. Если процесс генерирует отказ страницы, то для замещения выделяется фрейм из процесса с более низким приоритетом.

Глобальное и локальное распределение. Глобальное замещение фреймов означает, что процесс выбирает фрейм для замещения среди всех существующих фреймов всех процессов, т.е. один процесс может взять фрейм у другого. Локальное замещение фреймов, наоборот, гарантирует, что каждый процесс выбирает фрейм для замещения только из числа выделенных ему фреймов.

Thrashing

Данный термин буквально означает метание, тряска. Если процессу не выделено достаточное число страниц, коэффициент отказов страниц очень высок. Это приводит к тому, что процесс занят в основном откачкой и подкачкой страниц. При этом ОС может сделать неверное заключение о низкой производительности использования процессора и, следовательно... принять решение об увеличении степени мультипрограммирования, т.е. о добавлении нового процесса к системе.

Неформально, thrashing означает катастрофическую нехватку фреймов в основной памяти. На практике для пользователя это выглядит следующим образом (автор сам неоднократно испытывал подобные ощущения, вынужденный работать на SPARC -станции с очень малым объемом памяти): жесткий диск буквально "надрывается" от непрерывных обращений, а процесс исполняется крайне медленно. Интересно отметить, что SPARC -станция с 32 мегабайтами памяти и ОС Solaris успешно выдерживали эти экстремальные нагрузки (причем на данной конфигурации пропускалась достаточно большая Java- программа). Это говорит о высокой надежности системы Solaris.

Другой реальный пример – использование ОС Windows XP (Service Pack 3) на компьютере с 512 мегабайтами памяти. При этом возникает почти такое же ощущение - сначала кажется, что неисправен жесткий диск, но затем сразу осознаешь, что все дело в нехватке памяти: самые простые программы, такие как Internet Explorer, Windows Explorer и др., будучи вызванными одновременно (что является обычной практикой) переполняют основную память и вынуждают операционную систему при любом дополнительном действии пользователя (даже при простом передвижении полосы прокрутки по именам файлов в Windows Explorer) непрерывной откачкой и подкачкой.

На рис.15 приведен график зависимости использования процессора от коэффициента мультипрограммирования. При очень большом числе обрабатываемых процессов полезность использования процессора резко падает из-за постоянных откачек и подкачек. Это и есть thrashing.

Рис. 15. График зависимости использования процессора от коэффициента мультипрограммирования

Модель рабочего множества

Если более глубоко проанализировать ситуацию с thrashing, то возникает вопрос, с какой целью используется страничная организация. При использовании локальной модели распределения фреймов, процесс мигрирует от одной локальной модели к другой. Однако локальные модели различных процессов могут пересекаться.

Выражаясь более простым языком, thrashing происходит, если сумма размеров локальных потребностей процессов в основной памяти больше общего размера памяти.

Для борьбы с подобными явлениями в операционных системах для распределения фреймов используется модель рабочего множества. Обозначим через (рабочее множество) фиксированное число обращений к страницам.

Рассмотрим WSS_i (рабочее множество процесса Pi) - общее число обращений к страницам в самой недавней (меняется в зависимости от времени).

Если очень мало, не рассматриваем полную локальную потребность.

Если слишком велико, рассматриваем несколько локальных потребностей.

Если , рассматриваем всю программу.

Вычислим величину - общий объем требований фреймов всех процессов. Пусть m – размер основной памяти.

Если D > m то Thrashing (m - общий размер памяти).

Политика ОС по борьбе с thrashing ’ом заключается в том, чтобы, если D > m, приостановить один из процессов.

Пример использования рабочего множества и вычисления WSS_i приведен на рис. 16.

Рис.16. Пример использования рабочего множества.

Страничная организация по требованию в Windows NT

ОС Windows NT использует страничную организацию " по требованию" и кластеризацию, т.е. подкачку страниц, смежных с затребованной. Процессам выделяются минимальное и максимальное рабочие множества. Минимальное рабочее множество – это набор страниц, которые процесс гарантированно имеет в памяти. Процесс может иметь в памяти число страниц до максимума рабочего множества. Если объем свободной памяти в системе становится меньше некоторого порогового значения (threshold), то ОС выполняет сокращение рабочих множеств процессов (working set trimming). Сокращение рабочих множеств – это изъятие у процессов "лишних" страниц в оперативной памяти, которые превышают минимальный размер их рабочих множеств.

Краткие итоги

Виртуальная память – метод распределения памяти, при котором логическая память процесса отделена от физической, превышает физическую по объему, ее образ хранится во вторичной памяти, а конкретный фрагмент памяти подкачивается в основную память при обращении к нему. Такой метод позволяет расширить адресное пространство, обеспечить совместное использование памяти, сэкономить память при создании процессов.

Виртуальная память может быть реализована путем страничной или сегментной организации по требованию.

Страничная организация по требованию – схема страничной организации, при которой страница подкачивается в основную память только при обращении к ней.При отсутствии адресуемой страницы в основной памяти происходит прерывание – отказ страницы (page fault). Бит valid - invalid элемента таблицы страниц указывает, присутствует ли страница в основной памяти.

При обработке ситуации отказа страницы ОС находит фрейм в основной памяти и подкачивает в него страницу с диска. При отсутствии свободного фрейма выполняется алгоритм замещения страниц – выбор фрейма-жертвы (по какому-либо критерию), откачка его на диск и подкачка на освободившееся место адресуемой страницы.

Виртуальная память дает возможность оптимизировать при создании процесса (дочерний процесс может использовать пространство памяти родительского, если он его не изменяет), а также организовать совместно используемые файлы, отображаемые в память.

При замещении страниц на диск откачиваются только модифицированные страницы (для их указания используется бит модификации в элементе таблицы страниц).

Число отазов страниц обратно пропорционально зависит от числа свободных фреймов у каждого процесса: чем больше фреймов, тем меньше отказов страниц. Исключение – аномалия Belady: возрастание числа отказов при четырех фреймах, по сравнению с тремя в алгоритме FIFO.

Используются следующие алгоритмы замещения страниц: FIFO (замещается страница, загруженная в память раньше всех); оптимальный алгоритм (замещается страница, которая не использовалась в течение наибольшего периода времени); LRU (замещается страница, к которой раньше всего было обращение); LRU с использованием стека страниц с самой ранней по обращению страницей на вершине; замещение страниц с нулевым битом ссылки; алгоритм второго шанса (замещение второй по давности обращений страницы, с сохранением первой в памяти); LFU – замещение реже всего используемой страницы; MFU – замещение чаще всего используемой страницы.

Выделение процессам фреймов в основной памяти для размещения страниц выполняется равномерно (выделяется одинаковое число фреймов), пропорционально размерам процессов, по приоритетам, локально (для каждого процесса свой список свободных фреймов) или глобально (общий список свободных фреймов для всех процессов).

Thrashing – ситуация катастрофической нехватки фреймов в основной памяти, когда процессор занят в основном откачкой и подкачкой. Для борьбы с thrashing реализуется стратегия управления рабочими множествами. Рабочее множество – набор фреймов и страниц, используемых процессом.

В Windows NT каждый процесс имеет минимум и максимум элементов рабочего множества. Если объем свободной памяти меньше некоторого критического порога, рабочие множества всех процессов сокращаются.

В системе Solaris имеется пороговое значение для подкачки страниц; управление страницами выполняется на основе модифицированных показаний часов.

Вопросы для самопроверки:

1. Что такое виртуальная память?

2. Какие преимущества дает применение метода виртуальной памяти?

3. Какие два способа используются для организации виртуальной памяти?

4. Что такое страничная организация по требованию?

5. Что такое сегментная организация по требованию?

6. Что такое отказ страницы (page fault) и как ОС обрабатывает эту ситуацию?

7. Что такое бит valid - invalid?

8. Какие действия выполняет ОС при отсутствии свободного фрейма при обработке отказа страницы?

9. Что такое эффективное время доступа к странице и как оно вычисляется?

10. Что такое копирование при записи (copy-on-write)?

11. Что такое файл, отображаемый в память?

12. Что такое бит модификации и как он используется при откачке замещаемых страниц?

13. Каковы этапы алгоритма замещения страниц?

14. Что такое фрейм-жертва?

15. Что такое коэффициент отказов страниц?

16. Как зависит число отказов страниц от числа свободных фреймов?

17. Каковы принципы алгоритма FIFO замещения страниц?

18. Что такое аномалия Belady?

19. Что такое оптимальный алгоритм замещения страниц?

20. Каковы принципы алгоритма LRU замещения страниц?

21. Каковы принципы алгоритма на основе бита ссылки для замещения страниц?

22. Каковы принципы алгоритма второго шанса для замещения страниц?

23. Каковы принципы алгоритма LFU замещения страниц?

24. Каковы принципы алгоритма MFU замещения страниц?

25. Что такое выделение фреймов и по каким принципам оно может осуществляться?

26. Что такое равномерное выделение фреймов?

27. Что такое пропорциональное выделение фреймов?

28. Что такое выделение фреймов по приоритетам?

29. Что такое глобальное и локальное выделение фреймов?

30. Что такое thrashing и в каких случаях он происходит?

31. Что такое рабочее множество?

32. Каковы особенности страничной организации в Windows NT?

33. Каковы особенности страничной организации в Solaris?

Упражнения

1. Реализуйте модель страничной организации по требованию.

2. Реализуйте алгоритмы замещения страниц, рассмотренные в лекции.

3. Реализуйте модель стратегии рабочего множества с оценкой размеров рабочих множеств процессов и их сокращением, если объем памяти меньше порогового значения.

4. Реализуйте модель файла, отображаемого в память, и его взаимосвязи с таблицами страниц разделяющих его процессов.

ТЕМА 3. УПРАВЛЕНИЕ ПАМЯТЬЮ

 

Лекция 12-13. Виртуальная память

План занятия:

1. Мотивировка концепции виртуальной памяти.

2. Страничная организация по требованию.

3. Обработка ситуации отсутствия страницы в памяти.

4. Отсутствие свободного фрейма. Оценка производительности стратегии обработки страниц по требованию.

5. Преимущества виртуальной памяти при создании процессов.

6. Проблема замещения страниц

7. Алгоритмы замещения страниц.

8. Оптимальный алгоритм замещения страниц.

9. Алгоритм Least Recently Used (LRU).

10. Алгоритмы, близкие к LRU.

11. Алгоритмы со счетчиком.

12. Выделение фреймов

13. Thrashing.

14. Модель рабочего множества.

15. Страничная организация по требованию в Windows NT.

16. Страничная организация в Solaris

 

Виртуальная память – распространенная стратегия распределения памяти, используемая во всех современных операционных системах, основанная на идее расширения физической памяти путем размещения расширенной памяти на диске и использования таблиц страниц (или сегментов) для трансляции адресов. В лекции рассмотрены следующие вопросы:

· Мотивировка концепции виртуальной памяти;

· Потребность в страничной организации;

· Создание процесса и его пространства виртуальной памяти;

· Замена страницы;

· Размещение фреймов;

· Thrashing;

· Примеры организации виртуальной памяти в различных ОС.