Решение задач оптимального управления на основе методов вариационного исчисления.

Задача с закрепленными концами и фиксированным временем

Она формулируется как задача Лагранжа: требуется отыскать до­пустимую пару (х, u), где х - вектор состояния, а u - вектор управ­ления, таких, чтобы:

;

. (1.242)

В этом случае функция Лагранжа (1.238) имеет вид

, (1.243)

а уравнение Эйлера-Лагранжа

(1.244)

Если ввести функцию Гамильтона

, (1.245)

то и уравнения приобретают вид

(1.246)

Задача с подвижными концами и фиксированным временем.

В этом случае задача оптимального управления может быть зада­чей Лагранжа, Больца и Майера. Формулируется она следующим образом: найти допустимую пару (х, u) таких, чтобы

;

. (1.247)

Используя прием Лагранжа, преобразуем эту задачу в простейшую задачу Больца:

, (1.248)

где

.

В этом случае уравнения Эйлера совпадают с (1.244) и (1.246), но одновременно появляются в соответствии с условиями трансвер­сальности (1.230) дополнительные уравнения, которые легко получить из (1.230), заменив fo на L:

. (1.249)

Задача с нефиксированным временем.

В этой задаче, в отличие от (1.247), в явном виде могут вхо­дить начальный и конечный моменты времени, и она формулируется сле­дующим образом: найти допустимую пару (х, u) таких, чтобы

(1.250)

После преобразования этой задачи в задачу Больца получим

, (1.251)

где G и L имеют прежнюю структуру, а уравнение Эйлера совпадает с (1.244) или (1.246), кроме того, должны быть включены условия транс­версальности (1.249), которые в связи с вариацией начального и ко­нечного моментов времени дополняются (учитывая (1.251), (1.243), (1.245)) уравнениями в соответствии с (1.233):

. (1.252)

Пример 1.11.

Уравнение системы . Найти матрицы А и В, определить управляемость системы. Привести к виду .

Минимизировать так, чтобы

Решение.

Уравнение объекта в нормальной форме Коши примет вид:

причем .

Матрица управляемости

следовательно, система управляема.

Для определения оптимального управления воспользуемся методом вариационного исчисления (формула Лагранжа-Эйлера).

Функция Лагранжа

.

Неизвестные С₁ и С₂ определяются из краевых условий. Для этого найдем законы изменения фазовых координат. Подставляя управление в уравнение объекта и интегрируя обе части, определим закон изменения координаты .

.

Аналогично из уравнения объекта, найдем .

.

Решая краевую задачу, определим С₁, С₂, С₃, С₄.

Оптимальное управление имеет вид:

Пример 1.12.

Система описывается уравнением

где

Оценить управляемость системы. Найти управление U(t) такое, что при условии

Решение.

Управляемость .

, следовательно, система наблюдаема.

Функция Лагранжа

Гамильтониан

Из второго уравнения системы следует

.

Из граничных условий определяем

Из условия следует

Из следует

Из граничных условий следует

Из системы уравнений

находим

После подстановки получим:

Тогда оптимальное управление имеет вид:

Пример 1.13.

Уравнение системы

Найти, используя уравнение Эйлера – Лагранжа, оптимальные u(t), минимизирующие при начальных условиях .

Решение.

Составим гамильтониан

Из уравнений Эйлера-Лагранжа:

имеем

Найденное управление u подставим в уравнение объекта. Решая систему, найдем:

Используя краевые условия, определим С₁, С₂, С₃, С₄:

Ответ:

Пример 1.14.

Найти U(t), минимизирующее при неопределенном

для системы

Решение.

Составим гамильтониан:

.

Уравнения Эйлера-Лагранжа имеют вид:

.

Составим характеристическое уравнение

.

Используя граничные условия, получим:

.

Так как в задаче конечный момент времени не фиксирован, то необходимо записать условия трансверсальности. Для этого составим функцию G. Так как на начальное и конечное состояние объекта ограничения не наложены, то G=0. Тогда условия трансверсальности примут вид:

.

Подставляя вместо её значение и приводя подобные слагаемые, получим:

Решим уравнения

1)

пусть

.

Условию y>1 удовлетворяет корень

.

2) Для второго корня выполним аналогичные операции.

пусть

Корни данного уравнения не удовлетворяют условию y>1.

Далее найдем .

Пусть , тогда .

Ответ:

где

Пример 1.15.

Уравнение системы

Найти, используя уравнение Эйлера – Лагранжа, оптимальные u(t), минимизирующие при начальных условиях

Решение.

Составим гамильтониан:

Из уравнений Эйлера-Лагранжа:

получим:

Найденное управление u подставим в уравнение объекта. Решая систему, найдем:

Используя краевые условия, определим С₁, С₂, С₃, С₄:

Так как координата не закреплена, то необходимо использовать условия трансверсальности. По условию задачи на координату дополнительные ограничения не наложены. Следовательно, G=0. Тогда условия трансверсальности примут вид:

, тогда

Тогда оптимальное управление имеет вид

Пример 1.16.

Уравнение системы .

Найти, используя уравнение Эйлера – Лагранжа и условия трансверсальности, оптимальное управление u(t), минимизирующее при . Определить .

Решение.

Запишем гамильтониан

Так как координаты и не зафиксированы на правом конце, и конечный момент времени также не фиксирован, то условия трансверсальности в данной задаче имеют вид:

С учетом ограничения, наложенного на координату , запишем функцию G:

После подстановки во второе уравнение системы и приведя подобные слагаемые, получим квадратное уравнение относительно .

Решая это уравнение, получим два корня и . Так как , то условию задачи удовлетворяет второй корень . Далее найдем константы и .

Пусть .

Ответ:

Контрольные вопросы и задания

1. Сформулируйте общую постановку задачи оптимального управле­ния.

2. Приведите классификацию задач оптимального управления.

3. Какие задачи различают в зависимости от критерия оптималь­ности?

4. Сформулируйте задачу Лагранжа и покажите метод ее решения.

5. Чем отличается задача с подвижными концами и фиксированным временем от задачи Лагранжа? Сформулируйте ее постановку и укажите особенности метода решения задачи.

6. Что означают условия трансверсальности?

7. В чем заключается особенность задач с нефиксированным вре­менем? Сформулируйте постановку задачи. Какие дополнительные усло­вия при этом следует учитывать?

8. Определите оптимальное управление объектом заданным урав­нением

,

9. В процессе перехода из фиксированного начального в фиксированное конечное состояние при условии минимума функционала

.

10.Определить оптимальное управление объектом

.

1.4.5.Принцип максимума Понтрягина

В прикладных задачах зачастую на управление накладывают огра­ничения типа неравенств. В таких задачах управление может иметь разрывы. Метод множителей Лагранжа не позволяет определить число и местоположение точек разрыва, и поэтому в таких случаях он не по­зволяет находить оптимальное управление. Такие задачи эффективно решаются с помощью принципа максимума, который Л.С.Понтрягин сфор­мулировал в 1953 году как необходимое условие экстремума для задач оптимального управления.

Задача с закрепленными концами и фиксированным временем.

При отсутствии ограничений на фазовые координаты задачу опти­мального управления можно сформулировать как задачу Лагранжа:

(1.253)

Все функции f_i непрерывны по X_i, U_j, t и непрерывно дифференци­руемы no x₁,...,x_n, t. Отличие от соответствующей задачи Лагранжа заключается в том, что ограничение задается в виде включения uÎU, где U - допустимое множество значений управления, и не требуется гладкость (непрерывная дифференцируемость) функций f_± по управле­нию.

Допустимым принимается управление u(t), принадлежащее к клас­су кусочно-непрерывных функций и принимающее значения из допусти­мого множества U.

Фазовая траектория называется допустимой, если она является кусочно-гладкой. Пара (u(t)_rx(t)) называется допустимой для задачи (1.253), если u(t) и x(t) являются допустимыми управлением и траекто­рией и x(t) при u(t)= x(t) удовлетворяет уравнениям и краевым усло­виям этой задачи.

Составим функцию Лагранжа:

, (1.254)

где Гамильтониан

, (1.255)

назван функцией Понтрягина и отличается от Н в вариационных зада­чах отсутствием ограничений на управление, имеющих в данном случае вид включения u Î U.

Тогда задача сводится к следующей:

. (1.256)

Функционал J максимизируется, хотя функционал J в исходной задаче минимизируется, так как множитель y₀= -1.

Пусть (х*(t),u*(t),у*(t)) - решение задачи (1.256). Тогда зада­ча (1.256) равносильна следующим двум:

;

.

С учетом (1.254) эти выражения будут иметь вид

; (1.257)

. (1.258)

Граничные условия для (1.257), (1.258) те же (1.256).

Задача (1.257) - простейшая задача вариационного исчисления. Для нее необходимые условия имеют вид

; (1.259)

. (1.260)

Решение задачи (1.258) очевидно: управление u* доставляет мак­симум в этой задаче в том и только в том случае, если всюду на [t₀, t_f], кроме точек разрыва u*(t), выполнено равенство

(1.261)

Условия задачи (1.257) совместно с условием (1.261) составляют необходимые условия задачи (1.253), называемые принципом максимума Понтрягина.

Уравнения (1.260) совпадает с уравнениями объекта и поэтому их можно не рассматривать. Уравнения (1.259) называют сопряженными уравнениями или сопряженной системой.

Принцип максимума. Для того, чтобы допустимая для задачи (1.253) пара (u*(t), x*(t)) была решением, необходимо, чтобы сущест­вовали такие не обращающиеся одновременно в нуль константа и решение сопряженной системы (1.259) при х (t) =x*(t) и u(t)=u*(t), что при любом t Î [t₀, t_f], кроме точек разрыва u*(t) функция достигает при u(t)=u*(t) максимума, т.е. выполняется соотношение (1.261).

Задача с подвижными концами

Рассмотрим следующую задачу Больца:

(1.262)

Функции непрерывны и непрерывно дифференцируемы. Функции обладают такими же свойствами, что и (1.253).

Приемом Лагранжа эту задачу можно свести к следующей простей­шей вариационной задаче:

где .

Как и в случае задачи с закрепленными концами, последняя за­дача расщепляется на две и получаются необходимые условия в форме принципа максимума. Допустимая пара (u(t), х(t)) для задачи (1.262) определяется так же, как и для задачи (1.253).

Принцип максимума. Для того, чтобы допустимая для задачи (1.262) пара (u*(t),x*(t),t Î [t₀,t_f]), была ее решением, необходимо:

1) существование таких необращающихся одновременно в нуль кон­станты , констант и решения со­пряженной системы (1.259) при u(t)=u*(t) и x(t)=x*(t), что при любом t Î [to,tf], кроме точек разрыва u*(t), функция дос­тигает максимума, т.е. выполняется соотношение (1.261);

2) выполнение условий трансверсальности (1.249), (1.252).

Рассмотрим связь между принципом максимума и методом множите­лей Лагранжа. Функция Понтрягина (1.255) отличается от гамильтониа­на, введенного ранее тем, что в ней не учтено ограничение на управление. Сопряженные уравнения (1.259) совпадают с уравнениями Эйлера-Лагранжа , если фазовое ограничение отсутствует (функция от фазовых координат не зависит). Они не содержат уравнений Эйлера-Лагранжа , которые определяют условия стационарности. Вместо них имеется условие максимума. Если ограничения на управление задается метод неопределенных множителей Лагранжа нахождения экстремума функции, из получим недостающие уравнения Эйлера-Лагранжа.

Задача максимального быстродействия

Эта задача формулируется следующим образом: найти допустимое управление, переводящее заданный объект из начальной точки (мно­жества) в конечную (конечное множество) за минимальное вре­мя. Она является частным случаем задачи с подвижными концами и не­фиксированным временем. Если положить t₀=0, то критерий оптималь­ности имеет вид J=t_f, поэтому в данном случае g₀=t_ff f₀=0 и функция Понтрягина .Если концы закреплены, то G=-g₀=-t_f и условия трансверсальности принимают вид

Рассмотрим задачу максимального быстродействия, когда объект описывается линейными дифференциальными уравнениями:

. (1.263)

Эта задача называется линейной задачей максимального быстро­действия.

В матричной форме уравнения объекта имеют вид

Предполагается, что эти уравнения являются уравнениями в от­клонениях, поэтому конечное состояние, в которое нужно перевести объект, есть начало координат (x(t_f)).

Функция Понтрягина

где подчиняется сопряженному уравнению

,

или сопряженной системе уравнений

.

Согласно принципу максимума, оптимальное управление находят из условия

где .

Если выполняются так называемые условия нормальности, то сумма обращается в нуль только в изолированных точках.

В этом случае из последнего тождества следует, что координаты оптимального управления u* кусочно-постоянны и при­нимают крайние значения a_j или b_j:

В частном случае, когда ограничение имеет вид

.

Условие оптимальности.

Введем в рассмотрение (n´n) матрицы ,где – j-е столбцы матриц .

Для объекта выполнено условие нормальности или условие общности положения, если матрицы M[j] не вырождены, т.е их столбцы линейно независимы. Объект в этом случае называется нормальным.

Теорема об n интервалах.

Если в линейной задаче максимального быстродействия объект является нормальным, и его характеристическое уравнение

det (A-sE)=0

имеет только действительные корни, то оптимальное управление кусочно-постоянны, принимают только крайние значения и имеют не более n интервалов постоянства, т.е не более n-1 переключений.

Если характеристическое уравнение имеет комплексные корни, то число переключений зависит от начальных условий. Оно может быть сколь угодно большим, но конечным.

Пример 1.17.

Требуется за минимальное время достичь заданного перемещения по координате для системы, описываемой уравнениями

Граничные условия Найти время переключения и при .

Решение.

Так как объект требуется перевести из начального состояния в конечное за минимальное время, то функционал примет вид:

Составим гамильтониан:

.

Гамильтониан достигает максимального значения в том случае, если управление по знаку совпадает с функцией f₂, тогда:

Найдем момент переключения.

Момент переключения для определим из условия непрерывности фазовых координат:

Момент переключения для :

Решая уравнение, получим:

Составим уравнение

Получим .

Ответ:

Момент переключения .

;

Пример 1.18.

Требуется за заданное время Т достичь максимальное перемещение по координате при ограничениях на управление .

Состояние системы описывается уравнениями:

Найти и траектории .

Решение

Используем принцип максимума Понтрягина. Задача с подвижным правым концом. Приведем к задаче Больца.

Функция Понтрягина или

Условие максимума

Откуда

Условия трансверсальности (правый конец)

где -момент переключения.

Определим точку разрыва (момент переключения)

откуда получаем:

Определим траекторию

В момент переключения

Ответ:

Контрольные вопросы

1. Какова область применения метода оптимизации с использова­нием принципа максимума Понтрягина?

2. Сформулируйте задачу оптимизации при фиксированном времени с закрепленными концами.

3. Приведите необходимые условия принципа максимума и сформу­лируйте его.

4. Каковы особенности задачи оптимизации с подвижными концами. Сформулируйте принцип максимума для этой задачи.

5. Дайте формулировку задачи оптимального быстродействия. Сформулируйте ее постановку.

6. Приведите условия решения задачи оптимального быстродейст­вия.

7. Определите оптимальное по быстродействию управление объек­том, уравнение которого представляет колебательное звено

где р - постоянная.

1.4.6.Метод динамического программирования

Этот метод стабилизации многошаговых процессов, основу кото­рого составляют:

- принцип оптимальности;

- инвариантное погружение;

- функциональное управление, получаемое на основе принципа оп­тимальности и инвариантного погружения.

Основная идея метода заключается в следующем. Вместо решения исходной задачи ее включают в некоторое семейство задач оптимиза­ции (инвариантное погружение). При этом может оказаться, что между отдельными задачами существуют простые соотношения и среди задач найдутся такие, которые легко решаются. Тогда, используя решение и соотношения, связывающие отдельные семейства, получают решение исходной задачи. Например, требуется найти минимум функции вида:

, (1.264)

где - прямое произведение облас­тей (множеств) определения функций f_i (x_i). Рассмотрим семейство задач

. (1.265)

В последнем соотношении

.

В (1.265) параметр m можно рассматривать как дискретное время Введем так называемую функцию Беллмана

.

Очевидно

.

Но второе слагаемое в последнем выражении есть В_га, поэтому функция Беллмана удовлетворяет функциональному уравнению

,

или в силу независимости В_m от x_m+1

, (1.266)

причем

Решая (1.266) с учетом последнего условия, получим и . Решением исходной задачи будут В_n и .

Таким образом, метод динамического программирования сводит задачу минимизации скалярных функций от n переменных к n задачам минимизации скалярных функций одной переменной. В результате суще­ственно снижается объем вычислений.

При числовом решении задачи без использования метода динами­ческого программирования при G_i (i=1,...,n) - конечных множествах, состоящих каждая из i точек, методом перебора потребовалось бы рассмотреть iⁿ вариантов, а с использованием метода динамического программирования - всего i×n вариантов.

При использовании (1.266) вычисление В_m производится в направле­нии возрастания аргумента, т.е. в "прямом времени", поэтому урав­нение (1.266) называют прямым уравнением Беллмана. Уравнение Беллма­на в обратном времени называют обратным уравнением Беллмана.

Для получения обратного уравнения Беллмана производят инвари­антное погружение исходной задачи в семейство задач:

где

При m=1 имеем

.

Введем функцию Беллмана

Очевидно,

,

или

(1.267)

В более сложных случаях при выводе уравнения Беллмана исполь­зуется принцип оптимальности.

Принцип оптимальности

В общем случае принцип оптимальности формулируется следующим образом: оптимальная стратегия (поведение) обладает тем свойством, что, каковы бы ни были начальное состояние и решения на начальном этапе, решения на последующем этапе должны составлять оптимальную стратегию относительно состояния, которое получается в результате принятия решений на начальном этапе.

В задачах оптимального управления оптимальность определяется функционалом (критерием оптимальности) J(u(t),x(t)), состояние -фазовым вектором x(t), стратегия - это управление u(t) на всем интервале [t₀, t_f], решение - это выбор управления.

Для задачи оптимизации справедлив принцип оптимальности, об­ладающий марковским свойством. По определению, задача оптимального управления обладает марковским свойством, если после выбора управ­ления на интервале [t, t¢] влияние процесса управления (u(t), x(t)) на оставшемся интервале [t¢, t_f ] на величину функционала J(u(t),x(t)) зависит только от состояния x ¢(t¢) в конце начального интервала и выбора управления в последующие моменты времени, т.е. на интервале [t', t_f].

Для формулировки принципа оптимальности рассмотрим задачу

(1.268)

Для этой задачи справедлив принцип оптимальности, формули­руемый следующим образом: для оптимальности допустимой для задачи (1.268) пары (u*(t), x*(t)) необходимо, чтобы при любом t' Î [t₀, t_f] управление u*[t',t_f] было оптимальным относительно состояния x*(t), в котором окажется объект в момент t' при использовании на началь­ном отрезке времени t₀<t<t' управления u*[t₀,t'].

Этот принцип называют прямым принципом оптимальности.

Это утверждение доказывается от противного.