Linear Matrix Inequalities in
System and Control Theory
SIAM Studies in Applied Mathematics
This series of monographs focuses on mathematics and its applications to problems
of current concern to industry, government, and society. These monographs will be of
interest to applied mathematicians, numerical analysts, statisticians, engineers, and
scientists who have an active need to learn useful methodology.
Series List
Vol. 1
Vol. 2
Vol. 3
Vol. 4
Vol. 5
Vol. 6
Vol. 7
Vol. 8
Vol. 9
Lie-B˜acklund Transformations in Applications
Robert L. Anderson and Nail H. Ibragimov
Methods and Applications of Interval Analysis
Ramon E. Moore
Ill-Posed Problems for Integrodifierential Equations in Mechanics and
Electromagnetic Theory
Frederick Bloom
Solitons and the Inverse Scattering Transform
Mark J. Ablowitz and Harvey Segur
Fourier Analysis of Numerical Approximations of Hyperbolic Equations
Robert Vichnevetsky and John B. Bowles
Numerical Solution of Elliptic Problems
Garrett Birkhofi and Robert E. Lynch
Analytical and Numerical Methods for Volterra Equations
Peter Linz
Contact Problems in Elasticity: A Study of Variational Inequalities and
Finite Element Methods
N. Kikuchi and J. T. Oden
Augmented Lagrangian and Operator-Splitting Methods in Nonlinear
Mechanics
Roland Glowinski and P. Le Tallec
Vol. 10 Boundary Stabilization of Thin Plate Splines
John E. Lagnese
Vol. 11 Electro-Difiusion of Ions
Isaak Rubinstein
Vol. 12 Mathematical Problems in Linear Viscoelasticity
Mauro Fabrizio and Angelo Morro
Vol. 13
Interior-Point Polynomial Algorithms in Convex Programming
Yurii Nesterov and Arkadii Nemirovskii
Vol. 14 The Boundary Function Method for Singular Perturbation Problems
Adelaida B. Vasil’eva, Valentin F. Butuzov, and Leonid V. Kalachev
Vol. 15
Linear Matrix Inequalities in System and Control Theory
Stephen Boyd, Laurent El Ghaoui, Eric Feron, and Venkataramanan
Balakrishnan
Stephen Boyd, Laurent El Ghaoui,
Eric Feron, and Venkataramanan Balakrishnan
Linear Matrix Inequalities in
System and Control Theory
Society for Industrial and Applied Mathematics
¤
Philadelphia
Copyright c 1994 by the Society for Industrial and Applied Mathematics.
All rights reserved. No part of this book may be reproduced, stored, or transmitted in any
manner without the written permission of the Publisher. For information, write to the Society
for Industrial and Applied Mathematics, 3600 University City Science Center, Philadelphia,
Pennsylvania 19104-2688.
The royalties from the sales of this book are being placed in a fund to help students
attend SIAM meetings and other SIAM related activities. This fund is administered by
SIAM and qualifled individuals are encouraged to write directly to SIAM for guidelines.
Library of Congress Cataloging-in-Publication Data
Linear matrix inequalities in system and control theory / Stephen Boyd
. . . [et al.].
p.
cm. -- (SIAM studies in applied mathematics ; vol. 15)
Includes bibliographical references and index.
ISBN 0-89871-334-X
1. Control theory. 2. Matrix inequalities. 3. Mathematical
I. Boyd, Stephen P. II. Series: SIAM studies in
optimization.
applied mathematics : 15.
QA402.3.L489
515’.64--dc20
1994
94-10477
Contents
Preface
Acknowledgments
1
Introduction
1.1 Overview : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
1.2 A Brief History of LMIs in Control Theory : : : : : : : : : : : : : : :
1.3 Notes on the Style of the Book : : : : : : : : : : : : : : : : : : : : : :
1.4 Origin of the Book : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
2 Some Standard Problems Involving LMIs
2.1 Linear Matrix Inequalities : : : : : : : : : : : : : : : : : : : : : : : : :
2.2 Some Standard Problems
: : : : : : : : : : : : : : : : : : : : : : : : :
2.3 Ellipsoid Algorithm : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
2.4
Interior-Point Methods : : : : : : : : : : : : : : : : : : : : : : : : : : :
2.5 Strict and Nonstrict LMIs : : : : : : : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : :
2.6 Miscellaneous Results on Matrix Inequalities
2.7 Some LMI Problems with Analytic Solutions
: : : : : : : : : : : : : :
Notes and References : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
3 Some Matrix Problems
3.1 Minimizing Condition Number by Scaling : : : : : : : : : : : : : : : :
3.2 Minimizing Condition Number of a Positive-Deflnite Matrix : : : : : :
3.3 Minimizing Norm by Scaling
: : : : : : : : : : : : : : : : : : : : : : :
3.4 Rescaling a Matrix Positive-Deflnite : : : : : : : : : : : : : : : : : : :
3.5 Matrix Completion Problems : : : : : : : : : : : : : : : : : : : : : : :
3.6 Quadratic Approximation of a Polytopic Norm : : : : : : : : : : : : :
3.7 Ellipsoidal Approximation : : : : : : : : : : : : : : : : : : : : : : : : :
Notes and References : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
4 Linear Difierential Inclusions
4.1 Difierential Inclusions
: : : : : : : : : : : : : : : : : : : : : : : : : : :
4.2 Some Speciflc LDIs : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
4.3 Nonlinear System Analysis via LDIs
: : : : : : : : : : : : : : : : : : :
Notes and References : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
5 Analysis of LDIs: State Properties
5.1 Quadratic Stability : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
5.2
Invariant Ellipsoids : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
v
vii
ix
1
1
2
4
5
7
7
9
12
14
18
22
24
27
37
37
38
38
39
40
41
42
47
51
51
52
54
56
61
61
68
vi
Contents
Notes and References : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
6 Analysis of LDIs: Input/Output Properties
Input-to-State Properties
: : : : : : : : : : : : : : : : : : : : : : : : :
6.1
: : : : : : : : : : : : : : : : : : : : : : : :
6.2 State-to-Output Properties
6.3
Input-to-Output Properties : : : : : : : : : : : : : : : : : : : : : : : :
Notes and References : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
72
77
77
84
89
96
7 State-Feedback Synthesis for LDIs
Input-to-State Properties
99
99
7.1 Static State-Feedback Controllers : : : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 100
7.2 State Properties
: : : : : : : : : : : : : : : : : : : : : : : : : 104
7.3
: : : : : : : : : : : : : : : : : : : : : : : : 107
7.4 State-to-Output Properties
Input-to-Output Properties : : : : : : : : : : : : : : : : : : : : : : : : 109
7.5
: : : : : : : : : : : 111
7.6 Observer-Based Controllers for Nonlinear Systems
Notes and References : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 112
8 Lur’e and Multiplier Methods
119
8.1 Analysis of Lur’e Systems : : : : : : : : : : : : : : : : : : : : : : : : : 119
8.2
: : : : : : : : : : : : : : : : : : : : : : 122
8.3 Multipliers for Systems with Unknown Parameters : : : : : : : : : : : 124
Notes and References : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 126
Integral Quadratic Constraints
9 Systems with Multiplicative Noise
131
9.1 Analysis of Systems with Multiplicative Noise : : : : : : : : : : : : : : 131
9.2 State-Feedback Synthesis
: : : : : : : : : : : : : : : : : : : : : : : : : 134
Notes and References : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 136
10 Miscellaneous Problems
141
10.1 Optimization over an A–ne Family of Linear Systems : : : : : : : : : 141
10.2 Analysis of Systems with LTI Perturbations : : : : : : : : : : : : : : : 143
10.3 Positive Orthant Stabilizability : : : : : : : : : : : : : : : : : : : : : : 144
10.4 Linear Systems with Delays : : : : : : : : : : : : : : : : : : : : : : : : 144
10.5 Interpolation Problems : : : : : : : : : : : : : : : : : : : : : : : : : : : 145
10.6 The Inverse Problem of Optimal Control : : : : : : : : : : : : : : : : : 147
10.7 System Realization Problems : : : : : : : : : : : : : : : : : : : : : : : 148
10.8 Multi-Criterion LQG : : : : : : : : : : : : : : : : : : : : : : : : : : : : 150
10.9 Nonconvex Multi-Criterion Quadratic Problems : : : : : : : : : : : : : 151
Notes and References : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 152
Notation
List of Acronyms
Bibliography
Index
157
159
161
187
Copyright c 1994 by the Society for Industrial and Applied Mathematics.
Preface
The basic topic of this book is solving problems from system and control theory using
convex optimization. We show that a wide variety of problems arising in system
and control theory can be reduced to a handful of standard convex and quasiconvex
optimization problems that involve matrix inequalities. For a few special cases there
are \analytic solutions" to these problems, but our main point is that they can be
solved numerically in all cases. These standard problems can be solved in polynomial-
time (by, e.g., the ellipsoid algorithm of Shor, Nemirovskii, and Yudin), and so are
tractable, at least in a theoretical sense. Recently developed interior-point methods
for these standard problems have been found to be extremely e–cient in practice.
Therefore, we consider the original problems from system and control theory as solved.
This book is primarily intended for the researcher in system and control theory,
but can also serve as a source of application problems for researchers in convex op-
timization. Although we believe that the methods described in this book have great
practical value, we should warn the reader whose primary interest is applied control
engineering. This is a research monograph: We present no speciflc examples or nu-
merical results, and we make only brief comments about the implications of the results
for practical control engineering. To put it in a more positive light, we hope that this
book will later be considered as the flrst book on the topic, not the most readable or
accessible.
The background required of the reader is knowledge of basic system and control
theory and an exposure to optimization. Sontag’s book Mathematical Control The-
ory [Son90] is an excellent survey. Further background material is covered in the
texts Linear Systems [Kai80] by Kailath, Nonlinear Systems Analysis [Vid92] by
Vidyasagar, Optimal Control: Linear Quadratic Methods [AM90] by Anderson and
Moore, and Convex Analysis and Minimization Algorithms I [HUL93] by Hiriart{
Urruty and Lemar¶echal.
We also highly recommend the book Interior-point Polynomial Algorithms in Con-
vex Programming [NN94] by Nesterov and Nemirovskii as a companion to this book.
The reader will soon see that their ideas and methods play a critical role in the basic
idea presented in this book.
vii