Matrix cookbook

Contents 1 Basics 5 1.1 Trace and Determinants . . . . . . . . . . . . . . . . . . . . . . . 5 1.2 The Special Case 2x2 . . . . . . . . . . . . . . . . . . . . . . . . . 5 2 Derivatives 7 2.1 Derivatives of a Determinant . . . . . . . . . . . . . . . . . . . . 7 2.2 Derivatives of an Inverse . . . . . . . . . . . . . . . . . . . . . . . 8 2.3 Derivatives of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . 9 2.4 Derivatives of Matrices, Vectors and Scalar Forms . . . . . . . . 9 2.5 Derivatives of Traces . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.6 Derivatives of vector norms . . . . . . . . . . . . . . . . . . . . . 13 2.7 Derivatives of matrix norms . . . . . . . . . . . . . . . . . . . . . 13 2.8 Derivatives of Structured Matrices . . . . . . . . . . . . . . . . . 14 3 Inverses 16 3.1 Basic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.2 Exact Relations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.3 Implication on Inverses . . . . . . . . . . . . . . . . . . . . . . . . 19 3.4 Approximations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.5 Generalized Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.6 Pseudo Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 4 Complex Matrices 23 4.1 Complex Derivatives . . . . . . . . . . . . . . . . . . . . . . . . . 23 4.2 Higher order and non-linear derivatives . . . . . . . . . . . . . . . 26 4.3 Inverse of complex sum . . . . . . . . . . . . . . . . . . . . . . . 26 5 Solutions and Decompositions 27 5.1 Solutions to linear equations . . . . . . . . . . . . . . . . . . . . . 27 5.2 Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . 29 5.3 Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . 30 5.4 Triangular Decomposition . . . . . . . . . . . . . . . . . . . . . . 32 5.5 LU decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . 32 5.6 LDM decomposition . . . . . . . . . . .