逆行列を求める前に、まずは土台となる余因子行列（英語：adjugate matrix / classical adjoint matrix）の正確な定義を整理しておきましょう。記号では $\widetilde{A}$ や $\operatorname{adj}(A)$ と表記されます。
$n$ 次正方行列 $A$ において、$i$ 行目と $j$ 列目を取り除いて作られる $(n-1)$ 次の正方行列の行列式を小行列式 $M_{ij}$ と呼びます。この小行列式に符号因子 $(-1)^{i+j}$ を掛け合わせたものが余因子（cofactor） $C_{ij}$ です。
$$C_{ij} = (-1)^{i+j} M_{ij}$$
ここで最も重要なのが余因子行列の定義です。$(i, j)$ 成分に $C_{ij}$ をそのまま並べるのではなく、行と列を入れ替えた $C_{ji}$ を $(i, j)$ 成分に配置します。すなわち、余因子を成分とする行列（余因子配列表）の転置行列こそが余因子行列です。
$$\widetilde{A} = \operatorname{adj}(A) = \begin{pmatrix} C_{11} & C_{21} & \cdots & C_{n1} \\ C_{12} & C_{22} & \cdots & C_{n2} \\ \vdots & \vdots & \ddots & \vdots \\ C_{1n} & C_{2n} & \cdots & C_{nn} \end{pmatrix} = \begin{pmatrix} C_{11} & C_{12} & \cdots & C_{1n} \\ C_{21} & C_{22} & \cdots & C_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ C_{n1} & C_{n2} & \cdots & C_{nn} \end{pmatrix}^T$$
高校数学や大学初年次で学ぶ「$2 \times 2$ 行列の逆行列の公式」も、実はこの余因子行列の性質に基づいています。
$$A = \begin{pmatrix} a & b \\ c & d \end{pmatrix} \implies \widetilde{A} = \begin{pmatrix} d & -b \\ -c & a \end{pmatrix}$$
主対角成分（$a$ と $d$）を入れ替え、副対角成分（$b$ と $c$）にマイナスを付けるという暗記ルールは、まさに余因子を計算して転置した結果そのものです。
