Co uzasadnia to obliczenie pochodnej funkcji macierzowej?

W kursie uczenia maszynowego Andrew Nga używa tej formuły:

$\nabla_A tr(ABA^TC) = CAB + C^TAB^T$

i robi szybki dowód, który pokazano poniżej:

$\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T \\ = C^TAB^T + CAB$

Dowód wydaje się bardzo gęsty bez żadnych komentarzy i mam problem z jego zrozumieniem. Co dokładnie wydarzyło się od drugiej do trzeciej równości?

Istnieje subtelne, ale ciężkie nadużycie zapisu, które powoduje, że wiele kroków jest mylących. Zajmijmy się tym problemem, wracając do definicji mnożenia macierzy, transpozycji, śladów i pochodnych. Dla tych, którzy chcą pominąć wyjaśnienia, wystarczy przejść do ostatniej części „Składanie wszystkiego razem”, aby zobaczyć, jak krótka i prosta może być rygorystyczna demonstracja.

---

Notacja i pojęcia

Wymiary

Aby wyrażenie miała sens, gdy jest macierzą , musi być macierzą (kwadratową) , a musi być macierzą , skąd iloczynem jest macierz. Aby pobrać ślad (który jest sumą elementów ukośnych, nazwa ), a następnie , czyniąc kwadratową macierzą.A m × n B n × n C m × p m × p Tr ( X ) = ∑ i X i i p = m $ABA^\prime C$$A$$m\times n$$B$$n\times n$$C$$m\times p$$m\times p$$\operatorname{Tr}(X)=\sum_i X_{ii}$$p=m$$C$

Pochodne

Oznaczenie „ ” pojawia się w odniesieniu do pochodnej wyrażenia względem . Zwykle, różnicowanie jest to operacja wykonywana w funkcji . Pochodna w punkcie jest przekształcenie liniowe . Po wybraniu zasad dla tych przestrzeni wektorowych transformacja taka może być reprezentowana jako macierz Nie o to chodzi w tym przypadku! A f : R N → R M x ∈ R N D f ( x ) : R N → R M M × $\nabla_A$$A$$f:\mathbb{R}^N\to\mathbb{R}^M$$x\in \mathbb{R}^N$$Df(x):\mathbb{R}^N\to\mathbb{R}^M$$M\times N$

Macierze jako wektory

Zamiast tego jest uważany za element : jego współczynniki są rozwijane (zwykle albo rząd po rzędzie lub kolumna po kolumnie) do wektora o długości . Funkcja ma rzeczywiste wartości, skąd . W związku z tym musi być macierzą : to wektor wiersza reprezentujący formę liniową na . Jednak obliczenia w pytaniu wykorzystują inny sposób reprezentowania form liniowych: ich współczynniki są zwijane z powrotem do macierzy .R m n N = m n f ( A ) = Tr ( A B A ′ C ) M = 1 D f ( x ) 1 × m n R m n m × $A$$\mathbb{R}^{mn}$$N=mn$$f(A)=\operatorname{Tr}(ABA^\prime C)$$M=1$$Df(x)$$1\times mn$$\mathbb{R}^{mn}$$m\times n$

Ślad jako forma liniowa

Niech będzie stałą macierzy. Następnie, z definicji śladu i mnożenia macierzy,m × $\omega$$m\times n$

$$\eqalign{ \operatorname{Tr}(A\omega^\prime) &= \sum_{i=1}^m(A\omega^\prime)_{ii} = \sum_{i=1}^m\left(\sum_{j=1}^n A_{ij}(\omega^\prime)_{ji}\right) = \sum_{i,j} \omega_{ij}A_{ij} }$$

Wyraża to najbardziej ogólną możliwą kombinację liniową współczynników : jest macierzą o tym samym kształcie co a jej współczynnik w rzędzie i kolumnie jest współczynnikiem w kombinacji liniowej. Ponieważ , role i mogą się zmieniać, dając równoważne wyrażenieω A i j A i j ω i j A i j = A i j ω i j ω $A$$\omega$$A$$i$$j$$A_{ij}$$\omega_{ij}A_{ij}=A_{ij}\omega_{ij}$$\omega$$A$

$$\sum_{i,j} \omega_{ij}A_{ij} = \operatorname{Tr}(A\omega^\prime) = \operatorname{Tr}(\omega A^\prime).\tag{1}$$

Poprzez identyfikację stałej macierzy pomocą jednej z funkcji nazwa lub , możemy reprezentować liniowy formuje się na przestrzeni macierzy jako macierzy. (Nie myl ich z pochodnymi funkcji z do !)A → Tr ( A ω ′ ) A → Tr ( ω A ′ ) m × n m × n R n R$\omega$$A\to \operatorname{Tr}(A \omega^\prime)$$A\to \operatorname{Tr}(\omega A^\prime)$$m\times n$$m\times n$$\mathbb{R}^n$$\mathbb{R}^m$

---

Obliczanie pochodnej

Definicja

Pochodne wielu funkcji macierzowych spotykanych w statystykach można najłatwiej i rzetelnie obliczyć z definicji: tak naprawdę nie trzeba uciekać się do skomplikowanych reguł różnicowania macierzy. Definicja ta mówi, że jest różniczkowalna dla wtedy i tylko wtedy, gdy istnieje transformacja liniowa taka, żex $f$$x$$L$

$$f(x+h) - f(x) = Lh + o(|h|)$$

na dowolnie małe przemieszczenia . Notacja little-oh oznacza, że ​​błąd popełniony w przybliżeniu różnicy przez jest arbitralnie mniejszy niż rozmiar dla wystarczająco małego . W szczególności zawsze możemy ignorować błędy, które są proporcjonalne do .$h\in \mathbb{R}^N$$f(x+h)-f(x)$$Lh$$h$$h$$|h|^2$

Kalkulacja

Zastosujmy definicję do omawianej funkcji. Pomnożenie, rozwinięcie i zignorowanie terminu z iloczynem dwóch ,$h$

$$\eqalign{ f(A+h)-f(A) &= \operatorname{Tr}((A+h)B(A+h)^\prime C) - \operatorname{Tr}(ABA^\prime C) \\ &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|).\tag{2} }$$

Aby zidentyfikować pochodną , musimy wprowadzić ją do postaci . Pierwszy składnik po prawej stronie znajduje się już w tej postaci z . Drugi termin po prawej stronie ma postać nazwa dla . Napiszmy to:$L=Df(A)$$(1)$$\omega = BA^\prime C$$\operatorname{Tr}(Xh^\prime C)$$X=AB$

$$\operatorname{Tr}(Xh^\prime C) = \sum_{i=1}^m\sum_{j=1}^n\sum_{k=1}^m X_{ij} h_{kj} C_{ki} = \sum_{i,j,k}h_{kj} \left(C_{ki}X_{ij}\right) =\operatorname{Tr}((CX)h^\prime).\tag{3}$$

Przywołując , można przepisać$X=AB$$(2)$

$$f(A+h) - f(A) = \operatorname{Tr}(h\, BA^\prime C\,) + \operatorname{Tr}(CAB\, h^\prime\,)+o(|h|).$$

W tym sensie możemy uznać pochodną w za ponieważ te macierze grają role we wzorach śledzenia .$f$$A$

$$Df(A) = (BA^\prime C)^\prime + CAB = C^\prime A B^\prime + CAB,$$ $\omega$$(1)$

---

Kładąc wszystko razem

Oto kompletne rozwiązanie.

Niech będzie macierzą macierzy, an macierzy, a an macierzy. Niech . Niech będzie macierzą macierzy o dowolnie małych współczynnikach. Ponieważ (według tożsamości ) jest różniczkowalna, a jej pochodna jest formą liniową określoną przez macierz$A$$m\times n$$B$$n\times n$$C$$m\times m$$f(A) = \operatorname{Tr}(ABA^\prime C)$$h$$m\times n$$(3)$

$$\eqalign{f(A+h) - f(A) &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|) \\ &=\operatorname{Tr}(h(C^\prime A B^\prime)^\prime + (CAB)h^\prime) + o(|h|),}$$ $f$ $$C^\prime A B^\prime + CAB.$$

Ponieważ zajmuje to tylko około połowy pracy i obejmuje tylko najbardziej podstawowe manipulacje macierzami i śladami (mnożenie i transpozycja), należy to uznać za prostszą - i prawdopodobnie bardziej widoczną - demonstrację wyniku. Jeśli naprawdę chcesz zrozumieć poszczególne etapy oryginalnej demonstracji, może okazać się owocne porównanie ich z przedstawionymi tutaj obliczeniami.