Tensory w literaturze dotyczącej sieci neuronowych: jaka jest najprostsza definicja?

16

W literaturze dotyczącej sieci neuronowych często spotykamy słowo „tensor”.

Czy różni się od wektora? A z matrycy? Czy masz jakiś konkretny przykład, który wyjaśnia jego definicję?

Jestem trochę zdezorientowany co do jego definicji. Wikipedia nie pomaga i czasami mam wrażenie, że jej definicja zależy od konkretnego używanego środowiska uczenia maszynowego (TensorFlow, Caffee, Theano).

użytkownik_1177868
źródło
1
+1. Bardzo powiązane: stats.stackexchange.com/a/198395/28666 .
ameba mówi Przywróć Monikę

Odpowiedzi:

12

Do celów analizy danych można skutecznie traktować je jako tablice, być może wielowymiarowe. Zatem obejmują one skalary, wektory, macierze i wszystkie tablice wyższego rzędu.

Dokładna definicja matematyczna jest bardziej skomplikowana. Zasadniczo chodzi o to, że tensory przekształcają funkcje wieloliniowe w funkcje liniowe. Zobacz (1) lub (2) . (Funkcje wieloliniowe są funkcjami, które są liniowe w każdym z ich składników, przykładem jest wyznacznik uważany za funkcję wektorów kolumnowych).

Jedną konsekwencją tej matematycznej właściwości definiującej tensory jest to, że tensory ładnie przekształcają się w stosunku do jakobianów, które kodują przekształcenia z jednego układu współrzędnych na inny. Dlatego często uważa się definicję tensora za „obiekt, który przekształca się w określony sposób pod wpływem zmian współrzędnych” w fizyce. Zobacz na przykład ten film lub ten .

Jeśli mamy do czynienia z wystarczająco „ładnymi” obiektami (wszystkie pochodne, które chcielibyśmy istnieć i które są dobrze zdefiniowane), wówczas wszystkie te sposoby myślenia o tensorach są zasadniczo równoważne. Zauważ, że pierwszy sposób myślenia o tensorach, o których wspomniałem (tablice wielowymiarowe), ignoruje różnicę między tensorami kowariantnymi i przeciwwariantowymi. (Rozróżnienie dotyczy tego, jak zmieniają się ich współczynniki przy zmianie podstawy bazowej przestrzeni wektorowej, tj. Zasadniczo między wektorami rzędów i kolumn.) Zobacz inne pytania StackExchange: (1) (2) (3) (4)

W książce używanej przez naukowców badających zastosowania tensorów w sieciach neuronowych (na przykład w Technion w Izraelu) znajduje się Przestrzeń tensorowa i rachunek numeryczny Wolfganga Hackbuscha . Nie przeczytałem go jeszcze sam, chociaż niektóre późniejsze rozdziały wydają się wykorzystywać zaawansowaną matematykę.

Chill2Macht
źródło
3
+1. Bardzo powiązane: stats.stackexchange.com/a/198395/28666 . Wydaje mi się, że w uczeniu maszynowym tensory są po prostu tablicami i niczym więcej. W matematyce tensory są rozumiane inaczej; i zwykle słowo „tensor” jest używane węższy niż „element iloczynu tensorowego”. Zobacz połączoną odpowiedź.
ameba mówi Przywróć Monikę