Jaka jest różnica między „uczeniem się na zasadzie transferu” a „adaptacją domeny”?

19

Czy jest jakaś różnica między „uczeniem się przez transfer” a „adaptacją domeny”?

Nie wiem o kontekście, ale rozumiem, że mamy jakiś zestaw danych 1 i trenujemy go, po czym mamy inny zestaw danych 2, do którego chcemy dostosować nasz model bez ponownego szkolenia od zera, dla którego „uczenie się przez przeniesienie” i „adaptacja domeny” pomaga rozwiązać ten problem.

Według dziedziny Convolutional Neural Networks:

  • Przez „uczenie się przez przeniesienie” mam na myśli „dostrojenie” [1]

  • W tym przypadku [2] jest to bez nadzoru, ale czy „adaptacja domeny” zawsze powinna być bez nadzoru?

deep-learning terminology conv-neural-network transfer-learning domain-adaptation mrgloom
źródło
3
Ankieta na temat uczenia się przez przeniesienie przeprowadzona przez Pan et. al, 2009 zawiera pewien wgląd. Kategoryzują adaptację domen jako rodzaj uczenia się transferu.
kedarps

Odpowiedzi:

13

Wydaje się, że istnieje pewien spór między badaczami co do różnicy między „uczeniem się przez transfer” a „adaptacją domeny”.

Od {0}:

Pojęcie adaptacji domeny jest ściśle związane z uczeniem się przez transfer. Uczenie się przez przeniesienie to ogólny termin odnoszący się do klasy problemów związanych z uczeniem maszynowym, które obejmują różne zadania lub dziedziny. W literaturze nie ma jeszcze standardowej definicji uczenia się przez transfer. W niektórych dokumentach jest wymienny z adaptacją domen.

Od 1}:

wprowadź opis zdjęcia tutaj

Bibliografia:

Franck Dernoncourt
źródło
10

Z artykułu Hal Daume [1]:

Standardowe ustawienie klasyfikacji to rozkład wejściowy p (X) i rozkład etykiet p (Y | X). Adaptacja domeny: gdy p (X) zmienia się między treningiem a testem. Transfer uczenia: kiedy p (Y | X) zmienia się między treningiem a testem.

Innymi słowy, w DA rozkład danych wejściowych zmienia się, ale etykiety pozostają takie same; w TL rozkłady wejściowe pozostają takie same, ale etykiety się zmieniają.

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( lustro )
Rahul Jha
źródło
Witamy w Cross Validated ! Poświęć chwilę, aby zobaczyć naszą wycieczkę . Preferowane jest, aby odpowiedzi były samodzielne z odpowiednimi cytatami. Jeśli użyjesz informacji z linku, aby podać rozsądną odpowiedź na pytanie wraz z linkiem do dalszego czytania, byłaby to znacznie lepsza odpowiedź.
Tavrock
1
p(Y|X)p(X)
Zgadzam się z @caveman. Tak jest w przypadku wielu scenariuszy uczenia się w trybie transferu.
pir
2

W literaturze dotyczącej uczenia się przez transfer istnieje szereg niespójności terminologicznej. Zwroty, takie jak uczenie się transferu i adaptacja domeny są używane w odniesieniu do podobnych procesów. Adaptacja domen to proces dostosowywania jednej lub więcej domen źródłowych w celu przesyłania informacji w celu poprawy wydajności docelowego ucznia. Proces adaptacji domeny próbuje zmienić domenę źródłową, aby przybliżyć dystrybucję źródła bliżej dystrybucji docelowej. W ustawieniu adaptacji domen domeny źródłowa i docelowa mają różne rozkłady krańcowe p (X). Według ankiety przeprowadzonej przez Pana, uczenie się przez przeniesienie jest szerszym terminem, który może obejmować również przypadek, gdy występuje różnica w rozkładach warunkowych p (Y | X) domen źródłowej i docelowej. W przeciwieństwie,

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html
Christos Karatsalos
źródło
Czy można by dodać cytat z „Ankiety Pana”? Myślę, że to uczyniłoby tę odpowiedź bardziej przydatną dla przyszłych czytelników.
Silverfish,
Pan, Sinno Jialin i Qiang Yang. „Ankieta na temat uczenia się przez transfer”. Transakcje IEEE dotyczące wiedzy i inżynierii danych 22, nie. 10 (2010): 1345–1359. scholar.google.com/… ; citeseerx.ist.psu.edu/viewdoc/...
Christos Karatsalos