Hashing Trick - co się właściwie dzieje

Kiedy algorytmy ML, np. Vowpal Wabbit lub niektóre maszyny do faktoryzacji wygrywające w konkursach współczynnika klikalności ( Kaggle ), wspominają, że funkcje są „mieszane”, co to właściwie oznacza dla modelu? Powiedzmy, że istnieje zmienna reprezentująca identyfikator dodania internetowego, który przyjmuje wartości takie jak „236BG231”. Rozumiem zatem, że ta funkcja jest haszowana do losowej liczby całkowitej. Ale moje pytanie brzmi:

• Czy liczba całkowita jest teraz używana w modelu, jako liczba całkowita (numeryczna) LUB
• czy wartość zaszyfrowana jest nadal traktowana jak zmienna kategoryczna i kodowana na gorąco? Czyli sztuczką hashującą jest po prostu zaoszczędzić miejsce przy dużych danych?

Drugi punkt to wartość skrótu funkcji. Hashowanie i jedno gorące kodowanie do rzadkich danych oszczędza miejsce. W zależności od algoszu mieszającego możesz mieć różne stopnie zderzeń, co działa jak rodzaj redukcji wymiarów.

Ponadto, w szczególnym przypadku mieszania funkcji Kaggle i jednego gorącego kodowania, pomoc w rozszerzeniu / inżynierii funkcji poprzez pobranie wszystkich możliwych krotek (zwykle tylko drugiego rzędu, ale czasem trzeciego) funkcji, które są następnie mieszane z kolizjami, które jawnie tworzą interakcje, które często są predykcyjne podczas gdy poszczególne cechy nie są.

W większości przypadków technika ta w połączeniu z wyborem funkcji i regulacją elastycznej siatki w LR działa bardzo podobnie do jednej ukrytej warstwy NN, więc działa całkiem dobrze w zawodach.