Objaśnienie min_child_weight w algorytmie xgboost

Definicja parametru min_child_weight w xgboost jest podawana jako:

minimalna suma wagi instancji (hessian) potrzebna dziecku. Jeśli krok partycji drzewa spowoduje utworzenie węzła liścia o sumie wagi instancji mniejszej niż min_child_weight, wówczas proces budowania przerwie dalsze partycjonowanie. W trybie regresji liniowej odpowiada to po prostu minimalnej liczbie wystąpień wymaganych w każdym węźle. Im większy, tym bardziej konserwatywny będzie algorytm.

Przeczytałem sporo rzeczy na temat xgboost, w tym oryginalny artykuł (patrz wzór 8 i ten zaraz po równaniu 9), to pytanie i większość rzeczy związanych z xgboost, które pojawiają się na pierwszych stronach wyszukiwania Google. ;)

Zasadniczo nadal nie jestem szczęśliwy, dlaczego nakładamy ograniczenie na sumę hessianu? Moją jedyną myślą w tej chwili z oryginalnego artykułu jest to, że dotyczy on ważonej sekcji szkicu kwantylu (i przeformułowania z równania 3 ważonej straty kwadratowej), która ma jako „wagę” każdego wystąpienia.$h_i$

Kolejne pytanie dotyczy tego, dlaczego jest to po prostu liczba wystąpień w trybie regresji liniowej? Myślę, że jest to związane z drugą pochodną sumy równania kwadratów?

W przypadku regresji utrata każdego punktu w węźle wynosi

$\frac{1}{2}(y_i - \hat{y_i})^2$

Druga pochodna tego wyrażenia w odniesieniu do to . Tak więc, sumując drugą pochodną na wszystkich punktach w węźle, otrzymujesz liczbę punktów w węźle. W tym przypadku min_child_weight oznacza coś w rodzaju „przestań próbować podzielić, gdy wielkość próbki w węźle spadnie poniżej określonego progu”.$\hat{y_i}$$1$

W przypadku binarnej regresji logistycznej, hessian dla każdego punktu w węźle będzie zawierać terminy podobne

$\sigma(\hat{y_i})(1 - \sigma(\hat{y_i}))$

gdzie jest funkcją sigmoidalną. Powiedz, że jesteś w czystym węźle (np. Wszystkie przykłady szkolenia w tym węźle to 1). Wtedy wszystkie będą prawdopodobnie dużymi dodatnimi liczbami, więc wszystkie będą bliskie 1, więc wszystkie wyrażenia hessianowe będą bliskie 0. Podobne logika obowiązuje, jeśli wszystkie przykłady szkolenia w węźle mają wartość 0. W tym przypadku min_child_weight oznacza coś w rodzaju „przestań próbować rozdzielić, gdy osiągniesz pewien stopień czystości w węźle i twój model będzie w stanie go dopasować”.^ y i σ ( ^ y i$\sigma$$\hat{y_i}$$\sigma(\hat{y_i})$

Hesjan to rozsądna rzecz, której można używać do regularyzacji i ograniczania głębokości drzewa. W przypadku regresji łatwo jest zobaczyć, jak możesz się dopasować, jeśli zawsze dzielisz się na węzły z, powiedzmy, tylko 1 obserwacją. Podobnie w przypadku klasyfikacji łatwo jest zobaczyć, jak możesz się przesadzić, jeśli nalegasz na podział, dopóki każdy węzeł nie będzie czysty.