Pytania oznaczone «relu»

Jakie są zalety ReLU w porównaniu z nieszczelnymi ReLU i parametrycznymi ReLU (jeśli istnieją)?

Myślę, że zaletą korzystania z Leaky ReLU zamiast ReLU jest to, że w ten sposób nie możemy mieć zanikającego gradientu. Parametryczna ReLU ma tę samą zaletę z tą różnicą, że nachylenie wyjścia dla ujemnych danych wejściowych jest parametrem możliwym do nauczenia, podczas gdy w nieszczelnej ReLU...

Co się stanie, gdy połączę funkcje aktywacyjne?

Istnieje kilka funkcji aktywacyjnych, takich jak ReLU, sigmoid lub tanhtanh\tanh. Co się stanie, gdy połączę funkcje aktywacyjne? Niedawno odkryłem, że Google opracowało funkcję aktywacji Swish, którą jest (x * sigmoid). Zmieniając funkcję aktywacji, może zwiększyć dokładność w przypadku problemu...