Wybieram funkcję aktywacji dla warstwy wyjściowej w zależności od potrzebnych danych wyjściowych i właściwości funkcji aktywacji, które znam. Na przykład wybieram funkcję sigmoidalną, gdy mam do czynienia z prawdopodobieństwami, ReLU, gdy mam do czynienia z wartościami dodatnimi, i funkcję liniową,...
Myślę, że zaletą korzystania z Leaky ReLU zamiast ReLU jest to, że w ten sposób nie możemy mieć zanikającego gradientu. Parametryczna ReLU ma tę samą zaletę z tą różnicą, że nachylenie wyjścia dla ujemnych danych wejściowych jest parametrem możliwym do nauczenia, podczas gdy w nieszczelnej ReLU...
Właśnie natknąłem się na koncepcję pokrycia neuronów, która jest stosunkiem aktywowanych neuronów i całkowitej liczby neuronów w sieci neuronowej. Ale co to znaczy „aktywować” neuron? Wiem, jakie są funkcje aktywacyjne, ale co oznacza aktywacja np. W przypadku ReLU lub funkcji...
Istnieje kilka funkcji aktywacyjnych, takich jak ReLU, sigmoid lub tanhtanh\tanh. Co się stanie, gdy połączę funkcje aktywacyjne? Niedawno odkryłem, że Google opracowało funkcję aktywacji Swish, którą jest (x * sigmoid). Zmieniając funkcję aktywacji, może zwiększyć dokładność w przypadku problemu...