Pytania oznaczone «sigmoid-curve»

Dlaczego tanh prawie zawsze jest lepszy niż sigmoid jako funkcja aktywacyjna?

W Andrzej zNg sieci neuronowe i głęboki learning na Coursera mówi, że przy tanhtanhtanh jest prawie zawsze korzystniejsze sigmoidsigmoidsigmoid . Powodem jest to, że daje on wyjść przy użyciu tanhtanhtanh centrum niż około 0 sigmoidsigmoidsigmoid „a 0,5, a to«sprawia, że uczenie się do następnej...

Relu vs Sigmoid vs Softmax jako neurony z ukrytą warstwą

Bawiłem się prostą siecią neuronową z tylko jedną ukrytą warstwą, autorstwa Tensorflow, a następnie próbowałem różnych aktywacji dla ukrytej warstwy: Relu Sigmoid Softmax (cóż, zwykle softmax jest używany w ostatniej warstwie ..) Relu zapewnia najlepszą dokładność pociągu i dokładność...