Função de ativação
A função de ativação tem a função de restringir a amplitude da saída de um neurônio, limitando a amplitude do valor de saída a um valor finito. Usualmente este intervalo de amplitude pode ser escrito como o intervalo fechado [0,1] ou [-1,1].
Podemos identificar alguns tipos de função de ativação, a função de limiar e a função sigmoidal.
A função de limiar é simplesmente um funão que retorna 1 se a entrada for maior ou igual a 0 e retorna 0 se a entrada for menor que zero.
A função de ativação sigmoidal, é a função de ativação mais utilizada na construção de redes neurais. Esta função é caracterizada pelo gráfico em forma de "S". Um exemplo de função sigmóidal é a função logística, definida na equação abaixo:
f(v) = 1 / (1 + exp(-av))
onde a é o parâmetro de inclinação da função sigmóide.
Variando o parâmetro a, varia-se a inclinação da função, quando este parâmetro é muito grande, se aproximando do infinito, a função sigmóide se torna uma função de limiar simplesmente. Uma característica importante das funções sigmoidais é a sua diferenciabilidade, o que não ocorre com os demais tipos de função de ativação.
Algumas vezes é desejável que a função de ativação trabalhe no intervalo [-1,1] e não [0,1], como visto até agora, assumindo uma forma anti-simétrica com relação à origem. A função tangente hiperbólica, definida abaixo:
f(v) = tanh(v)
é um bom exemplo de função com intervalo [-1,1].