Overfitting Question

7

Você consideraria isso um super ajuste?

insira a descrição da imagem aqui

Nickolas Papanikolaou
fonte

Respostas:

0

Não, não é um exemplo de sobreajuste! Seria uma adaptação excessiva se a perda válida começasse a aumentar enquanto a perda de treinamento continuasse a diminuir.

Edit: a resposta para a segunda pergunta Vale a pena considerar como auc é calculado. Temos as probabilidades de cada instância pertencer à classe positiva. Depois, classificamos essas probabilidades. Se todas as instâncias positivas aparecerem na primeira parte da lista classificada e todas as negativas estiverem na segunda, auc será 1 (o "desempenho perfeito" de acordo com a observação da auc).

Agora vamos considerar o cálculo da perda. Por exemplo entropia cruzada binária. A fórmula éloss=1/Nyilog(p(yi))+(1yi)log(1p(yi)) Onde yi - etiqueta verdadeira, p(yi) - probabilidade de que yipertence à classe positiva. Podemos prever, para cada observação negativa, que a probabilidade é de 0,998, e a perda será enorme. Mas se as probabilidades previstas para observações positivas forem de 0,999 (mais altas que para negativas), então, em termos de AUC, teremos um desempenho perfeito.

É por isso que acho que temos que avaliar as perdas.

Lana
fonte
Obrigado Lana, apesar de a diferença na perda entre treinamento e validação não estar indicando excesso de adequação?
Nickolas Papanikolaou
@NickolasPapanikolaou é normal, quando a perda difere no conjunto de treinamento e validação, porque o modelo se torna mais familiarizado com os dados, que ele já viu no conjunto de treinamento (é a razão pela qual a divisão em teste, validação e trem geralmente é executada). No entanto, o desempenho do modelo nos dados de teste mostra que esse modelo continua a extrair algumas informações úteis, portanto o processo de aprendizado está acontecendo, mas é mais lento do que antes.
Lana
3

Não, isso não é super adequado.

Antes de tudo, a AUC é exatamente a mesma entre os conjuntos de trem e validação. As perdas podem ter uma lacuna, mas como a perda de validação ainda está caindo (mesmo que lentamente), você está bem.

Javier
fonte
1

Que tal este? Nesse caso, a perda de validação está aumentando, mas a AUC não segue o mesmo padrão, em qual acreditar perda ou desempenho?

insira a descrição da imagem aqui

Nickolas Papanikolaou
fonte
Esqueceu-se de mencionar a AUC no conjunto de teste holdout é 0,928
Nickolas Papanikolaou
Que perda você tem? O que é a distribuição de classes nos conjuntos de trem e teste?
Lana
Eu respondi a esta pergunta, editando minha primeira resposta. Neste caso não é overfitting e desempenho perda deve ser avaliada
Lana
Portanto, sua nova pergunta e minhas edições são o argumento contra a suposição, feita por Javier: "Primeiro, a AUC é exatamente a mesma entre conjuntos de trem e validação". Não poderia ser a razão principal
Lana
Todos os três conjuntos (trem, validação, teste) são totalmente balanceados, usei binary_crossentropy. Eu acredito que o problema está relacionado com a AUC, já que se eu usar a precisão das curvas de desviar (sinais de overfitting), muito obrigado por suas respostas
Nickolas Papanikolaou