Função usada para quantificar a diferença entre os dados observados e os valores previstos de acordo com um modelo. A minimização de funções de perda é uma maneira de estimar os parâmetros do modelo.
Estou treinando uma rede neural para classificar um conjunto de objetos em n-classes. Cada objeto pode pertencer a várias classes ao mesmo tempo (multi-classe, multi-rótulo). Li que, para problemas com várias classes, geralmente é recomendável usar softmax e entropia cruzada categórica como a...
Antes de tudo, percebi que, se preciso realizar previsões binárias, tenho que criar pelo menos duas classes executando uma codificação one-hot. Isso está correto? No entanto, a entropia cruzada binária é apenas para previsões com apenas uma classe? Se eu usasse uma perda de entropia cruzada...
A função de custo da rede neural é J(W,b)J(W,b)J(W,b) e é reivindicada como não convexa . Não entendo muito bem por que é assim, pois, como vejo, é bastante semelhante à função de custo da regressão logística, certo? Se não for convexa, a derivada de 2ª ordem ∂J∂W<0∂J∂W<0\frac{\partial...
Estou um pouco confuso com uma palestra sobre regressão linear dada por Andrew Ng no Coursera sobre aprendizado de máquina. Lá, ele deu uma função de custo que minimiza a soma dos quadrados como: 12m∑i=1m(hθ(X(i))−Y(i))212m∑i=1m(hθ(X(i))−Y(i))2 \frac{1}{2m} \sum _{i=1}^m...
Eu li sobre duas versões da função de perda para regressão logística, qual delas está correta e por quê? No Machine Learning , Zhou ZH (em chinês), com β=(w,b) and βTx=wTx+bβ=(w,b) and βTx=wTx+b\beta = (w, b)\text{ and }\beta^Tx=w^Tx +b
O termo "perda" é sinônimo de "erro"? Existe uma diferença na definição? Além disso, qual é a origem do termo "perda"? Nota: A função de erro mencionada aqui não deve ser confundida com erro
Vou explicar meu problema com um exemplo. Suponha que você queira prever a renda de um indivíduo, com alguns atributos: {Idade, Sexo, País, Região, Cidade}. Você tem um conjunto de dados de treinamento como esse train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2,...
Como exemplo, assumir a função objetivo do modelo XGBoost no 'th iteração:ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) onde é a função de perda, é o 'th saída de árvore e é a...
Ao treinar redes neurais de segmentação de pixel, como redes totalmente convolucionais, como você decide usar a função de perda de entropia cruzada versus a função de perda de coeficiente de dados? Sei que essa é uma pergunta curta, mas não tenho certeza de que outras informações fornecer....
Sabemos que algumas funções objetivas são mais fáceis de otimizar e outras são difíceis. E há muitas funções de perda que queremos usar, mas difíceis de usar, por exemplo, perda de 0-1. Portanto, encontramos algumas funções de perda de proxy para fazer o trabalho. Por exemplo, usamos perda de...
Minha perda de treinamento diminui e depois sobe novamente. Isso é muito estranho. A perda de validação cruzada rastreia a perda de treinamento. O que está acontecendo? Eu tenho dois LSTMS empilhados da seguinte maneira (no Keras): model = Sequential() model.add(LSTM(512, return_sequences=True,...
Estou tentando implementar a descida básica do gradiente e estou testando-a com uma função de perda de dobradiça, ou seja, lhinge=max(0,1−y x⋅w)lhinge=max(0,1−y x⋅w)l_{\text{hinge}} = \max(0,1-y\ \boldsymbol{x}\cdot\boldsymbol{w}) . No entanto, estou confuso sobre o gradiente da perda de dobradiça....
Estou tentando entender a regressão quantílica, mas uma coisa que me faz sofrer é a escolha da função de perda. ρτ(u)=u(τ−1{u<0})ρτ(u)=u(τ−1{u<0})\rho_\tau(u) =
Então me fizeram uma pergunta sobre quais medidas centrais L1 (isto é, laço) e L2 (isto é, regressão de cordilheira) estimadas. A resposta é L1 = mediana e L2 = média. Existe algum tipo de raciocínio intuitivo para isso? Ou isso precisa ser determinado algebricamente? Se sim, como faço para fazer...
Problema Na regressão, geralmente calcula-se o erro quadrático médio (MSE) de uma amostra: para medir a qualidade de um preditor.MSE=1n∑i=1n(g(xi)−gˆ(xi))2MSE=1n∑i=1n(g(xi)−g^(xi))2 \text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2 No momento, estou trabalhando em...
Eu já vi dois tipos de formulações de perda logística. Podemos mostrar facilmente que eles são idênticos, a única diferença é a definição do rótulo .yyy Formulação / notação 1, :y∈{0,+1}y∈{0,+1}y \in \{0,
max(0,1−yi(w⊺xi+b))max(0,1−yi(w⊺xi+b))\max(0,1-y_i(w^\intercal x_i+b))12∥w∥2+C∑imax(0,1−yi(w⊺xi+b))12‖w‖2+C∑imax(0,1−yi(w⊺xi+b)) \frac{1}{2}\|w\|^2+C\sum_i\max(0,1-y_i(w^\intercal x_i+b)) ∥w∥2‖w‖2\|w\|^2max(0,1−yi(w⊺xi+b))max(0,1−yi(w⊺xi+b))\max(0,1-y_i(w^\intercal x_i+b)) No entanto, para o SVM...
Existe uma discussão semelhante aqui (a função de custo da rede neural não é convexa? ), Mas não consegui entender os pontos nas respostas e minha razão para perguntar novamente, esperando que isso esclareça alguns problemas: Se estou usando soma de função de custo diferença de quadrados, sou em...
Esta pergunta já tem respostas aqui : Como a mudança na função de custo pode ser positiva? (1 resposta) O que devo fazer quando minha rede neural não aprende? (5 respostas) Fechado no mês passado . Estou treinando um modelo (Rede Neural Recorrente) para...
É possível controlar o custo da classificação incorreta no pacote R randomForest ? No meu próprio trabalho, os falsos negativos (por exemplo, falta de erro de uma pessoa ter uma doença) são muito mais caros do que os falsos positivos. O pacote rpart permite que o usuário controle os custos de...