Como interpretar "perda" e "precisão" para um modelo de aprendizado de máquina

Quando eu treinei minha rede neural com Theano ou Tensorflow, eles reportarão uma variável chamada "perda" por época. Como devo interpretar essa variável? Maior perda é melhor ou pior, ou o que isso significa para o desempenho final (precisão) da minha rede