Pontuação de Fisher v / s descida de coordenadas para MLE em R

A função base R glm()usa a Pontuação de Fishers para o MLE, enquanto a função glmnetparece usar o método de descida de coordenadas para resolver a mesma equação. A descida de coordenadas é mais eficiente em termos de tempo que a pontuação de Fisher, pois a pontuação de Fisher calcula a matriz derivada de segunda ordem, além de algumas outras operações da matriz. o que torna caro o desempenho, enquanto a descida de coordenadas pode fazer a mesma tarefa no tempo O (np).

Por que a função base R usaria a pontuação de Fisher? Esse método tem uma vantagem sobre outros métodos de otimização? Como a descida de coordenadas e a pontuação de Fisher são comparadas? Sou relativamente novo nesse campo, portanto qualquer ajuda ou recurso será útil.

A única maneira de ter certeza é através do benchmarking, mas, para o glm, a pontuação de Fisher deve ser mais rápida que a descida coordenada. A pontuação de Fisher é um caso especial de Newton Raphson, que tem uma taxa de convergência mais rápida do que a descida de coordenadas (Newton-Raphson é quadraticamente convergente, enquanto a descida de coordenadas é linearmente convergente). tempo, pode exigir muito menos etapas do que a descida de coordenadas.

Para o laço, a forma especial do termo de penalidade o torna um caso muito especial (e, de fato, o valor absoluto não é diferenciável de qualquer maneira, embora às vezes você possa refiná-lo). Para esse problema especial, a descida de coordenadas prova ser particularmente rápida. Existem muitos outros problemas de otimização onde, na prática, Newton-Raphson é mais rápido.