Estou procurando uma referência sólida (ou referências) sobre técnicas de otimização numérica destinadas a estatísticos, ou seja, aplicaria esses métodos a alguns problemas inferenciais padrão (por exemplo, MAP / MLE em modelos comuns). Coisas como descida de gradiente (reta e estocástica), EM e seus spinoffs / generalizações, recozimento simulado, etc.
Espero que ele tenha algumas notas práticas sobre a implementação (muitas vezes ausentes em documentos). Não precisa ser completamente explícito, mas pelo menos deve fornecer uma bibliografia sólida.
Algumas pesquisas superficiais revelaram alguns textos: Análise Numérica para Estatísticos, de Ken Lange, e Métodos Numéricos de Estatística, de John Monahan. Revisões de cada um parecem misturadas (e esparsas). Dos dois, uma leitura do sumário sugere que a 2ª edição do livro de Lange é a mais próxima do que estou procurando.
Respostas:
Estatísticas Computacionais de James Gentle (2009).
Álgebra matricial de James Gentle: teoria, cálculos e aplicações em estatística (2007) , mais ainda no final do livro, o início também é ótimo, mas não é exatamente o que você está procurando.
Reconhecimento de Padrões de Christopher M. Bishop (2006).
Os elementos do aprendizado estatístico de Hastie et al.: Mineração de dados, inferência e previsão (2009).
Você está procurando algo tão de baixo nível quanto um texto que responda a uma pergunta como: "Por que é mais eficiente armazenar matrizes e matrizes de dimensões mais altas como uma matriz 1-D e como posso indexá-las no M usual?" (0, 1, 3, ...) maneira? " ou algo como "Quais são algumas técnicas comuns usadas para otimizar algoritmos padrão, como descida de gradiente, EM, etc.?"?
A maioria dos textos sobre aprendizado de máquina fornecerá discussões aprofundadas dos tópicos que você está procurando.
fonte
Livro Nocedal e Wrights
http://users.eecs.northwestern.edu/~nocedal/book/
é uma boa referência para otimização em geral, e muitas coisas em seu livro são de interesse de um estatístico. Há também um capítulo inteiro sobre mínimos quadrados não lineares.
fonte
Optimization , de Kenneth Lange (Springer, 2004), revisado no JASA por Russell Steele. É um bom livro com a álgebra de Gentle's Matrix para um curso introdutório sobre cálculo e otimização de matrizes, como o de Jan de Leeuw (cursos / 202B).
fonte
Como complemento a estes, você pode encontrar Magnus, JR e H. Neudecker (2007). Cálculo matricial com aplicações em estatística e econometria, 3º ed útil, embora pesado. Ele desenvolve um tratamento completo das operações infinitesimais com matrizes e as aplica em várias tarefas estatísticas típicas, como otimização, MLE e mínimos quadrados não lineares. Se, no final das contas, você descobrir a estabilidade de seus algoritmos matriciais, será indispensável uma boa compreensão do cálculo matricial. Pessoalmente, usei as ferramentas de cálculo matricial na obtenção de resultados assintóticos em estatística espacial e em modelos paramétricos multivariados.
fonte