Referências sobre otimização numérica para estatísticos

9

Estou procurando uma referência sólida (ou referências) sobre técnicas de otimização numérica destinadas a estatísticos, ou seja, aplicaria esses métodos a alguns problemas inferenciais padrão (por exemplo, MAP / MLE em modelos comuns). Coisas como descida de gradiente (reta e estocástica), EM e seus spinoffs / generalizações, recozimento simulado, etc.

Espero que ele tenha algumas notas práticas sobre a implementação (muitas vezes ausentes em documentos). Não precisa ser completamente explícito, mas pelo menos deve fornecer uma bibliografia sólida.

Algumas pesquisas superficiais revelaram alguns textos: Análise Numérica para Estatísticos, de Ken Lange, e Métodos Numéricos de Estatística, de John Monahan. Revisões de cada um parecem misturadas (e esparsas). Dos dois, uma leitura do sumário sugere que a 2ª edição do livro de Lange é a mais próxima do que estou procurando.

JMS
fonte

Respostas:

5

Estatísticas Computacionais de James Gentle (2009).

Álgebra matricial de James Gentle: teoria, cálculos e aplicações em estatística (2007) , mais ainda no final do livro, o início também é ótimo, mas não é exatamente o que você está procurando.

Reconhecimento de Padrões de Christopher M. Bishop (2006).

Os elementos do aprendizado estatístico de Hastie et al.: Mineração de dados, inferência e previsão (2009).

Você está procurando algo tão de baixo nível quanto um texto que responda a uma pergunta como: "Por que é mais eficiente armazenar matrizes e matrizes de dimensões mais altas como uma matriz 1-D e como posso indexá-las no M usual?" (0, 1, 3, ...) maneira? " ou algo como "Quais são algumas técnicas comuns usadas para otimizar algoritmos padrão, como descida de gradiente, EM, etc.?"?

A maioria dos textos sobre aprendizado de máquina fornecerá discussões aprofundadas dos tópicos que você está procurando.

Phillip Cloud
fonte
A segunda (quais são algumas técnicas comuns ...). A maioria dos textos apresenta um modelo e depois descreve como fazer inferência. Estou procurando pelo tipo inverso, onde o foco está nas maneiras de ajustar um modelo e, em seguida, compará-lo em aplicativos, se isso faz sentido. Existem alguns desses tipos de livros para o MCMC, onde eles comparam diferentes samplers e descrevem onde são úteis e algumas das armadilhas (por exemplo, Gamerman e Lopes).
JMS
Além disso, obrigado pelas referências até agora. O livro de Hastie e cols. É bem próximo, na verdade. Já faz um tempo desde que eu o tirei da prateleira; graças ao pronto :)
JMS
5

Livro Nocedal e Wrights

http://users.eecs.northwestern.edu/~nocedal/book/

é uma boa referência para otimização em geral, e muitas coisas em seu livro são de interesse de um estatístico. Há também um capítulo inteiro sobre mínimos quadrados não lineares.

NRH
fonte
3

Optimization , de Kenneth Lange (Springer, 2004), revisado no JASA por Russell Steele. É um bom livro com a álgebra de Gentle's Matrix para um curso introdutório sobre cálculo e otimização de matrizes, como o de Jan de Leeuw (cursos / 202B).

chl
fonte
@chi Esse livro parece fantástico! Embora eu concorde com o revisor de que existem algumas ausências conspícuas (recozimento simulado e os vários sabores estocásticos do EM). Tipo de estranho, uma vez que está em sua série de estatísticas, mas c'est la vie
JMS
Além disso, você conhece o livro de álgebra matricial de Harville? Eu ficaria curioso para saber como ele se compara ao de Gentle. Acho Harville uma boa referência, mas muito densa. Apenas no sumário do livro de Gentle, eu gosto de toda a parte 2 ser dedicada a "aplicativos selecionados"
JMS
@JMS Não. Eu só tenho o livro de Gentle. (Porque eu uso apenas moderadamente livros didáticos de matemática em geral, exceto este que achei bastante útil para análise de dados multivariados.) A Parte 2 é sobre aplicativos (seção 9) e a Parte 3 sobre problemas de software. A página inicial é mason.gmu.edu/~jgentle/books/matbk
chl
Sim, olhando mais, parece ter mais do lado aplicado. O livro de Harville é muito à prova de teoremas, mas focado em resultados importantes em estatística; Eu acho que eles provavelmente se complementam muito bem, apesar do material sobreposto.
JMS
1

Como complemento a estes, você pode encontrar Magnus, JR e H. Neudecker (2007). Cálculo matricial com aplicações em estatística e econometria, 3º ed útil, embora pesado. Ele desenvolve um tratamento completo das operações infinitesimais com matrizes e as aplica em várias tarefas estatísticas típicas, como otimização, MLE e mínimos quadrados não lineares. Se, no final das contas, você descobrir a estabilidade de seus algoritmos matriciais, será indispensável uma boa compreensão do cálculo matricial. Pessoalmente, usei as ferramentas de cálculo matricial na obtenção de resultados assintóticos em estatística espacial e em modelos paramétricos multivariados.

StasK
fonte