Estou lendo o artigo da Wikipedia sobre modelos estatísticos aqui e estou um pouco perplexo quanto ao significado de "modelos estatísticos não paramétricos", especificamente:
Um modelo estatístico não é paramétrico se o conjunto de parâmetros for dimensional infinito. Um modelo estatístico é semiparamétrico se tiver parâmetros de dimensão finita e de dimensão infinita. Formalmente, se é a dimensão de e é o número de amostras, os modelos semiparamétricos e não paramétricos têm como . Se como , o modelo será semiparamétrico; caso contrário, o modelo não é paramétrico.n → ∞ d / n → 0 n → ∞
Entendo que, se a dimensão (entendo literalmente o número de parâmetros) de um modelo é finita, então este é um modelo paramétrico.
O que não faz sentido para mim é como podemos ter um modelo estatístico que possui um número infinito de parâmetros, de modo que podemos chamá-lo de "não paramétrico". Além disso, mesmo que fosse esse o caso, por que o "não-", se de fato há um número infinito de dimensões? Por fim, como estou falando disso de um aprendizado de máquina, há alguma diferença entre esse "modelo estatístico não paramétrico" e, por exemplo, "modelos de aprendizado de máquina não paramétricos"? Finalmente, o que poderiam ser alguns exemplos concretos de tais "modelos dimensionais infinitos não paramétricos"?
fonte
Respostas:
Como Johnnyboycurtis respondeu, métodos não paramétricos são aqueles que não assumem a distribuição da população ou o tamanho da amostra para gerar um modelo.
Um modelo k-NN é um exemplo de modelo não paramétrico, pois não considera nenhuma suposição para desenvolver um modelo. Um Naive Bayes ou K-means é um exemplo de paramétrico, pois assume uma distribuição para a criação de um modelo.
Por exemplo, K-means assume o seguinte para desenvolver um modelo Todos os clusters são esféricos (iid Gaussian). Todos os eixos têm a mesma distribuição e, portanto, variação. Todos os clusters são de tamanho uniforme.
Quanto ao k-NN, ele usa o conjunto de treinamento completo para previsão. Ele calcula os vizinhos mais próximos a partir do ponto de teste para previsão. Ele não assume distribuição para criar um modelo.
Para mais informações:
fonte
Então, acho que você está perdendo alguns pontos. Primeiro, e mais importante,
Aqui está um tutorial simples (aplicado) sobre alguns modelos não paramétricos: http://www.r-tutor.com/elementary-statistics/non-parametric-methods
Um pesquisador pode decidir usar um modelo não paramétrico versus um modelo paramétrico, digamos, regressão não paramétrica versus regressão linear, é porque os dados violam as suposições mantidas pelo modelo paramétrico. Como você tem experiência em ML, presumo que você nunca aprendeu as suposições típicas do modelo de regressão linear. Aqui está uma referência: https://statistics.laerd.com/spss-tutorials/linear-regression-using-spss-statistics.php
A violação de suposições pode distorcer suas estimativas de parâmetros e, finalmente, aumentar o risco de conclusões inválidas. Um modelo não paramétrico é mais robusto para valores discrepantes, não lineares e não depende de muitas suposições de distribuição populacional; portanto, pode fornecer resultados dignos de confiança ao tentar fazer inferências ou previsões.
Para um tutorial rápido sobre regressão não paramétrica, recomendo estes slides: http://socserv.socsci.mcmaster.ca/jfox/Courses/Oxford-2005/slides-handout.pdf
fonte
Atualmente, estou fazendo um curso de aprendizado de máquina, onde usamos a seguinte definição de modelos não paramétricos: "Modelos não paramétricos crescem em complexidade com o tamanho dos dados".
Modelo paramétrico
Modelos não paramétricos
Peguei a função de regressão do kernel dos meus slides de aula e a função perceptron kernelizada da wikipedia: https://en.wikipedia.org/wiki/Kernel_method
fonte