Quais são os ramos das estatísticas?

Em matemática, existem ramos como álgebra, análise, topologia, etc. No aprendizado de máquina, há aprendizado supervisionado, não supervisionado e de reforço. Dentro de cada uma dessas ramificações, existem ramificações mais refinadas que dividem ainda mais os métodos.

Estou tendo problemas para traçar um paralelo com as estatísticas. Quais seriam os principais ramos da estatística (e sub-ramos)? Uma partição perfeita provavelmente não é possível, mas qualquer coisa é melhor do que um grande mapa em branco.

Exemplos visuais:

Acho esses sistemas de classificação extremamente inúteis e contraditórios. Por exemplo:

• redes neurais é uma forma de aprendizado supervisionado
• O cálculo é usado em geometria diferencial
• A teoria da probabilidade pode ser formalizada como parte da teoria dos conjuntos

e assim por diante. Não existem "ramificações" inequívocas da matemática, e nem deveria haver estatísticas.

Este é um contraponto menor à resposta de Rob Hyndman. Começou como um comentário e depois ficou complexo demais para um. Se isso estiver muito longe de abordar a questão principal, peço desculpas e a excluirei.

A biologia descreve relações hierárquicas desde muito antes do primeiro doodle de Darwin (veja o comentário de Nick Cox para obter um link). A maioria das relações evolutivas ainda é mostrada com esse tipo de 'árvore filogenética' agradável, limpa e ramificada:

No entanto, acabamos percebendo que a biologia é mais confusa do que isso. Ocasionalmente, há trocas genéticas (através de cruzamentos e outros processos) entre espécies e genes distintos presentes em uma parte do 'salto' da árvore para uma parte diferente da árvore. A transferência horizontal de genes move os genes de uma maneira que torna imprecisa a simples representação das árvores. No entanto, não abandonamos as árvores, apenas criamos modificações para este tipo de visualização:

É mais difícil de seguir, mas transmite uma imagem mais precisa da realidade.

Outro exemplo:

No entanto, nunca apresentamos essas figuras mais complexas para começar, porque são difíceis de entender sem entender os conceitos básicos. Em vez disso, ensinamos a idéia básica com a figura simples e, em seguida, apresentamos a figura mais complexa e as complicações mais recentes da história.

Qualquer "mapa" estatístico seria igualmente impreciso e uma ferramenta de ensino valiosa. As visualizações da forma que o OP sugere são muito úteis para os alunos e não devem ser ignoradas apenas porque não conseguem capturar a realidade no total. Podemos adicionar mais complexidade à imagem uma vez que eles tenham uma estrutura básica em vigor.

Você pode procurar nas palavras-chave / tags do site Cross Validated.

Ramos como uma rede

Uma maneira de fazer isso é plotá-lo como uma rede com base nos relacionamentos entre as palavras-chave (com que frequência coincidem no mesmo post).

Quando você usa esse script sql para obter os dados do site em (data.stackexchange.com/stats/query/edit/1122036)

select Tags from Posts where PostTypeId = 1 and Score >2

Em seguida, você obtém uma lista de palavras-chave para todas as perguntas com pontuação 2 ou superior.

Você pode explorar essa lista plotando algo como o seguinte:

Atualização: o mesmo com cor (com base nos vetores próprios da matriz de relação) e sem a etiqueta de auto-estudo

Você poderia limpar esse gráfico um pouco mais (por exemplo, retire as tags que não se relacionam a conceitos estatísticos, como tags de software, no gráfico acima isso já foi feito para a tag 'r') e melhore a representação visual, mas acho que esta imagem acima já mostra um bom ponto de partida.

Código R:

#the sql-script saved like an sql file
network <- read.csv("~/../Desktop/network.csv", stringsAsFactors = 0)
#it looks like this:
> network[1][1:5,]
 [1] "<r><biostatistics><bioinformatics>"                                 
 [2] "<hypothesis-testing><nonlinear-regression><regression-coefficients>"
 [3] "<aic>"                                                              
 [4] "<regression><nonparametric><kernel-smoothing>"                      
 [5] "<r><regression><experiment-design><simulation><random-generation>"  

l <- length(network[,1])
nk <- 1
keywords <- c("<r>")
M <- matrix(0,1)

for (j in 1:l) {                              # loop all lines in the text file
  s <- stringr::str_match_all(network[j,],"<.*?>")           # extract keywords
  m <- c(0)                                             
  for (is in s[[1]]) {
    if (sum(keywords == is) == 0) {           # check if there is a new keyword
      keywords <- c(keywords,is)              # add to the keywords table
      nk<-nk+1
      M <- cbind(M,rep(0,nk-1))               # expand the relation matrix with zero's
      M <- rbind(M,rep(0,nk))
    }
    m <- c(m, which(keywords == is))
    lm <- length(m)
    if (lm>2) {                               # for keywords >2 add +1 to the relations
      for (mi in m[-c(1,lm)]) {
        M[mi,m[lm]] <- M[mi,m[lm]]+1
        M[m[lm],mi] <- M[m[lm],mi]+1
      }
    }
  }
}


#getting rid of <  >
skeywords <- sub(c("<"),"",keywords)
skeywords <- sub(c(">"),"",skeywords) 


# plotting connections 

library(igraph)
library("visNetwork")

# reduces nodes and edges
Ms<-M[-1,-1]             # -1,-1 elliminates the 'r' tag which offsets the graph
Ms[which(Ms<50)] <- 0
ww <- colSums(Ms)
el <- which(ww==0)

# convert to data object for VisNetwork function
g <- graph.adjacency(Ms[-el,-el], weighted=TRUE, mode = "undirected")
data <- toVisNetworkData(g)

# adjust some plotting parameters some 
data$nodes['label'] <- skeywords[-1][-el]
data$nodes['title'] <- skeywords[-1][-el]
data$nodes['value'] <- colSums(Ms)[-el]
data$edges['width'] <- sqrt(data$edges['weight'])*1
data$nodes['font.size'] <- 20+log(ww[-el])*6
data$edges['color'] <- "#eeeeff"

#plot
visNetwork(nodes = data$nodes, edges = data$edges) %>%
visPhysics(solver = "forceAtlas2Based", stabilization = TRUE,
           forceAtlas2Based = list(nodeDistance=70, springConstant = 0.04,
                                   springLength = 50,
                                   avoidOverlap =1)
           )

Ramos hierárquicos

Acredito que esse tipo de gráfico de rede acima esteja relacionado a algumas das críticas a uma estrutura hierárquica puramente ramificada. Se você preferir, acho que você pode executar um cluster hierárquico para forçá-lo a uma estrutura hierárquica.

Abaixo está um exemplo desse modelo hierárquico. Ainda seria necessário encontrar nomes de grupos adequados para os vários clusters (mas, não acho que esse cluster hierárquico seja a boa direção, deixo em aberto).

A medida da distância para o agrupamento foi encontrada por tentativa e erro (fazendo ajustes até os clusters parecerem bons.

#####
#####  cluster

library(cluster)

Ms<-M[-1,-1]
Ms[which(Ms<50)] <- 0
ww <- colSums(Ms)
el <- which(ww==0)

Ms<-M[-1,-1]
R <- (keycount[-1]^-1) %*% t(keycount[-1]^-1)
Ms <- log(Ms*R+0.00000001)

Mc <- Ms[-el,-el]
colnames(Mc) <- skeywords[-1][-el]

cmod <- agnes(-Mc, diss = TRUE)

plot(as.hclust(cmod), cex = 0.65, hang=-1, xlab = "", ylab ="")

Escrito por StackExchangeStrike

Uma maneira fácil de responder sua pergunta é procurar as tabelas de classificação comuns. Por exemplo, 2010 Mathematics Subject Classification é usado por algumas publicações para classificar artigos. Isso é relevante porque é assim que muitos autores classificam seus próprios artigos.

Existem muitos exemplos de classificações semelhantes, por exemplo, a classificação do arxiv ou o UDK (classificação decimal universal) do Ministério da Educação da Rússia, que é amplamente utilizado em todas as publicações e pesquisas.

Outro exemplo é o JEL Claasification System da American Economic Association. Artigo de Rob Hyndman " Previsão automática de séries temporais: o pacote de previsão para R. " É classificado como C53, C22, C52 de acordo com JEL. Hyndman tem razão em criticar as classificações das árvores. Uma abordagem melhor poderia ser a marcação, por exemplo, as palavras-chave em seu artigo são: "modelos ARIMA, previsão automática, suavização exponencial, intervalos de previsão, modelos de espaço de estados, séries temporais, R." Pode-se argumentar que essas são as melhores maneiras de classificar os trabalhos, pois não são hierárquicas e podem ser criadas várias hierarquias.

O @whuber enfatizou que alguns avanços mais recentes, como o aprendizado de máquina, não estarão nas estatísticas das classificações atuais. Por exemplo, dê uma olhada no artigo " Aprendizagem Profunda: Uma Introdução para Matemáticos Aplicados ", de Catherine F. Higham, Desmond J. Higham. Eles classificaram seu trabalho no MSC acima mencionado como 97R40, 68T01, 65K10, 62M45. estes estão sob ciência da computação, ensino de matemática e análise numérica, além de estatísticas

Uma maneira de abordar o problema é examinar as redes de citação e coautoria em periódicos de estatística, como os Annals of Statistics, Biometrika, JASA e JRSS-B. Isso foi feito por:

Ji, P. & Jin, J. (2016). Redes de co-autoria e citação para estatísticos. The Annals of Applied Statistics, 10 (4), 1779-1812.

Eles identificaram comunidades de estatísticos e usaram seu domínio para rotular as comunidades como:

• Análise de dados de alta dimensão (HDDA-Coau-A)
• Aprendizado de Máquina Teórico
• Redução de dimensão
• Johns Hopkins
• Duque
• Stanford
• Regressão quantílica
• Design experimental
• Objetivo Bayes
• Bioestatística
• Análise de dados de alta dimensão (HDDA-Coau-B)
• Testes múltiplos em larga escala
• Seleção de Variável
• Estatísticas Espaciais e Semi-paramétricas / Não Paramétricas

O artigo inclui uma discussão detalhada das comunidades, juntamente com decomposições das maiores em subcomunidades adicionais.

Isso pode não responder inteiramente à pergunta, já que se refere aos campos de pesquisa de estatísticos, e não a todos os campos, incluindo aqueles que não estão mais ativos. Espero que seja útil. Obviamente, existem outras advertências (como considerar apenas essas quatro revistas) que são discutidas mais adiante neste artigo.

Vejo muitas respostas surpreendentes e não sei como pode ser recebida uma humilde classificação pessoal, mas não conheço nenhum livro abrangente de todas as estatísticas para mostrar o resumo, e acho que, como @ Como comentou brilhantemente, uma classificação de um campo de estudo pode ser útil. Então, aqui está minha chance:

• estatísticas descritivas
  • inferência simples
    • teste simples de hipóteses
  • plotagem / visualização de dados
• projeto de amostragem
  • design experimental
  • projeto de pesquisa
• estatísticas multivariadas (sem serviço)
  • agrupamento
  • análise de componentes
  • modelos de variáveis ​​latentes
• modelos lineares (que também são realmente multivariados)
  • mínimos quadrados ordinários
  • modelos lineares generalizados
    • modelo logit
  • outros modelos lineares
    • Modelo Cox
    • regressão quantílica
  • inferência multivariada
    • teste de múltiplas hipóteses
    • teste de hipótese ajustado
  • modelos para dados estruturados
    • modelos de efeitos mistos
    • modelos espaciais
    • modelos de séries temporais
  • extensões não lineares
    • modelos de aditivos generalizados
• estatísticas bayesianas (na verdade existem métodos bayesianos para muitas coisas que eu já listei)
• regressão e classificação não paramétricas
  • muitos métodos de aprendizado de máquina se encaixam aqui

É claro que isso é simplista demais, serve apenas para levar uma idéia direta a alguém que mal conhece o campo. Cada um de nós aqui certamente sabe que existem muitos métodos entre as categorias aqui em cima, muitos outros que eu não conheci. lista porque são menos famosos ou porque simplesmente esqueci. Espero que você goste.

Uma maneira de organizar essas informações é encontrar um bom livro e consultar o índice. Isso é um paradoxo, porque você perguntou especificamente sobre estatística , enquanto a maioria dos textos introdutórios de pós-graduação sobre o tema é para estatística e teoria das probabilidades . Um livro que estou lendo sobre regressão agora tem o seguinte sumário:

• Inferência Frequentista
• Inferência Bayesiana
• Teste de hipóteses e seleção de variáveis
• Modelos lineares
• Modelos de regressão geral

• Modelos de Dados Binários

• Modelos de regressão geral

• Preliminares para regressão não paramétrica [um precursor para ...]
• Métodos Spline e Kernel
• Regressão não paramétrica com múltiplos preditores

(As seções restantes estão apoiando a matemática e a teoria das probabilidades)

• Diferenciação de expressões matriciais
• Resultados da matriz
• Alguma Álgebra Linear
• Distribuições de probabilidade e funções de geração
• Funções das Variáveis ​​Aleatórias Normais
• Alguns resultados da estatística clássica
• Teoria básica de grandes amostras