Estatísticas e Big Data

Eu gostaria de realizar uma análise multivariada em nível individual em pequenos níveis de agregação geográfica (distritos de coleta de censo da Austrália). Claramente, o censo não está disponível nesses pequenos níveis de agregação por razões de privacidade, por isso estou investigando outras...

Basicamente, o objetivo dos métodos de agrupamento de gráficos e detecção de comunidade é calcular clusters. Existe alguma diferença entre eles?

Entendo que não devemos permitir que o mesmo conjunto de dados que estamos analisando direcione / defina como são as distribuições anteriores em uma análise bayesiana. Especificamente, não é apropriado definir distribuições anteriores para uma análise bayesiana com base em estatísticas resumidas do...

Estou trabalhando em um projeto de controle de máquina. Podemos medir a corrente do motor durante a operação. Os dados de amostra de dois motores que executam uma operação com sucesso estão abaixo. O traço vermelho mostra a corrente de um motor, o azul traça a corrente de outro. Eu gostaria de...

Desejo simular a partir de uma densidade normal (digamos, média = 1, dp = 1), mas quero apenas valores positivos. Uma maneira é simular a partir do normal e pegar o valor absoluto. Penso nisso como um normal dobrado. Vejo em R que existem funções para geração de variáveis ​​aleatórias truncadas....

Estou pesquisando conjuntos de dados existentes que podemos usar para testar várias técnicas de datavis que estamos pesquisando. Conheço vários recursos como os incluídos no R (tente plot(Orange)ou veja aqui ). Mas eu gostaria de dar um passo adiante: Quais são os melhores conjuntos de dados do...

Para alguma variável Y, que é dividida em 3 grupos (X), desejo comparar os grupos e para a hipótese de que o quantil de 90% é o mesmo entre os três grupos. Que testes posso usar? Uma opção em que posso pensar é usar a regressão quantílica. Existem outras alternativas / abordagens? Imagino que, se...

Alguém pode dar uma explicação de por que o teste t "acontece"? Fui ensinado a usar o teste t quando você não conhece o desvio padrão da população (ou seja, você sabe apenas o desvio padrão da sua amostra), mas não sei por que isso o tornaria diferente de um teste z

Encontrei essa frase ao ler um artigo no sciencemag.org . No final, foram incluídas respostas de apenas 7600 pesquisadores em 12 países, porque os dados restantes não foram considerados estatisticamente significativos. Essa é uma maneira adequada de fazer pesquisa? Deixar de lado os...

Eu li um artigo wiki sobre Apriori. Tenho problemas para entender a ameixa e a etapa de ingresso. Alguém pode me explicar como o algoritmo Apriori funciona em termos simples (para que iniciantes como eu possam entender facilmente)? Será bom se alguém explicar o processo passo a passo envolvido...

Eu tenho um conjunto de dados com cerca de 2.000 variáveis ​​binárias / 200.000 linhas e estou tentando prever uma única variável dependente binária. Meu principal objetivo, neste estágio, não é obter precisão de previsão, mas identificar quais dessas variáveis ​​são preditores importantes....

Não sei ao certo qual método usar para modelar o relacionamento entre duas variáveis ​​( e ) no experimento descrito a seguir:yxxxyyy Existem 3 variáveis: , e . x yxaimxaimx_{aim}xxxyyy O valor de é definido ao operar o experimento. No entanto, e nem sempre são iguais. x x a i...

Tenho uma espécie de pergunta filosófica sobre quando é necessária a correção de comparações múltiplas. Estou medindo um sinal de variação de tempo contínuo (em momentos discretos). Eventos separados ocorrem de tempos em tempos e eu gostaria de estabelecer se esses eventos têm um efeito...

Estou trabalhando (auto-estudo) no livro de ET Jaynes, Probability Theory - The Logic of Science Problema original O Exercício 2.1 diz: "É possível encontrar uma fórmula geral para análoga a [a fórmula ] das regras de produto e soma. Em caso afirmativo, deduza-o; caso contrário, explique por que...

Ao estimar o intervalo de confiança da média, acho que o método bootstrap te método não paramétrico de bootstrap podem ser aplicados, mas o primeiro exige um pouco mais de computação. Gostaria de saber quais são as vantagens e desvantagens do bootstrap t sobre o bootstrap não paramétrico normal?...

Sou confrontado com a tentativa de demonstrar através do teste de uma taxa de erro extremamente baixa para um sensor (não mais que 1 erro em 1.000.000 de tentativas). Como temos um tempo limitado para realizar o experimento, prevemos não conseguir mais de 4.000 tentativas. Não vejo problema em...

Isso pode parecer muito básico, mas tenho um problema: tenho uma fila de dados com um tamanho de janela 300. Novos dados são adicionados em uma extremidade, valores antigos são removidos na outra extremidade. Espero que os dados da fila permaneçam mais ou menos consistentes, por exemplo:...

Na figura a seguir, no lado esquerdo, duas realizações de processos pontuais com diferentes densidades (intensidade) e estão sendo misturadas, correspondendo ao centro das áreas pertencentes, para construir um processo pontual no meio com intensidade . Em seguida, pontos selecionados aleatoriamente...

Você provavelmente conhece o truque do filme The Prestige : [FILME SPOILER] Um mágico encontrou um impressionante truque de mágica: ele entra em uma máquina, fecha a porta e depois desaparece e reaparece no outro lado da sala. Mas a máquina não é perfeita: em vez de apenas teletransportá-lo, ela o...

Uma ANOVA de "plotagem dividida" com dois fatores é idêntica à ANOVA de duas vias com medidas repetidas em um fator? se não, qual é a