Eu tenho uma pergunta que me ocupa por um tempo. O teste de entropia é frequentemente usado para identificar dados criptografados. A entropia atinge seu máximo quando os bytes dos dados analisados são distribuídos uniformemente. O teste de entropia identifica dados criptografados, porque esses...
Eu tenho duas perguntas sobre o uso de floresta aleatória (especificamente randomForest em R) para imputação de valor ausente (no espaço do preditor). 1) Como o algoritmo de imputação funciona - especificamente como e por que o rótulo de classe é necessário para a imputação? é a matriz de...
ou: A seleção de um domínio ao inserir um trabalho restringe suas opções futuras para domínios e, portanto, trabalhos? Para tornar essa pergunta o mais amplamente aplicável possível ... profissão refere-se a todos os tipos de analistas de dados, de estatísticos sobre programadores de máquinas...
Eu tenho um problema em que y= a + by=a+by = a + b Eu observo y, mas nem nem . Eu quero estimarbumaaabbb b = f( x ) + ϵb=f(x)+ϵb = f(x) + \epsilon Eu posso estimar , usando algum tipo de modelo de regressão. Isso me dá . Eu poderia então estimarbumaaab^b^\hat b b^= f( x ) + ϵb^=f(x)+ϵ\hat b =...
Estou familiarizado com o uso de insights da Random Matrix Theory para determinar o número de componentes principais do PCA de uma matriz de covariância / correlação a ser usada para formar fatores. Se o autovalor associado ao primeiro PC for grande, significa que os autovalores restantes devem...
Antecedentes do problema: Como parte da minha pesquisa, escrevi dois algoritmos que podem selecionar um conjunto de recursos de um conjunto de dados (dados de expressão gênica de pacientes com câncer). Esses recursos são então testados para ver quão bem eles podem classificar uma amostra invisível...
Digamos que eu queira prever se um projeto será ou não lucrativo. Nos meus dados de amostra, a variável de resposta é na verdade uma variável contínua: o lucro / perda do projeto. Como meu objetivo final é apenas uma classificação binária (projeto lucrativo ou projeto não lucrativo), devo usar...
Eu tenho uma pergunta filosófica a respeito do viés variável omitido. Temos o modelo de regressão típico (modelo de população) onde as amostras são e, em seguida condições pelas quais as estimativas do OLS se comportam muito bem.( Y , X 1 , . . . , X n )Y= β0 0+ β1X1+ . . . + βnXn+ Υ...
Quero estimar parâmetros dos modelos de mistura de Dirichlet usando a amostra de Gibbs e tenho algumas perguntas sobre isso: Uma mistura de distribuições de Dirichlet é equivalente a um processo de Dirichlet? Quais são as principais diferenças, se não? Além disso, se eu quiser estimar os...
Ao lidar com dados com fatores R, pode ser usado para calcular as médias de cada grupo com a função lm (). Isso também fornece os erros padrão para as médias estimadas. Mas esse erro padrão difere do que recebo de um cálculo manualmente. Aqui está um exemplo (retirado daqui Prevendo a diferença...
Estou usando o lme4pacote no R para fazer alguma modelagem logística de efeitos mistos. Meu entendimento era que a soma de cada efeito aleatório deveria ser zero. Quando eu uso modelos mistos lineares de brinquedo lmer, os efeitos aleatórios geralmente são < confirmando minha crença de que...
Estou tentando entender qual é a diferença entre um HMM padrão e um HMM Bayesiano. A Wikipedia menciona brevemente como é o modelo, mas preciso de um tutorial mais detalhado. Alguém conhece um documento ou uma implementação que eu possa examinar? Também tenho problemas com a terminologia usada. O...
Eu tenho 65 amostras de dados 21-dimensionais (colados aqui ) e estou construindo a matriz de covariância a partir dele. Quando computado em C ++, recebo a matriz de covariância colada aqui . E quando computado no Matlab a partir dos dados (como mostrado abaixo), recebo a matriz de covariância...
Estou tentando decompor uma série temporal de nnn observações vcvc\bf{\mathrm{v_c}} na estrutura n×nn×nn \times n variância-covariância ∑∑\sum e uma série aleatória vv\bf{\mathrm{v}} . Portanto, posso derivar a matriz de variância-covariância ∑∑\sum da função de autocorrelação de...
Eu estou procurando construir um modelo preditivo em que a variável de resultado seja binária e a entrada seja uma série temporal. Para torná-lo mais concreto, o modelo preverá se um cliente agita (deixou a empresa; codificado como 1 ou 0) com base no valor gasto com a empresa nos 60 dias...
Eu tenho dados que se parecem um pouco com isso: ID Status 01 A 02 G 03 E ... ... 100 G Você entendeu a ideia, eu acho. Eu tenho esses dados de duas populações separadas (coortes) e quero comparar a distribuição da variável status em uma população com a distribuição em outra. A pergunta que estou...
Estou trabalhando em um projeto de software que envolve a criação de um visualizador para simulações de inundações. Como parte deste projeto, criei um gradiente de água que mostra a profundidade da água em pontos específicos. Para definir quais valores representarão quais cores, analiso os dados e...
Eu tenho uma pergunta sobre como um estatístico normalmente interpretaria uma saída anova. Digamos que tenho saída anova de R. > summary(fitted_data) Call: lm(formula = V1 ~ V2) Residuals: Min 1Q Median 3Q Max -2.74004 -0.33827 0.04062 0.44064 1.22737 Coefficients: Estimate Std. Error t...
Alguém pode me explicar a intuição por trás da trama dividida? Pelo que entendi, é essencialmente uma randomização restrita. Mas ainda não o entendo direito. Existe um recurso ou exemplo que alguém possa me dar para torná-lo mais
Tentando replicar os resultados do artigo publicado recentemente, Aghion, Philippe, John Van Reenen e Luigi Zingales. 2013. "Inovação e Propriedade Institucional". American Economic Review, 103 (1): 277-304. (O código de dados e dados está disponível em