Estatísticas e Big Data

Suponha que eu esteja tentando redefinir uma função de probabilidade que seja exponencialmente distribuída. Se minha função de probabilidade original for: p ( y∣ θ ) = θ e- θ yp(y∣θ)=θe−θy p(y \mid \theta) = \theta e^{-\theta y} e eu gostaria de re-parametrizar usando , já queθnão é uma variável...

Uma rede de mundo pequeno é um tipo de gráfico matemático no qual a maioria dos nós não é vizinhos um do outro, mas a maioria dos nós pode ser alcançada entre si por um pequeno número de saltos ou etapas. Especificamente, uma rede de mundo pequeno é definida como uma rede em que a distância...

Hoje, nosso professor declarou em sala de aula que "não é possível adaptar demais aos classificadores lineares". Considero que isso está errado, uma vez que até os classificadores lineares podem ser sensíveis a outliers no conjunto de treinamento - por exemplo, uma margem rígida Support Vector...

Atualmente, estou lendo a técnica de visualização t-SNE e foi mencionado que uma das desvantagens do uso da análise de componentes principais (PCA) para visualizar dados de alta dimensão é que ela preserva apenas grandes distâncias em pares entre os pontos. Os pontos de significado que estão...

No presente trabalho (disponível gratuitamente via PubMed Central), os autores usam regressão binomial negativa para modelar a pontuação em um instrumento de triagem de 10 itens marcou 0-40. Este procedimento assume dados de contagem, o que claramente não é o caso aqui. Gostaria de suas opiniões...

Eu tenho uma variável aleatória 1-D que é extremamente assimétrica. Para normalizar essa distribuição, quero usar a mediana e não a média. minha pergunta é a seguinte: posso calcular a variação da distribuição usando a mediana na fórmula em vez da média? ou seja, posso substituir...

Problemas de classificação com limites não lineares não podem ser resolvidos por um simples perceptron . O código R a seguir é para fins ilustrativos e baseia-se neste exemplo em Python): nonlin <- function(x, deriv = F) { if (deriv) x*(1-x) else 1/(1+exp(-x)) } X <- matrix(c(-3,1,...

Estou tentando entender o uso da regressão logística nas tabelas de contingência 2x2 e ix2. Por exemplo, usando isso como um exemplo Qual é a diferença entre usar o teste qui-quadrado e usar regressão logística? Que tal uma tabela com vários fatores nominais (tabela Ix2) como esta: Existe uma...

Como posso obter p,d and qvalores no ARIMA(p,d,q)modelo estimado por auto.arima(mytimeseries)? arima_model <- auto.arima (mytimeseries, ic = 'bic') Se olharmos para a saída de arima_model $ arma Nós temos, [1] 1 0 0 0 1 2 0 Qual é o significado dos números que aparecem na...

Contexto Estou tentando entender como o coxph (R) aceita e lida com entradas repetidas para assuntos (ou paciente / cliente, se você preferir). Alguns chamam isso de formato longo, outros chamam de 'medidas repetidas'. Veja, por exemplo, o conjunto de dados que inclui a coluna ID na seção...

Estou fazendo um estudo sobre o uso de drogas múltiplas. Eu tenho um conjunto de dados de 400 viciados em drogas, cada um declarando as drogas que abusam. Existem mais de 10 medicamentos e, portanto, existem grandes combinações possíveis. Recodifiquei a maioria das drogas que eles consomem em...

Quero quantificar o relacionamento entre duas variáveis, A e B, usando informações mútuas. A maneira de calculá-lo é impedindo as observações (veja o código Python de exemplo abaixo). No entanto, quais fatores determinam qual número de posições é razoável? Eu preciso que a computação seja rápida,...

Prove / refute E[ 1UMA| Ft] = 0 ou 1 a.s. ⇒ E    [ 1UMA| Fs] = E[ 1UMA| Ft] como E[1A|Ft]=0 or 1 a.s. ⇒E[1A|Fs]=E[1A|Ft] a.s.E[1_A | \mathscr{F_t}] = 0 \ \text{or} \ 1 \ \text{a.s.} \ \Rightarrow E[1_A | \mathscr{F_{s}}] = E[1_A | \mathscr{F_t}] \ \text{a.s.} Dado um espaço de probabilidade...

Nas minhas notas de aula, diz: A distribuição t parece normal, embora com caudas um pouco mais pesadas. Entendo por que pareceria normal (por causa do Teorema do Limite Central). Mas estou tendo dificuldade em entender como provar matematicamente que ela possui caudas mais pesadas que a...

O que significa a notação (ponto sobre o til), no contexto como ? x ˙ ~ N(0,1)∼˙∼˙\dot\simx ∼˙N( 0 , 1 )x∼˙N(0,1)x \mathrel{\dot\sim} \mathcal N(0,1) Acontece que é mais fácil descobrir como digitar corretamente: tex.SE explica que é preciso digitar em \mathrel{\dot\sim}vez de simplesmente...

Para trabalhos de casa, recebi dados para criar / treinar um preditor que usa regressão do laço. Crio o preditor e o treino usando a biblioteca lasso python do scikit learn. Então agora eu tenho esse preditor que, quando recebida, pode prever a saída. A segunda pergunta foi "Estenda seu preditor...

Recentemente, me interessei pelo empilhamento de modelos como uma forma de aprendizado por conjunto. Em particular, experimentei um pouco com alguns conjuntos de dados de brinquedos para problemas de regressão. Eu basicamente implementei regressores individuais de "nível 0", armazenei as previsões...

Estou lendo um exemplo dado no livro Machine Learning for Hackers . Primeiro vou elaborar o exemplo e depois falar sobre minha pergunta. Exemplo : Toma um conjunto de dados por 10 anos com preços de 25 ações. Executa o PCA nos 25 preços das ações. Compara o componente principal com o Índice Dow...

Estou escrevendo um artigo que usa assintóticos de preenchimento e um dos meus revisores solicitou que eu forneça uma definição matemática rigorosa do que é assintóticos de preenchimento (ou seja, com símbolos e notações matemáticas). Parece que não consigo encontrar nada na literatura e esperava...

Eu pesquiso sobre jogos educacionais, e alguns dos meus projetos atuais envolvem o uso de dados do BoardGameGeek (BGG) e VideoGameGeek (VGG) para examinar as relações entre os elementos de design dos jogos (por exemplo, "ambientados na Segunda Guerra Mundial", "envolvem dados" ) e classificações de...