Estatísticas e Big Data

Resumindo , quanto mais aprendo sobre estatística, menos confio em artigos publicados em meu campo; Simplesmente acredito que os pesquisadores não estão fazendo suas estatísticas suficientemente bem. Sou leigo, por assim dizer. Sou formado em biologia, mas não tenho educação formal em...

No aprendizado estatístico, implícita ou explicitamente, sempre se assume que o conjunto de treinamento é composto de tuplas de entrada / resposta que são desenhados independentemente da mesma distribuição conjunta comD={X,y}D={X,y}\mathcal{D} = \{ \bf {X}, \bf{y} \}NNNP ( X , y...

Eu li muito sobre o PCA, incluindo vários tutoriais e perguntas (como este , este , este e este ). O problema geométrico que o PCA está tentando otimizar é claro para mim: o PCA tenta encontrar o primeiro componente principal minimizando o erro de reconstrução (projeção), que maximiza...

Em muitos tutoriais ou manuais, a narrativa parece implicar que R e python coexistem como componentes complementares do processo de análise. Para meus olhos destreinados, no entanto, parece que os dois idiomas fazem o mesmo. Então, minha pergunta é se existem nichos realmente especializados para...

Este post é a continuação de outro post relacionado a um método genérico para detecção de outlier em séries temporais . Basicamente, neste ponto, estou interessado em uma maneira robusta de descobrir a periodicidade / sazonalidade de uma série temporal genérica afetada por muito ruído. Do ponto de...

Imagine o seguinte design comum: 100 participantes são alocados aleatoriamente em um grupo de tratamento ou controle a variável dependente é numérica e medida pré e pós-tratamento Três opções óbvias para analisar esses dados são: Teste o efeito de interação do grupo pelo tempo na ANOVA...

Quais são os estatísticos mais importantes e o que os tornou famosos? (Responda a apenas um cientista por resposta, por

Estou analisando alguns dados nos quais gostaria de executar uma regressão linear comum, mas isso não é possível, pois estou lidando com uma configuração on-line com um fluxo contínuo de dados de entrada (que rapidamente se tornará muito grande para memória) e precisa para atualizar estimativas de...

Estou pensando em usar bibliotecas Python para fazer minhas experiências de Machine Learning. Até agora, eu confiava no WEKA, mas fiquei bastante insatisfeito. Isso ocorre principalmente porque achei que o WEKA não é tão bem suportado (muito poucos exemplos, a documentação é escassa e o apoio da...

EDIT: A exibição da tarefa CRAN de Tecnologias e Serviços da Web contém uma lista muito mais abrangente de fontes de dados e APIs disponíveis no R. Você pode enviar uma solicitação pull no github se desejar adicionar um pacote à exibição da tarefa. Estou fazendo uma lista dos vários feeds de...

Quero medir a entropia / densidade da informação / semelhança de padrão de uma matriz binária bidimensional. Deixe-me mostrar algumas fotos para esclarecimentos: Essa exibição deve ter uma entropia bastante alta: A) Isso deve ter entropia média: B) Finalmente, essas imagens devem ter...

Existe uma transformação semelhante a Box-Cox para variáveis ​​independentes? Ou seja, uma transformação que otimiza a variável para que ela se ajuste de forma mais razoável a um modelo linear?xxxy~f(x) Em caso afirmativo, existe uma função para executar isso

Sinto muito se isso parece um pouco básico, mas acho que estou apenas tentando confirmar o entendimento aqui. Tenho a sensação de que eu teria que fazer isso em duas etapas e comecei a tentar criar matrizes de correlação, mas isso está começando a parecer realmente envolvido. Estou procurando uma...

O que significa ter "variação constante" no termo de erro? A meu ver, temos dados com uma variável dependente e uma variável independente. A variação constante é um dos pressupostos da regressão linear. Estou imaginando o que significa homoscedasticidade. Como mesmo se eu tiver 500 linhas, eu teria...

Dadas todas as boas propriedades dos modelos de espaço de estado e KF, pergunto-me - quais são as desvantagens da modelagem de espaço de estado e do uso do Kalman Filter (ou EKF, UKF ou filtro de partículas) para estimativa? Vamos dizer que metodologias convencionais como ARIMA, VAR ou métodos...

Na maioria dos códigos de fluxo de tensão, o Adam Optimizer é usado com uma taxa de aprendizado constante de 1e-4(ou seja, 0,0001). O código geralmente tem a seguinte aparência: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops...

Já tínhamos várias perguntas sobre dados desequilibrados ao usar regressão logística , SVM , árvores de decisão , empacotamento e várias outras perguntas semelhantes, o que o torna um tópico muito popular! Infelizmente, cada uma das perguntas parece ser específica do algoritmo e não encontrei...

Muitos estudos nas ciências sociais usam escalas Likert. Quando é apropriado usar os dados da Likert como ordinal e quando é apropriado usá-los como dados de

Suponha que eu tenha três populações com quatro características mutuamente exclusivas. Coleto amostras aleatórias de cada população e construo uma tabela de referência cruzada ou de frequência para as características que estou medindo. Estou correto ao dizer que: Se eu quisesse testar se existe...

Eu tenho uma matriz (simétrica) Mque representa a distância entre cada par de nós. Por exemplo, ABCDEFGHIJKL A 0 20 20 20 40 60 60 60 100 120 120 120 B 20 0 20 20 60 80 80 80 120 140 140 140 C 20 20 0 20 60 80 80 80 120 140 140 140 D 20 20 20 0 60 80 80 80 120 140 140 140 E 40 60 60 60 0 20 20 20...