Estou classificando imagens usando aprendizado de máquina. Suponha que eu tenha alguns dados de treinamento (imagens) e os divida em conjuntos de treinamento e validação. E também quero aumentar os dados (produzir novas imagens a partir das originais) por rotações aleatórias e injeção de ruído. O...
Usando R ou Excel, qual é a maneira mais fácil de converter uma tabela de frequência em um vetor de valores? Por exemplo, como você converteria a seguinte tabela de frequência Value Frequency 1. 2 2. 1 3. 4 4. 2 5. 1 no seguinte vetor? 1, 1, 2, 3, 3, 3, 3, 4, 4,
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 2 anos . Desejo usar dados brutos sobre ensaios...
Estou tentando separar dois grupos de valores de um único conjunto de dados. Eu posso assumir que uma das populações está normalmente distribuída e tem pelo menos metade do tamanho da amostra. Os valores do segundo são mais baixos ou mais altos que os valores do primeiro (a distribuição é...
Tendo recentemente começado a me ensinar Machine Learning e Análise de Dados, estou me deparando com uma parede de tijolos sobre a necessidade de criar e consultar grandes conjuntos de dados. Gostaria de pegar os dados que agreguei na minha vida profissional e pessoal e analisá-los, mas não tenho...
Eu suspeito que a maioria dos usuários de ferramentas estatísticas são usuários auxiliares (pessoas que tiveram pouco ou nenhum treinamento formal em estatística). É muito tentador para pesquisadores e outros profissionais aplicar métodos estatísticos a seus dados simplesmente porque eles já o...
Hadley Wickham escreveu um artigo estelar chamado "Tidy Data" ( link ) no JSS no ano passado sobre manipulação de dados e obtenção dos dados em uma condição "ideal" para realizar a análise. No entanto, eu estava pensando quais seriam as melhores práticas em termos de apresentação de dados tabulares...
Nota: esta pergunta é um repost, pois minha pergunta anterior teve que ser excluída por razões legais. Ao comparar o PROC MIXED do SAS com a função lmedo nlmepacote no R, deparei-me com algumas diferenças bastante confusas. Mais especificamente, os graus de liberdade nos diferentes testes...
Costumo ver pessoas que fazem com que uma dimensão / recurso de um conjunto de dados seja de média zero, removendo a média de todos os elementos. Mas eu nunca entendi por que fazer isso? Qual é o efeito de fazer isso como uma etapa de pré-processamento? Melhora o desempenho da classificação? Ajuda...
Sou estudante de doutorado em psicologia experimental e tento muito melhorar minhas habilidades e conhecimentos sobre como analisar meus dados. Até o meu quinto ano em psicologia, eu pensava que os modelos semelhantes à regressão (por exemplo, ANOVA) assumem o seguinte: normalidade dos...
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 6 anos . Estou usando arquivos de texto para armazenar...
Eu tenho uma matriz grande (650K linhas * 62 colunas) de dados binários (somente entradas de 0-1). A matriz é praticamente esparsa: cerca de 8% é preenchida. Gostaria de agrupá-lo em 5 grupos - digamos, nomeado de 1 a 5. Tentei agrupar hierarquicamente e não foi capaz de lidar com o tamanho....
Pesquisando na Internet o tutorial do PCA fornece milhares de resultados (até vídeos). Muitos dos tutoriais são muito bons. Mas não consigo encontrar nenhum exemplo prático em que o PCA é explicado usando alguns conjuntos de dados que posso usar para demonstração. Preciso de um tutorial que forneça...
Um nome: primeiro, possivelmente meio, e sobrenome. Estou curioso para saber quantas informações você pode extrair de um nome, usando conjuntos de dados disponíveis ao público. Eu sei que você pode obter o seguinte com qualquer probabilidade entre baixa e alta (dependendo da entrada) usando os...
Estou procurando o método ideal de binning (discretização) de uma variável contínua em relação a uma variável binária de resposta (destino) e com o número máximo de intervalos como parâmetro. exemplo: eu tenho um conjunto de observações de pessoas com variáveis "height" (numeral contínuo) e...
Eu sou um estudante de física estudando aprendizado de máquina / ciência de dados, por isso não pretendo que esta pergunta inicie conflitos :) No entanto, uma grande parte de qualquer programa de graduação em física é fazer laboratórios / experimentos, o que significa muitos dados processamento e...
Como o título diz, alguém conhece um livro bom e atualizado que cubra o pré-processamento de dados em geral e, especialmente, em técnicas de detecção fora de série? O livro não precisa se concentrar exclusivamente nisso, mas deve lidar exaustivamente com os tópicos acima mencionados - eu não...
1 : A , B , C , E 2 : A , C , D , E 3 : B , C , E 4 : A , C , D , E 5 : C , D , E 6 : A , D , EMy dum t um s e t :My dumatumaset:My \ \ dataset: 1 : A , B , C, E1:UMA,B,C,E1: A,B,C,E 2 : A , C, D , E2:UMA,C,D,E2:A,C,D,E 3 : B , C , E3: B,C,E3:\ \ \ \ \ B,C,E 4 : A , C, D ,...
A seleção de recursos deve ser realizada apenas nos dados de treinamento (ou todos os dados)? Passei por algumas discussões e artigos como Guyon (2003) e Singhi e Liu (2006) , mas ainda não tenho certeza sobre a resposta certa. Minha configuração da experiência é a seguinte: Conjunto de dados:...
Estou ensinando álgebra linear a uma classe de engenheiros, cientistas sociais e programadores de computador. Acabamos de decompor o valor singular e temos um dia extra, então pensei em falar sobre a relação entre a decomposição do valor singular e a análise de componentes principais. Tenho a parte...