A lógica geralmente afirma que, ao sobreajustar um modelo, sua capacidade de generalizar é limitada, embora isso possa significar apenas que a sobreajuste impede que um modelo melhore após uma certa complexidade. O ajuste excessivo faz com que os modelos piorem, independentemente da complexidade...
Estou usando o TensorFlow para experimentos principalmente com redes neurais. Embora eu tenha feito algumas experiências (XOR-Problem, MNIST, algumas coisas de Regressão, ...) agora, luto com a escolha da função de custo "correta" para problemas específicos, porque no geral eu poderia ser...
Alocação de Dirichlet Latente (LDA) e Processo de Dirichlet Hierárquico (HDP) são processos de modelagem de tópicos. A principal diferença é que o LDA requer a especificação do número de tópicos, e o HDP não. Por que? E quais são as diferenças, prós e contras dos dois métodos de modelagem de...
Minha tarefa de 'aprendizado de máquina' é separar o tráfego benigno da Internet do tráfego malicioso. No cenário do mundo real, a maioria (digamos 90% ou mais) do tráfego da Internet é benigna. Assim, senti que deveria escolher uma configuração de dados semelhante para treinar meus modelos também....
R possui muitas bibliotecas destinadas à análise de dados (por exemplo, JAGS, BUGS, ARULES etc.), e são mencionadas em livros populares como: J.Krusche, Doing Bayesian Data Analysis; B.Lantz, "Machine Learning with R". Eu vi uma diretriz de 5 TB para um conjunto de dados ser considerado como Big...
As redes neurais obtêm os melhores resultados nas tarefas de visão computacional (consulte MNIST , ILSVRC , Kaggle Galaxy Challenge ). Eles parecem superar todas as outras abordagens no Computer Vision. Mas também existem outras tarefas: Desafio da Atividade Molecular de Kaggle Regressão:...
Eu sou um estudante de doutorado em Geofísica e trabalho com grandes quantidades de dados de imagem (centenas de GB, dezenas de milhares de arquivos). Eu sei svne gitrazoavelmente bem e vem a valorizar a história do projeto, combinado com a capacidade de facilmente trabalhar juntos e ter proteção...
Eu uso o RStudio para programação R. Lembro-me de IDE-s sólidos de outras pilhas de tecnologia, como Visual Studio ou Eclipse. Eu tenho duas perguntas: Quais outros IDE-s além do RStudio são usados (considere fornecer uma breve descrição neles). Algum deles tem vantagens visíveis sobre o...
Quais são as práticas comuns / melhores para lidar com dados de tempos para aplicativos de aprendizado de máquina? Por exemplo, se no conjunto de dados houver uma coluna com registro de data e hora do evento, como "05-05-2014", como você pode extrair recursos úteis dessa coluna, se houver? Desde...
Atualmente, estou trabalhando como cientista de dados em uma empresa de varejo (meu primeiro emprego como DS, portanto, essa pergunta pode ser resultado da minha falta de experiência). Eles têm um grande estoque de projetos de ciência de dados realmente importantes que teriam um grande impacto...
Quantos parâmetros possui um único LSTM empilhado? O número de parâmetros impõe um limite inferior ao número de exemplos de treinamento necessários e também influencia o tempo de treinamento. Portanto, conhecer o número de parâmetros é útil para treinar modelos usando
estiveram lendo um pouco sobre LSTM e seu uso para séries temporais e tem sido interessante, mas difícil ao mesmo tempo. Uma coisa que tive dificuldades em entender é a abordagem para adicionar recursos adicionais ao que já é uma lista de recursos de séries temporais. Supondo que você tenha seu...
Motivação Trabalho com conjuntos de dados que contêm informações de identificação pessoal (PII) e às vezes preciso compartilhar parte de um conjunto de dados com terceiros, de uma maneira que não exponha as PII e sujeite meu empregador a responsabilidades. Nossa abordagem usual aqui é reter os...
f(x)=max(x,αx) with α∈(0,1)f(x)=max(x,αx) with α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Keras, no entanto, tem ambas as funções nos documentos . LeaL ReLU Fonte do LeakyReLU : return K.relu(inputs, alpha=self.alpha) Portanto (consulte o código...
Eu gostaria de usar uma rede neural para classificação de imagens. Vou começar com o CaffeNet pré-treinado e treiná-lo para o meu aplicativo. Como devo preparar as imagens de entrada? Nesse caso, todas as imagens são do mesmo objeto, mas com variações (pense: controle de qualidade). Eles estão...
Eu obtive o ValueError ao prever dados de teste usando um modelo RandomForest. Meu código: clf = RandomForestClassifier(n_estimators=10, max_depth=6, n_jobs=1, verbose=2) clf.fit(X_fit, y_fit) df_test.fillna(df_test.mean()) X_test = df_test.values y_pred = clf.predict(X_test) O...
Parece que a semelhança de cosseno de dois recursos é apenas o produto escalar escalonado pelo produto de suas magnitudes. Quando a semelhança de cosseno produz uma métrica de distância melhor que o produto escalar? Ou seja, o produto escalar e a semelhança de cosseno têm diferentes pontos fortes...
Costumo ler que, no caso dos modelos de Aprendizado Profundo, a prática usual é aplicar mini-lotes (geralmente pequenos, 32/64) em várias épocas de treinamento. Eu realmente não consigo entender a razão por trás disso. A menos que eu esteja enganado, o tamanho do lote é o número de instâncias de...
Sou Rprogramador de idiomas. Também faço parte do grupo de pessoas que são consideradas cientistas de dados, mas que vêm de outras disciplinas acadêmicas que não a CS. Isso funciona bem no meu papel de cientista de dados, no entanto, ao iniciar minha carreira Re ter apenas o conhecimento básico de...
Eu tenho uma variedade de conjuntos de dados da NFL que acho que podem ser um bom projeto paralelo, mas ainda não fiz nada com eles. Ir a este site me fez pensar em algoritmos de aprendizado de máquina e me pergunto o quanto eles podem ser bons em prever o resultado de jogos de futebol ou até a...