Em um curso de aprendizado de máquina, aprendi que um uso comum do PCA ( Análise de Componentes Principais ) é acelerar outros algoritmos de aprendizado de máquina. Por exemplo, imagine que você está treinando um modelo de regressão logística. Se você tiver um conjunto de treinamento para i de 1 a...
Eu nunca tenho certeza de quando usar a codificação one-hot para variáveis categóricas não ordenadas e quando não usar . Eu o uso sempre que o algoritmo usa uma métrica de distância para calcular a similaridade. Alguém pode dar uma regra geral a respeito de quais tipos de algoritmos exigiriam que...
As competições da Kaggle determinam a classificação final com base em um conjunto de testes realizado. Um conjunto de teste retido é uma amostra; pode não ser representativo da população que está sendo modelada. Como cada envio é como uma hipótese, o algoritmo que venceu a competição pode, por...
Nos blogs de aprendizado de máquina, encontro frequentemente a palavra "baunilha". Por exemplo, "Descida de gradiente de baunilha" ou "método de baunilha". Esse termo nunca é visto literalmente em nenhum livro didático de otimização. Por exemplo, neste post , ele diz: Essa é a forma mais...
A função objetivo da Análise de Componentes Principais (PCA) é minimizar o erro de reconstrução na norma L2 (consulte a seção 2.12 aqui . Outra visão é tentar maximizar a variação na projeção. Também temos um excelente post aqui: Qual é a função objetivo do PCA ? ). Minha pergunta é que a...
Fechado . Esta questão é baseada em opiniões . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela possa ser respondida com fatos e citações editando esta postagem . Fechado há 2 anos . Atualmente,...
Digamos que nosso conjunto de dados contenha 1 milhão de exemplos, ou seja, , e desejamos usar a descida do gradiente para realizar uma regressão logística ou linear nesse conjunto de dados.x1,…,x106x1,…,x106x_1, \ldots, x_{10^6} O que é o método do gradiente descendente que o torna...
Estou realizando experimentos no conjunto de validação EMNIST usando redes com RMSProp, Adam e SGD. Estou atingindo uma precisão de 87% com SGD (taxa de aprendizado de 0,1) e desistência (prob de desistência de 0,1), bem como regularização de L2 (penalidade 1e-05). Ao testar a mesma configuração...
Pergunto-me o que é um valor intrínseco do uso da média harmônica (por exemplo, para calcular medidas F), em oposição à média aritmética ponderada na combinação de precisão e recall? Estou pensando que a média aritmética ponderada poderia desempenhar o papel de média harmônica, ou estou perdendo...
A normalização de lotes foi creditada com melhorias substanciais de desempenho em redes neurais profundas. Muito material na internet mostra como implementá-lo, ativação por ativação. Eu já implementei backprop usando álgebra matricial e, como estou trabalhando em linguagens de alto nível (enquanto...
O uso de "variacional" sempre se refere à otimização por inferência variacional? Exemplos: "Auto-codificador variacional" "Métodos bayesianos variacionais" "Grupo de renormalização
A função softmax, comumente usada em redes neurais para converter números reais em probabilidades, é a mesma função da distribuição de Boltzmann, a distribuição de probabilidade sobre energias para um conjunto de partículas em equilíbrio térmico a uma dada temperatura T na termodinâmica. Eu posso...
Atualmente, estou tentando entender a matemática do t-SNE . Infelizmente, ainda há uma pergunta que não consigo responder satisfatoriamente: qual é o significado real dos eixos em um gráfico t-SNE? Se eu fosse fazer uma apresentação sobre esse tópico ou incluí-lo em qualquer publicação: Como...
Minha pergunta: Por que a floresta aleatória considera subconjuntos aleatórios de recursos para dividir no nível do nó em cada árvore, e não no nível da árvore ? Antecedentes: isso é uma questão de história. Tin Kam Ho publicado este papel na construção de "florestas de decisão", selecionando...
O LSTM no seguinte código Keras input_t = Input((4, 1)) output_t = LSTM(1)(input_t) model = Model(inputs=input_t, outputs=output_t) print(model.summary()) pode ser representado como Entendo que quando chamamos model.predict(np.array([[[1],[2],[3],[4]]]))a (apenas) unidade LSTM processa...
Estive pesquisando estruturas teóricas para a seleção de métodos (nota: não seleção de modelos) e encontrei muito pouco trabalho sistemático e motivado matematicamente. Por 'seleção de método', quero dizer uma estrutura para distinguir o método apropriado (ou melhor, ideal) em relação a um problema...
Existe algum método padrão para determinar um ponto de operação "ideal" em uma curva de recuperação de precisão ? (ou seja, determinar o ponto na curva que oferece uma boa relação entre precisão e
Digamos que eu tenha um modelo de classificação preditiva baseado em uma floresta aleatória (usando o pacote randomForest em R). Eu gostaria de configurá-lo para que os usuários finais possam especificar um item para o qual gerar uma previsão e gerar uma probabilidade de classificação. Até agora,...
Quais são os benefícios de atribuir certos valores iniciais às probabilidades de transição em um modelo de Markov oculto? Eventualmente, o sistema os aprenderá; então, qual é o sentido de fornecer valores que não sejam aleatórios? O algoritmo subjacente faz alguma diferença como Baum – Welch? Se...
Estou trabalhando com alguns conjuntos de dados grandes usando o pacote gbm em R. Tanto minha matriz preditora quanto meu vetor de resposta são muito escassos (ou seja, a maioria das entradas é zero). Eu esperava construir árvores de decisão usando um algoritmo que aproveitasse essa escassez, como...