A mineração de dados usa métodos da inteligência artificial em um contexto de banco de dados para descobrir padrões anteriormente desconhecidos. Como tal, os métodos geralmente não são supervisionados. Está intimamente relacionado, mas não é idêntico ao aprendizado de máquina. As principais tarefas da mineração de dados são análise de cluster, detecção de outlier e mineração de regras de associação.
K-means é um método amplamente utilizado na análise de agrupamentos. No meu entendimento, esse método NÃO requer QUALQUER suposição, ou seja, me forneça um conjunto de dados e um número pré-especificado de clusters, k, e apenas aplico esse algoritmo que minimiza a soma dos erros ao quadrado (SSE),...
Qual é a diferença entre mineração de dados, estatística, aprendizado de máquina e IA? Seria correto dizer que são quatro campos tentando resolver problemas muito semelhantes, mas com abordagens diferentes? O que exatamente eles têm em comum e onde eles diferem? Se existe algum tipo de hierarquia...
Estou lendo um livro de mineração de dados e ele mencionou a estatística Kappa como um meio de avaliar o desempenho de previsão dos classificadores. No entanto, eu simplesmente não consigo entender isso. Também verifiquei a Wikipedia, mas também não ajudou:
Florestas aleatórias são consideradas caixas pretas, mas recentemente eu estava pensando que conhecimento pode ser obtido de uma floresta aleatória? O mais óbvio é a importância das variáveis, na variante mais simples isso pode ser feito apenas calculando o número de ocorrências de uma variável....
Há muito tempo que me interesso por mineração de dados e aprendizado de máquina , em parte porque me formei nessa área na escola, mas também porque estou realmente muito mais empolgado tentando resolver problemas que exigem um pouco mais de reflexão do que apenas programação conhecimento e cuja...
Vi em algum lugar que distâncias clássicas (como a distância euclidiana) se tornam fracamente discriminantes quando temos dados multidimensionais e esparsos. Por quê? Você tem um exemplo de dois vetores de dados esparsos em que a distância euclidiana não apresenta bom desempenho? Nesse caso, que...
Para um estudo de simulação, eu tenho que gerar variáveis aleatórias que mostram uma correlação pré-definida (população) com uma variável existente YYY. Examinei os Rpacotes copulae CDVineque podem produzir distribuições multivariadas aleatórias com uma determinada estrutura de dependência. No...
Parece que a mineração de dados e o aprendizado de máquina se tornaram tão populares que agora quase todo estudante de CS conhece classificadores, agrupamentos, PNL estatística ... etc. Portanto, parece que encontrar mineradores de dados não é algo difícil hoje em dia. Minha pergunta é: Quais são...
Quando você está tentando ajustar modelos a um grande conjunto de dados, o conselho comum é particionar os dados em três partes: o conjunto de dados de treinamento, validação e teste. Isso ocorre porque os modelos geralmente têm três "níveis" de parâmetros: o primeiro "parâmetro" é a classe do...
Alguém tem alguma experiência com software (de preferência gratuito, preferencialmente de código aberto) que obtém uma imagem dos dados plotados em coordenadas cartesianas (uma plotagem padrão do dia-a-dia) e extrai as coordenadas dos pontos plotados no gráfico? Essencialmente, esse é um problema...
Ou mais ainda "será"? O Big Data torna as estatísticas e os conhecimentos relevantes ainda mais importantes, mas parece subestimar a teoria de amostragem. Eu já vi esse hype em torno de 'Big Data' e não posso deixar de pensar que "por que" eu gostaria de analisar tudo ? Não havia uma razão para a...
Eu sei, isso pode parecer estranho, mas ouça. No Stack Overflow e aqui obtemos votos nas postagens, tudo isso é armazenado em forma de tabela. Por exemplo: ID da postagem ID do eleitor tipo de voto datetime ------- -------- --------- -------- 10 1 2 2000-1-1 10:00:01 11 3 3 2000-1-1 10:00:01...
Estudei algoritmos para agrupar dados (aprendizado não supervisionado): EM e k-means. Eu continuo lendo o seguinte: O k-means é uma variante do EM, com as suposições de que os clusters são esféricos. Alguém pode explicar a frase acima? Eu não entendo o que significa esférico e como kmeans e EM...
Com relação ao aprendizado não supervisionado (como cluster), existem métricas para avaliar o
Estou apenas começando a me molhar nas estatísticas, então desculpe se esta pergunta não faz sentido. Eu usei os modelos de Markov para prever estados ocultos (cassinos injustos, jogadas de dados etc.) e redes neurais para estudar os cliques dos usuários em um mecanismo de pesquisa. Ambos tinham...
"Big data" está em toda parte na mídia. Todo mundo diz que "big data" é algo importante para 2012, por exemplo, o KDNuggets faz pesquisas sobre tópicos importantes para 2012 . No entanto, tenho profundas preocupações aqui. Com o big data, todo mundo parece feliz apenas em conseguir alguma coisa ....
Pesquisei muitos sites para saber exatamente o que o elevador fará? Os resultados que encontrei foram sobre o uso em aplicativos e não em si. Eu sei sobre a função de suporte e confiança. Na Wikipedia, na mineração de dados, o lift é uma medida do desempenho de um modelo na previsão ou...
Estou vendo alguns slides de palestras em um curso de ciência de dados que pode ser encontrado aqui: https://github.com/cs109/2015/blob/master/Lectures/01-Introduction.pdf Infelizmente, não consigo ver o vídeo desta palestra e, a certa altura do slide, o apresentador tem o seguinte texto: Alguns...
Estou curioso sobre procedimentos repetitivos que podem ser usados para descobrir a forma funcional da função y = f(A, B, C) + error_termonde minha única entrada é um conjunto de observações ( y, A, Be C). Observe que a forma funcional de fé desconhecida. Considere o seguinte conjunto de...
Caro pessoal, notei algo estranho que não sei explicar, não é? Em resumo: a abordagem manual para calcular um intervalo de confiança em um modelo de regressão logística e a função R confint()fornecem resultados diferentes. Eu tenho passado pela regressão logística aplicada de Hosmer & Lemeshow...