Abordagens ao aprender com grandes conjuntos de dados?

Basicamente, existem duas maneiras comuns de aprender com grandes conjuntos de dados (quando você se depara com restrições de tempo / espaço):

1. Trapaça :) - use apenas um subconjunto "gerenciável" para treinamento. A perda de precisão pode ser insignificante por causa da lei dos retornos decrescentes - o desempenho preditivo do modelo geralmente diminui muito antes de todos os dados de treinamento serem incorporados a ele.
2. Computação paralela - divida o problema em partes menores e resolva cada uma em uma máquina / processador separado. Porém, você precisa de uma versão paralela do algoritmo, mas a boa notícia é que muitos algoritmos comuns são naturalmente paralelos: vizinho mais próximo, árvores de decisão etc.

Existem outros métodos? Existe alguma regra prática quando usar cada uma? Quais são as desvantagens de cada abordagem?

Stream Mining é uma resposta. Também é chamado:

• Mineração de fluxo de dados
• Aprendizagem online

• Aprendizado on-line maciço

  Em vez de colocar todos os dados configurados na memória e treiná-los. Eles colocam pedaços dele na memória e treinam classificadores / clusters a partir desse fluxo de pedaços. Veja os links a seguir.

• Data_stream_mining da wikipedia.

• MOA: análise on-line maciça

  • Artigo
  • Ferramenta , escrita em Java, capaz de usar algoritmos weka
  • Livro

• Livro sobre Mineração de Maciços Conjuntos de Dados , da Stanford University. Ele usa o MapReduce como uma ferramenta.

• Vídeos em videolectures.net. Pesquise vídeos semelhantes existentes nesse site.

  • Estado da arte em mineração de fluxo de dados
  • Mineração de conjuntos de dados maciços

Em vez de usar apenas um subconjunto, você pode usar vários subconjuntos como no aprendizado em mini-lotes (por exemplo, descida estocástica do gradiente). Dessa forma, você ainda utilizaria todos os seus dados.

Conjuntos como ensacamento ou mistura - nenhum dado é desperdiçado, o problema automaticamente se torna trivialmente paralelo e pode haver ganhos significativos de precisão / robustez.