Aprendizado de Máquina usando Python

Estou pensando em usar bibliotecas Python para fazer minhas experiências de Machine Learning. Até agora, eu confiava no WEKA, mas fiquei bastante insatisfeito. Isso ocorre principalmente porque achei que o WEKA não é tão bem suportado (muito poucos exemplos, a documentação é escassa e o apoio da comunidade é menos do que desejável em minha experiência) e me encontrei em situações difíceis sem ajuda futura. Outro motivo pelo qual estou contemplando essa mudança é porque realmente gosto de Python (sou novo em Python) e não quero voltar a codificar em Java.

Então, minha pergunta é: quais são as mais

1. compreensivo
2. escalável (recursos de 100 mil, exemplos de 10 mil) e
3. bibliotecas bem suportadas para fazer ML em Python por aí?

Estou particularmente interessado em fazer a classificação de texto e, portanto, gostaria de usar uma biblioteca que tenha uma boa coleção de classificadores, métodos de seleção de recursos (ganho de informação, Chi-quadrado etc.) e recursos de pré-processamento de texto (remoção, remoção de palavras de parada , tf-idf etc.).

Com base nos tópicos de e-mail anteriores aqui e em outros lugares, estive analisando PyML, scikits-learn e Orange até agora. Como têm sido as experiências das pessoas com relação às três métricas acima mencionadas?

Alguma outra sugestão?

Sobre a opção scikit-learn: os recursos de 100k (esparsos) e as amostras de 10k são razoavelmente pequenos o suficiente para caber na memória, portanto são perfeitamente possíveis com o scikit-learn (mesmo tamanho dos 20 grupos de dados de newsgroups).

Aqui está um tutorial que eu dei no PyCon 2011 com um capítulo sobre classificação de texto com exercícios e soluções:

• http://scikit-learn.github.com/scikit-learn-tutorial/ (versão HTML online)

• https://github.com/downloads/scikit-learn/scikit-learn-tutorial/scikit_learn_tutorial.pdf (versão em PDF)

• https://github.com/scikit-learn/scikit-learn-tutorial (código fonte + exercícios)

Também dei uma palestra sobre o tópico, que é uma versão atualizada da versão que dei no PyCon FR. Aqui estão os slides (e o vídeo incorporado nos comentários):

• http://www.slideshare.net/ogrisel/statistical-machine-learning-for-text-classification-with-scikitlearn-and-nltk

Quanto à seleção de recursos, dê uma olhada nesta resposta no quora, em que todos os exemplos são baseados na documentação do scikit-learn:

• http://www.quora.com/What-are-some-feature-selection-methods/answer/Olivier-Grisel

Ainda não temos extração de recursos de disposição no scikit-learn. Use o nltk e o nltk-trainer para fazer isso nesse meio tempo:

• https://github.com/japerk/nltk-trainer

Em termos de trabalho com texto, dê uma olhada no NLTK. Muito, muito bem suportado e documentado (há até um livro on-line ou em papel, se você preferir) e fará o pré-processamento necessário. Você pode achar o Gensim útil também; a ênfase está na modelagem de espaço vetorial e tem implementações escalonáveis ​​de LSI e LDA (acho que o pLSI também) se forem de interesse. Ele também fará a seleção por tf-idf - não tenho certeza de que o NLTK o faça. Eu usei peças em corpora de ~ 50k sem muita dificuldade.

NLTK: http://www.nltk.org/

Gensim: http://nlp.fi.muni.cz/projekty/gensim/

Infelizmente, quanto ao principal objetivo de sua pergunta, não estou familiarizado com as bibliotecas específicas que você faz referência (embora eu já tenha usado partes de scikits-learn antes).

O Python possui uma ampla variedade de bibliotecas ML (consulte mloss.org também). No entanto, sempre tenho a sensação de que é mais útil para pesquisadores de ml do que para praticantes de ml.

Numpy / SciPy e matplotlib são excelentes ferramentas para o trabalho científico com Python. Se você não tem medo de invadir a maioria das fórmulas matemáticas, não ficará desapontado. Além disso, é muito fácil usar a GPU com cudamat ou gnumpy - experimentos que levaram dias antes agora são concluídos em horas ou até minutos.

O garoto mais recente do quarteirão é provavelmente Theano . É uma linguagem simbólica para expressões matemáticas que vem com opmitimzações, implementações de GPU e a diferenciação automática de über que não é nada menos que impressionante para métodos baseados em gradiente.

Além disso, até onde eu sei, o NLTK mencionado pelo JMS é basicamente a biblioteca de linguagem natural de código aberto número um por aí.

Python é a ferramenta certa para aprendizado de máquina.

Deixe-me sugerir laranja

compreensivo

sim

escalável (100 mil recursos, 10 mil exemplos)

sim

bibliotecas bem suportadas para fazer ML em Python por aí?

sim

biblioteca que possui uma boa coleção de classificadores, métodos de seleção de recursos (ganho de informação, Chi-Sqaured etc.),

Tudo isso sai da caixa em Orange

e recursos de pré-processamento de texto (stemming, remoção de palavras irrelevantes, tf-idf etc.).

Eu nunca usei a Orange para processamento de texto, embora

Não tenho certeza se isso é particularmente útil, mas há um guia para os programadores aprenderem estatísticas no Python disponíveis online. http://www.greenteapress.com/thinkstats/

Parece muito bom em minha breve varredura e parece falar sobre alguns métodos de aprendizado de máquina, portanto pode ser um bom lugar para começar.

Confira libsvm .

SHOGUN ( 将軍 ) é uma caixa de ferramentas de aprendizado de máquina em larga escala, o que parece promissor.

biblioteca python ml de código aberto PySpark MLlib https://spark.apache.org/docs/0.9.0/mllib-guide.html

biblioteca proprietária de ml com avaliação gratuita GraphLab Crie https://dato.com/products/create/

Como o @ogrisel destacou, o scikit-learn é um dos melhores pacotes de aprendizado de máquina disponíveis para o Python. É adequado para conjuntos de dados tão pequenos quanto recursos de 100k (esparsos) e amostras de 10k, e até mesmo para conjuntos de dados marginalmente maiores que podem conter mais de 200k linhas. Basicamente, qualquer conjunto de dados que caiba na memória.

Mas, se você estiver procurando por uma estrutura de aprendizado de máquina Python altamente escalável, eu recomendo o Pyspark MLlib. Como os conjuntos de dados hoje em dia podem crescer exponencialmente (dado o big data e a onda de aprendizado profundo), muitas vezes você precisa de uma plataforma que possa ser bem dimensionada e executada rapidamente, não apenas na fase de treinamento do modelo, mas também durante a fase de engenharia de recursos (transformação de recursos , seleção de recurso). Vejamos todas as três métricas da plataforma Spark Mllib em que você está interessado:

1. Escalabilidade: se o seu conjunto de dados pode caber na memória, o scikit-learn deve ser sua escolha. Se for grande demais para caber na memória, o Spark é o caminho a percorrer. O importante a ser observado aqui é que o Spark funciona mais rápido apenas em uma configuração distribuída.

2. Abrangência: o Sklearn é muito mais rico em termos de implementações decentes de um grande número de algoritmos comumente usados ​​em comparação com o spark mllib. O suporte para manipulação e transformação de dados também é mais rico no scikit-learn. O Spark Mllib possui módulos de transformação de dados suficientes que fazem o truque na maioria das vezes. Portanto, caso você acabe com o spark mllib por questões de escalabilidade, ainda poderá fazer o trabalho. Possui todo o suporte para análise de correlação, extração de recursos (tf-idf, word2vec, CountVectorizer), transformação de recursos (Tokenizer, StopWordsRemover, nn-gram, Binarizer, PCA etc.). Para uma lista detalhada, consulte o link abaixo:

Extraindo, transformando e selecionando recursos no Spark mllib

3. Classificação: o Spark mllib possui a implementação de todos os principais algoritmos que você usaria na maioria das vezes (incluindo algos que funcionam bem para a classificação de texto). Para uma visão geral detalhada de quais algoritmos estão disponíveis no mllib, consulte o link abaixo.

Classificação e regressão de Mllib

Bônus: O Apache Spark tem suporte para Python, R, Java e Scala. Portanto, se amanhã você decidir experimentar um idioma diferente (como uma escolha pessoal ou por razões profissionais), não precisará aprender uma estrutura totalmente nova.

Não sei se você ainda está procurando algum conselho (você fez essa pergunta há 5 meses ...). Eu comecei este livro e até agora está muito bem:

https://www.amazon.com.mx/dp/1491962291/ref=cm_cr_ryp_prd_ttl_sol_3

O autor mostra código, exemplos e explica alguma teoria e matemática "nos bastidores" dos algoritmos de ML. Estou achando isso muito instrutivo. Espero que isso possa ser o mesmo para você.