Recentemente, comecei a estudar aprendizado profundo e outras técnicas de ML, e comecei a procurar estruturas que simplificassem o processo de construir uma rede e treiná-la. Depois, encontrei o TensorFlow, com pouca experiência em campo, para mim, parece que a velocidade é uma fator importante para tornar um grande sistema de ML ainda mais se estiver trabalhando com aprendizado profundo, então por que o python foi escolhido pelo Google para criar o TensorFlow? Não seria melhor fazê-lo sobre um idioma que pode ser compilado e não interpretado?
Quais são as vantagens de usar o Python sobre uma linguagem como C ++ para aprendizado de máquina?
python
c++
machine-learning
tensorflow
Ollegn
fonte
fonte
Respostas:
O mais importante a ser percebido sobre o TensorFlow é que, na maioria das vezes, o núcleo não está escrito em Python : está escrito em uma combinação de C ++ e CUDA altamente otimizados (a linguagem da Nvidia para programação de GPUs). Muito disso acontece, por sua vez, usando o Eigen (uma biblioteca numérica C ++ e CUDA de alto desempenho) e o cuDNN da NVidia (uma biblioteca DNN muito otimizada para GPUs NVidia , para funções como convoluções ).
O modelo para o TensorFlow é que o programador usa "alguma linguagem" (provavelmente Python!) Para expressar o modelo. Esse modelo, escrito nas construções do TensorFlow, como:
não é realmente executado quando o Python é executado. Em vez disso, o que é realmente criado é um gráfico de fluxo de dados que diz para receber entradas específicas, aplicar operações específicas, fornecer os resultados como entradas para outras operações e assim por diante. Esse modelo é executado pelo código C ++ rápido e, na maioria das vezes, os dados entre as operações nunca são copiados para o código Python .
Em seguida, o programador "conduz" a execução desse modelo puxando nós - para treinamento, geralmente em Python, e para veiculação, algumas vezes em Python e outras em C ++ bruto:
Esse Python (ou chamada de função C ++) usa uma chamada em processo para C ++ ou um RPC para que a versão distribuída chame o servidor C ++ TensorFlow para instruí-lo a executar e, em seguida, copie os resultados.
Então, com isso dito, vamos refazer a pergunta: Por que o TensorFlow escolheu o Python como a primeira linguagem bem suportada para expressar e controlar o treinamento de modelos?
A resposta para isso é simples: o Python é provavelmente a linguagem mais confortável para uma grande variedade de cientistas de dados e especialistas em aprendizado de máquina, que também é fácil de integrar e ter controle de um back-end em C ++, além de ser geral e amplamente utilizada dentro e fora do Google e código aberto. Dado que, com o modelo básico do TensorFlow, o desempenho do Python não é tão importante, era um ajuste natural. Também é uma vantagem enorme que o NumPy facilita o pré-processamento em Python - também com alto desempenho - antes de alimentá-lo no TensorFlow para coisas realmente pesadas na CPU.
Também há muita complexidade em expressar o modelo que não é usado ao executá-lo - inferência de forma (por exemplo, se você faz matmul (A, B), qual é a forma dos dados resultantes?) E computação automática de gradiente . Acontece que foi bom poder expressar aqueles em Python, embora eu pense que, a longo prazo, eles provavelmente se mudem para o back-end C ++ para facilitar a adição de outras linguagens.
(A esperança, é claro, é oferecer suporte a outras linguagens no futuro para criar e expressar modelos. Já é bastante simples executar inferência usando várias outras linguagens - o C ++ funciona agora, alguém do Facebook contribuiu com as ligações Go que estamos revendo agora etc.)
fonte
It's already quite straightforward to run inference using several other languagesSer um programador de Prolog, isso simplesmente não se encaixa para mim; parece uma palavra fora de lugar.TF não está escrito em python. Está escrito em C ++ (e usa bibliotecas numéricas de alto desempenho e código CUDA ) e você pode verificar isso consultando o github . Portanto, o núcleo não está escrito em python, mas o TF fornece uma interface para muitas outras linguagens ( python, C ++, Java, Go )
Se você vem de um mundo de análise de dados, pode pensar nisso como numpy (não escrito em python, mas fornece uma interface para Python) ou se você é um desenvolvedor web - pense nele como um banco de dados (PostgreSQL, MySQL, que pode ser chamado de Java, Python, PHP)
O front end do Python (a linguagem na qual as pessoas escrevem modelos no TF) é o mais popular por vários motivos . Na minha opinião, o principal motivo é histórico: a maioria dos usuários de ML já o usa (outra opção popular é R); portanto, se você não fornecer uma interface para python, sua biblioteca provavelmente estará fadada à obscuridade.
Mas ser escrito em python não significa que seu modelo seja executado em python. Pelo contrário, se você escreveu seu modelo da maneira correta, o Python nunca é executado durante a avaliação do gráfico TF (exceto tf.py_func () , que existe para depuração e deve ser evitado no modelo real exatamente porque ele é executado em Lado do Python).
Isso é diferente de, por exemplo, numpy. Por exemplo, se você fizer
np.linalg.eig(np.matmul(A, np.transpose(A))(que éeig(AA')), a operação calculará a transposição em alguma linguagem rápida (C ++ ou fortran), retornará para python, leve-a do python junto com A e calcule uma multiplicação em alguma linguagem rápida e retorne-a para python, calcule os valores próprios e retorne-os ao python. Portanto, operações caras como matmul e eig são calculadas com eficiência, você ainda perde tempo movendo os resultados para python de volta e força. O TF não faz isso , depois de definir o gráfico, seus tensores não fluem em python, mas em C ++ / CUDA / outra coisa.fonte
O Python permite criar módulos de extensão usando C e C ++, fazendo interface com o código nativo e ainda obtendo as vantagens que o Python oferece.
O TensorFlow usa Python, sim, mas também contém grandes quantidades de C ++ .
Isso permite uma interface mais simples para experimentação com menos sobrecarga de pensamento humano com o Python e agrega desempenho ao programar as partes mais importantes do C ++.
fonte
A proporção mais recente que você pode conferir aqui é mostrada no interior do TensorFlow C ++, que leva ~ 50% do código, e Python, ~ 40% do código.
Tanto o C ++ quanto o Python são os idiomas oficiais do Google; portanto, não é de admirar que seja assim. Se eu tivesse que fornecer regressão rápida onde C ++ e Python estão presentes ...
O C ++ está dentro da álgebra computacional e o Python é usado para todo o resto, inclusive para os testes. Sabendo o quão onipresente o teste é hoje, não é de admirar por que o código Python contribui muito para o TF.
fonte