Plataformas de computação em nuvem para aprendizado de máquina [fechado]

Tenho uma pequena lista de empresas que fornecem uma plataforma para a execução de scripts R, python ou oitava em clusters criados com base no Amazon EC2. Existem outros nomes que devo adicionar?

1. Cloudnumbers
2. Opani
3. crdata

Eu não usei essas empresas, mas estas são apenas algumas das opções. No entanto, a configuração no EC2 é muito simples. Pelo menos depois que você entorpeceu sua cabeça, bateu-a contra a parede com força e freqüência suficientes. Também aumenta o seu limiar de dor. Hoje em dia, as crianças têm muito mais facilidade. Quando eu estava começando, estávamos fazendo computação em nevoeiro: não tínhamos a menor noção do que estávamos computando.

Reminiscências à parte ... Existem ferramentas e recursos para ignorar esses fornecedores e começar por conta própria. O JD Longsegue facilitou o uso do R no EMR.

Em relação ao Python, o boto é um conjunto que permite que o Python seja instalado e executado facilmente no EC2. Também é muito fácil colocar o Python em funcionamento no AppEngine do Google , se você estiver disposto a considerar uma alternativa ao EC2. Se você conhece o Python, não há realmente nenhuma necessidade de contratar uma empresa para fazer o levantamento para você, a menos que você não esteja familiarizado com dimensionamento, sharding, balanceamento de carga etc., mesmo no nível conceitual. Por outro lado, se você está pensando em gastar muito dinheiro com esses serviços, é uma boa idéia familiarizar-se com como tornar seu código eficiente.

Quanto ao Octave na nuvem, não tenho idéia do que existe além dessas três empresas. A Monkey Analytics costumava oferecer, mas parece que eles se foram. Eu recomendaria evitar o Octave e focar em Python ou R.

Um recurso para facilitar a configuração é o StarCluster . Novamente, nenhuma experiência com eles, mas isso pode ser uma rota útil.

Com toda a honestidade, o Ubuntu (ou Windows) e o EC2 não são tão difíceis de aprender. Eu realmente não recomendaria o Windows para R, pois não há muito amor entre os desenvolvedores do R e o Windows. (NB: Até onde sei, não existem serviços sérios na nuvem para Mac OS X.) Depois de ter uma área de trabalho remota, você está no negócio. Aprender a escalar é o próximo passo.

Atualização 1: Outros serviços de gerenciamento de nuvem mais gerais incluem o RighstScale e o Scalr.

Atualização 2: quero enfatizar que é importante aprender a configurar suas instâncias e clusters na nuvem. Entre os benefícios do trabalho prático:

• Aprenda a gerenciar uma mistura de recursos (várias instâncias, vários tipos de instância, muitos HDs, diferentes zonas ou regiões de disponibilidade, várias ferramentas de monitoramento e muito mais)
• Mexa com GPUs, se desejar (confira gputools)
• Você pode atualizar ou reverter mais facilmente sua seleção de pacotes
• Você poderá obter custos muito mais baixos usando instâncias spot ou instâncias reservadas.
• Você pode experimentar diferentes GUIs R ou IDEs, que podem não ser uma opção para os fornecedores de nuvem.

Há benefícios em usar um provedor gerenciado, como uma curva de aprendizado mais curta, possivelmente um melhor suporte para o compartilhamento de recursos entre um grupo e talvez alguns aparelhos interessantes, mas não posso falar sobre os benefícios quando comecei a usar o EC2 antes de qualquer um deles. chegou ao mercado.

Há também o PiCloud para executar o código Python em paralelo no EC2.

Na página do produto :

O PiCloud é uma plataforma de computação em nuvem que se integra à linguagem de programação Python. Ele permite que você aproveite o poder de computação do Amazon Web Services sem precisar gerenciar, manter ou configurar servidores virtuais.

O PiCloud se integra perfeitamente à sua base de código existente por meio de uma biblioteca Python personalizada, a nuvem. Para descarregar a execução de uma função para nossos servidores, tudo o que você deve fazer é passar a função desejada para a biblioteca em nuvem. O PiCloud executará a função em seu cluster de alto desempenho. À medida que você executa mais funções, nosso cluster é dimensionado automaticamente para atender às suas necessidades computacionais. Entrar na nuvem nunca foi tão fácil!

Você já experimentou o CloudStat antes? Diferente de outras nuvens, o CloudStat é voltado apenas para usuários da linguagem R. Não há mais configuração. você pode simplesmente fazer login e usar até 7,5 Gb de RAM gratuitamente.

No entanto, com a conta gratuita, sua análise será visualizada e usada pelo público. A opção é pagar US $ 5 por mês para tornar sua análise privada.

Uma plataforma de computação em nuvem que posso recomendar é Backbone, que fornece uma plataforma de computação em nuvem que melhora a produtividade .