Ter um emprego na mineração de dados sem um doutorado

Há muito tempo que me interesso por mineração de dados e aprendizado de máquina , em parte porque me formei nessa área na escola, mas também porque estou realmente muito mais empolgado tentando resolver problemas que exigem um pouco mais de reflexão do que apenas programação conhecimento e cuja solução pode ter múltiplas formas. Não tenho formação de pesquisador / cientista, sou de ciência da computação, com ênfase em análise de dados, tenho mestrado e não doutorado. Atualmente, tenho uma posição relacionada à análise de dados, mesmo que esse não seja o foco principal do que estou fazendo, mas tenho pelo menos uma boa exposição a isso.

Como eu estava entrevistando há algum tempo para um emprego em várias empresas, e consegui conversar com alguns recrutadores, encontrei um padrão comum de que as pessoas pensam que você precisa ter um doutorado para fazer aprendizado de máquina , mesmo que eu esteja generalizando um pouco demais (algumas empresas não estavam realmente procurando especialmente doutorados).

Embora eu ache bom ter um doutorado nessa área, não acho que isso seja absolutamente necessário . Tenho um conhecimento bastante decente da maioria dos algoritmos de aprendizado de máquina do mundo real, implementei a maioria deles pessoalmente (na escola ou em projetos pessoais) e me sinto bastante confiante ao abordar problemas que envolvem aprendizado de máquina / mineração de dados e estatísticas em geral . E eu tenho alguns amigos com um perfil semelhante que também parecem muito bem informados sobre isso, mas também sentem que, em geral, as empresas são bastante tímidas em contratar na mineração de dados, se você não é doutorado.

Gostaria de receber algum feedback, você acha que um doutorado é absolutamente necessário para ter um trabalho muito focado nessa área?

(Hesitei um pouco antes de postar esta pergunta aqui, mas como parece ser um tópico aceitável na meta , decidi postar essa pergunta na qual estou pensando há algum tempo.)

Eu acredito que, na verdade, o oposto de sua conclusão é verdadeiro. No The Disposable Academic , vários indicadores são dados sobre o prêmio de baixo salário em matemática aplicada, matemática e ciência da computação para detentores de doutorado e detentor de mestrado. Em parte, isso ocorre porque as empresas estão percebendo que os titulares de mestrado geralmente têm a mesma profundidade teórica, melhores habilidades de programação e são mais flexíveis e podem ser treinados para as tarefas específicas de sua empresa. Não é fácil conseguir que um discípulo SVM, por exemplo, aprecie a infraestrutura da sua empresa que depende de árvores de decisão, por exemplo. Freqüentemente, quando alguém dedica muito tempo a um paradigma de aprendizado de máquina específico, dificilmente generaliza sua produtividade para outros domínios.

Outro problema é que muitos trabalhos de aprendizado de máquina hoje em dia são para fazer as coisas, e não tanto para escrever papéis ou desenvolver novos métodos. Você pode adotar uma abordagem de alto risco para o desenvolvimento de novas ferramentas matemáticas, estudando aspectos dimensionais de VC do seu método, sua teoria subjacente de complexidade etc.

Enquanto isso, olhe para algo como poselets . Basicamente, nenhuma matemática nova surge de poselets. É totalmente deselegante, desajeitado e carece de sofisticação matemática. Mas ele escala incrivelmente bem grandes conjuntos de dados e parece que será um grampo no reconhecimento de pose (especialmente na visão por computador) por algum tempo. Esses pesquisadores fizeram um ótimo trabalho e seu trabalho deve ser aplaudido, mas isso não é algo que a maioria das pessoas associa ao doutorado em aprendizado de máquina.

Com uma pergunta como essa, você obtém toneladas de opiniões diferentes; portanto, considere todas elas. Atualmente, sou estudante de doutorado em visão computacional, mas decidi deixar meu programa mais cedo com um mestrado e trabalharei para uma empresa de gerenciamento de ativos que faz aprendizado de máquina em linguagem natural, estatística computacional, etc. trabalhos de mineração de dados baseados em anúncios em várias grandes empresas de TV e alguns trabalhos de robótica. Em todos esses domínios, há muitos empregos para alguém com maturidade matemática e um talento especial para resolver problemas em várias linguagens de programação. Ter um mestrado é bom. E, de acordo com o artigo da Economist, você será pago basicamente tão bem quanto alguém com doutorado. E se você trabalha fora da academia,

Como Peter Thiel disse uma vez: "A pós-graduação é como apertar o botão de soneca no despertador da vida ..."

Disclaimer: Eu tenho um Ph.D. e trabalhar em aprendizado de máquina. Dito isto, acho que, além de se tornar um acadêmico, você não precisa de um doutorado. para trabalhar em qualquer campo. Obtendo um Ph.D. ajuda a desenvolver certas habilidades de pesquisa, mas

1. Você não precisa dessas habilidades de pesquisa para a maioria dos empregos.
2. Você pode adquirir essas habilidades sem obter um Ph.D. grau.

Martin Wolf , o principal correspondente econômico do Financial Times , não tem doutorado. (ele tem mestrado), mas sua palavra tem muito mais peso do que a maioria dos doutores. graduados. Penso que para ter sucesso em qualquer área (incluindo aprendizado de máquina), você precisa saber como aprender e pensar em detalhes por conta própria. Um Ph.D. ajudará você a praticar essas habilidades, mas não é um fim para si mesmo. Qualquer pessoa que não esteja disposta a entrevistá-lo apenas porque você não tem um doutorado, provavelmente não vale a pena trabalhar de qualquer maneira.

Isenção de responsabilidade: não tenho doutorado em CS nem trabalho em aprendizado de máquina; Estou generalizando a partir de outros conhecimentos e experiências.

Penso que existem várias boas respostas aqui, mas, na minha opinião sincera, elas ainda não explicitam completamente a questão principal. Vou tentar fazer isso, mas reconheço que não acho que estou dizendo algo radicalmente diferente. A questão principal aqui refere-se ao desenvolvimento de habilidades versus sinalização .

No que diz respeito ao desenvolvimento de habilidades , em última análise, você deseja (como funcionário) ser capaz de realizar o trabalho, bem feito e com rapidez, e o empregador deseja (ou presumivelmente deveria) essa pessoa. Portanto, a questão aqui é quanto desenvolvimento extra de habilidades você obtém com os dois anos extras de treinamento acadêmico? Certamente você deveria estar ganhando alguma coisa, mas reconheça que as pessoas que não continuam a faculdade provavelmente não ficam sentadas até se formarem. Assim, você está comparando um conjunto de experiências (acadêmicas) versus outro (trabalho). Um pouco depende da qualidade e natureza do doutorado. programa, seus interesses intrínsecos, como você é auto-direcionado e que tipo de oportunidades e apoio estariam disponíveis em seu primeiro emprego.

Fora o efeito do treinamento acadêmico contínuo sobre o desenvolvimento de habilidades, há a questão do efeito e do valor do sinal (por exemplo, de ter "Ph.D" acrescentado após o seu nome). O sinal pode ajudar de duas maneiras: primeiro, ele pode ajudá-lo a conseguir seu emprego inicial e isso não deve ser descartado - pode ser muito importante. A pesquisa mostrou que as pessoas que são obrigadas a começar em uma primeira posição que não é tão apropriada para elas nunca tendem a se sair tão bem (em termos de carreira, em média) quanto as pessoas que começam um trabalho que é bom corresponder por suas habilidades e interesses. Por outro lado, o consenso parece ser que, após o seu primeiro emprego, suas perspectivas futuras serão muito mais fortemente influenciadas pelo seu desempenho no trabalho anterior do que pelas credenciais acadêmicas.

O segundo aspecto do sinal tem a ver com o relacionamento entre o analista e o consumidor da análise. O @EMS faz um bom trabalho ao trazer esse ponto em um comentário. Existem muitas pequenas lojas de consultoria e elas adoram ter Ph.D. para mostrar aos clientes em potencial: nas reuniões iniciais, tentando assinar um contrato, em papel timbrado, nas apresentações de produtos acabados, etc. Ph.D. estão sempre lá. É fácil ser cínico quanto a isso, mas acho que há um valor legítimo para a empresa de consultoria e o consumidor (que talvez não conheçam muito sobre esses assuntos e possam usar credenciais para ajudá-los a selecionar uma empresa que fará um bom trabalho por eles) . Nos bastidores, parte do trabalho pode ser destinada a pessoas competentes com menos credenciais, mas elas querem o doutorado. para o front end e assinar o produto de trabalho antes de ser entregue. Eu pude ver algo análogo acontecendo com uma start-up se eles estão tentando atrair capital e querem tranquilizar os investidores.

Concordo com a maior parte do que foi dito aqui, mas quero apresentar algumas questões práticas que surgem ao se candidatar a empregos em finanças. Freqüentemente, você verá anúncios informando que um doutorado em estatística ou matemática é necessário para se candidatar a uma determinada posição comercial ou de desenvolvedor quantitativo. Eu sei que existem algumas razões particulares para isso. Lembre-se, não estou dizendo que isso esteja certo, mas é o que acontece na prática:

• Existem muitos candidatos ao cargo, especialmente para as empresas mais conhecidas, e o empregador não pode dedicar tempo suficiente a cada candidato. A filtragem de aplicativos com base na formação acadêmica reduz o tamanho da população para um número mais gerenciável. Sim, haverá erros. Sim, não é a melhor maneira de encontrar indivíduos produtivos . Mas, em média, você está procurando profissionais qualificados que dedicaram anos para aprender o ofício. Eles deveriam pelo menos ter a disciplina para superar um projeto de pesquisa complexo.

• A equipe e a empresa serão enriquecidas por vários doutores para mostrar aos investidores e clientes. Isso dará uma imagem de conhecimento "oraculoso" à empresa e beneficiará sua reputação. A avaliação intangível da empresa pode aumentar. O investidor médio estará mais confiante em conceder seu capital a uma equipe de cientistas tão experiente. Você pode fazer uma observação semelhante sobre os MBAs.

• Finalmente, às vezes, as políticas corporativas determinam que realizações acadêmicas mais altas devam ter uma carreira e remuneração preferenciais. Acredito que isso seja verdade para a maioria das empresas de diferentes setores, não apenas para finanças. É difícil ver John com um diploma de bacharel em ciências da computação gerenciando PhDs em matemática.

Disclaimer: Sou recrutador e trabalho desde 1982, por isso entendo muito bem sua pergunta. Deixe-me explicar dessa maneira. Seu currículo é um dispositivo de triagem. As empresas obtêm toneladas de currículos e estão lendo currículos com uma pergunta em mente: "Por que não quero falar com essa pessoa?" Isso reduz sua pilha a alguns candidatos que têm as melhores chances de atender às suas necessidades. Portanto, se você está obtendo entrevistas e seu currículo não mostra um doutorado, há algo mais acontecendo aqui. Digo isso porque, assim como um currículo é um dispositivo de triagem OUT, a entrevista é um dispositivo de triagem IN. Depois que eles o convidam para uma entrevista, eles já concluíram que você tem o suficiente "no papel" para fazer o trabalho. Então, quando você está andando na entrevista, a única pergunta que eles o que realmente está perguntando é "por que devo contratá-lo?" A pessoa que contratar será a pessoa que responderá que melhor pode atender às necessidades da empresa.

Meu conselho como recrutador é fazer perguntas durante a entrevista para identificar suas necessidades mais profundas. Acredite, a descrição do trabalho raramente se assemelha à verdade, então você deve procurar os botões de atalho e vender diretamente para esses problemas. Não permita que a entrevista pareça um interrogatório, esperando o final para fazer perguntas. Você ficará em chamas e acabará sendo informado de que "você não tem doutorado". Seja respeitoso, mas mostre sua disposição em ajudá-los a resolver o problema deles.

Minha pergunta favorita é: "Quais são as características da melhor pessoa que você já conheceu nesse papel?" Todo mundo tem uma equipe dos sonhos em mente, por isso é importante descobrir quais características eles sentem que são necessárias para ter sucesso nessa função. Lembre-se de que essa não é uma pergunta sobre experiência, histórico ou graus. Veja, eu sempre posso encontrar um PhD medíocre com muita experiência, então esse não é o Santo Graal. É exatamente o que as empresas pensam melhor, porque na IMO elas não sabem mais como escrever uma descrição do trabalho que captura a essência da pessoa de que precisam.

Meus 2 centavos: Não, acho que não. Um doutorado em si não confere o direito de ser melhor para mineração de dados ou ML. Pegue o próprio Jeremy Howard, do kaggle. Eu chegaria ao ponto de dizer que um PhD não diz muito sobre qualificação, pois há uma enorme variabilidade na qualidade dos programas. Talvez a única coisa que um doutorado prove é que o portador tenha uma alta tolerância à frustração.

Conclusão: se você está interessado nessa área, experiente, criativo e trabalhador, por que precisaria de um doutorado? É você quem deve contar, não seus títulos.

Se um trabalho exige ou não um doutorado depende do nível de responsabilidade e da percepção do empregador e / ou de seus clientes. Eu não acho que exista uma disciplina que exija doutorado. Certamente a mineração de dados pode ser aprendida e um funcionário pode fazer um trabalho produtivo sem um doutorado. Isso depende mais da pessoa, de sua capacidade de aprender rapidamente e se adaptar, além de ser capaz de entender a literatura, do que da educação anterior. Isso é especialmente verdadeiro para a mineração de dados, que é um campo em evolução. Assim, mesmo os mineradores de dados com doutorado terão mais a aprender com o passar do tempo.

Sou mestre em Estatística Aplicada e trabalhei na Europa como Data Miner. Quando cheguei ao Reino Unido, ninguém tinha ouvido falar em mineração de dados e muito menos estudado por esse grau. Agora é lugar comum e os empregadores acham que é necessário um doutorado para este trabalho. No entanto, é o conhecimento estatístico e o aspecto da modelagem que são importantes para este trabalho. Na minha experiência, a maioria das pessoas de TI não entende estatística e, portanto, é incapaz de executar bem o trabalho. Entrei no ensino e agora estou me inscrevendo para fazer um doutorado em estatística aplicada para satisfazer esses empregadores. Eu provavelmente conheço mais do que a maioria dos graduados em doutorado que estudou para o meu mestrado nos anos 80, quando o nível era muito alto. Eu acho que para ser um bom minerador de dados, é preciso ter um histórico em estatística.

Isso depende totalmente do trabalho em questão. Na minha experiência (eu tenho um PhD), existem 3 tipos de empregos. Primeiro, como já foi dito, a maioria dos trabalhos do setor atualmente são orientados para o aprendizado de máquina aplicado, ou seja, aplique ajustes nos algoritmos de ML existentes ao problema específico do domínio em questão. Esses são, de longe, os trabalhos de ML mais comuns e um mestrado é mais do que suficiente para esse tipo de trabalho. Um número menor de empregos, que por acaso está na ala de pesquisa de empresas ou universidades, instituições são empregos de ML que aplicam, ajustam e criam para o problema específico do domínio. A experiência de criar um novo método, analisando os métodos existentes usando a nova matemática, normalmente leva algum tempo e essas experiências são normalmente obtidas durante o doutorado, como o novo resultado teórico deve ser suficientemente robusto para obter a aceitação dos colegas (uma publicação). O último e provavelmente o mais difícil, mais alto risco e o tipo mais incomum de trabalho são as coisas puramente teóricas que acontecem nas universidades de pesquisa, onde o foco é criar um novo algoritmo totalmente, ou entender melhor as propriedades matemáticas dos algoritmos existentes. seja bom o suficiente para ser publicado). Essa também é uma experiência tipicamente adquirida como PhD. Embora um estudante de doutorado possa ter tido alguma exposição a todos os três tipos de trabalho durante seu treinamento (devido exclusivamente à duração do programa e ao fato de não haver prazos imediatos para o produto como um trabalho real), o estudante de MS normalmente é bem treinado para o primeiro emprego e provavelmente teria apenas pequenas exposições ao segundo e terceiro tipos de empregos.

Eu não acho que o Phd seja necessário para qualquer posição de aprendizado de máquina. Um bom mestre e uma mente curiosa com curiosidade matemática é tudo o que precisa. Um Phd influencia sua abordagem em relação à sua especialização, o que é indesejável. Eu trabalho nos principais algoritmos de aprendizado de máquina e codifica a maioria deles da maneira que eu quero. E eu já vi muitas pessoas com Phd com a mentalidade errada. Phds são motivados principalmente por problemas teóricos puros, diferentemente da indústria, onde o foco está em soluções de trabalho rapidamente

As pessoas que desprezam a formação de doutorado ou não sabem o que significa um doutorado, ou apenas intencionalmente fazem comentários falsos; a maioria dos treinamentos de mestrado não pode se comparar ao treinamento de doutorado de forma alguma. a intensidade e o rigor na formação de doutorado exigem dedicação inimaginável, autodisciplina, capacidade de aprendizado sob grande pressão e sólidos conjuntos de habilidades ..., um título de doutorado já provou tudo isso, um mestrado regular aqui na América não é o mesmo nível em tudo ....