Com toda a confusão em torno da ciência de dados, aprendizado de máquina e todas as histórias de sucesso, existem muitas expectativas justificadas e superinflacionadas dos cientistas de dados e de seus modelos preditivos.
Minha pergunta para os estatísticos, especialistas em aprendizado de máquina e cientistas de dados é: como você gerencia as expectativas dos empresários de sua empresa, principalmente com relação à precisão preditiva dos modelos? Para simplificar, se o seu melhor modelo pode atingir 90% de precisão e a gerência superior espera nada menos que 99%, como você lida com situações como essas?
performance
accuracy
neurônio
fonte
fonte
Respostas:
Os empresários racionais não pagam pela precisão, pagam a qualquer um
Portanto, qualquer projeto realizado deve ser expresso em termos que reflitam isso. O primeiro passo é sempre entender em qual dos dois processos você está trabalhando e você deve ter uma idéia clara de como isso pode ser alcançado, mantendo em mente que, à medida que progride, os detalhes de como fazer isso podem mudar.
Se você pode melhorar a precisão de um processo, provavelmente poderá ganhar dinheiro para a empresa e os empresários investirão em seu progresso. A única razão racional que uma pessoa de negócios poderia ter para insistir na precisão de 99% e rejeitar 90% é se eles já tinham uma maneira de fazê-lo melhor do que os 90%. Se for esse o caso, eles certamente são justificados em sua posição.
Compreender e apresentar o caso de negócios dos projetos nos quais você está trabalhando em termos que os Executivos entendem faz parte do processo de amadurecimento de qualquer Engenheiro. Ele não é exclusivo da Data Science, embora a Data Science tenha alguns aspectos exclusivos (como menor maturidade, mas maior probabilidade de descoberta fortuita por acaso - pelo menos no ambiente atual.
Um processo relevante próximo à Data Science que torna essa etapa explícita pode ser encontrado aqui: https://en.wikipedia.org/wiki/Cross_Industry_Standard_Process_for_Data_Mining
Mas a maioria das estruturas de arquitetura corporativa é aplicável de maneira semelhante.
fonte
Reúna contrapartes competitivas. Tente determinar um estado da arte e veja como seus modelos se comparam com isso. Também depende muito de quanto tempo sua equipe trabalha nisso. Os modelos orientados pela ciência não são criados estaticamente, eles se desenvolvem dinamicamente porque um bom cientista sempre tenta encontrar maneiras de melhorá-lo.
O pessoal da alta gerência deve saber que um cientista de dados explora novos métodos, às vezes / frequentemente sem conhecer sua qualidade. Eles devem saber que as técnicas de aprendizado de máquina não produzem modelos perfeitos imediatamente. Se eles fizeram, não seria um desafio de qualquer maneira.
Um cientista de dados deve ser avaliado por como ele justifica e discute seus resultados e como ele planeja o futuro. Uma maneira de o pessoal da gerência lidar com suas expectativas é não ter expectativas irrealisticamente altas.
Ainda, se resultados esperados são esperados no campo de contexto, pense sobre estas perguntas:
fonte
Eu gosto dessa pergunta porque ela aborda as políticas que existem em todas as organizações. Na minha opinião e em um grau significativo, as expectativas sobre o desempenho do modelo são uma função da cultura organizacional e do grau em que uma organização é "tecnicamente alfabetizada". Uma maneira de esclarecer o que quero dizer é considerar as diferenças entre as quatro grandes entidades de "ciência de dados" - Google, FB, Amazon e Yahoo - versus as quatro grandes entidades detentoras de agências - WPP, Omnicon, Interbrand e Publicis. Google e outros são muito tecnicamente alfabetizados. As agências, por outro lado, são conhecidas por se apoiarem na fobia da tecnologia. Qual a evidência disso? Primeiro, o grupo tecnicamente alfabetizado foi fundado ou é dirigido por engenheiros, cientistas da computação, nerds e pessoas com forte formação em tecnologia. Quem dirige as empresas analfabetas de tecnologia? Os profissionais de marketing que se destacaram em virtude de suas habilidades de comunicação e pessoas. E não apenas isso, tendo trabalhado em algumas dessas lojas em Nova York, posso testemunhar que essas organizações punem e / ou expulsam sistematicamente os tipos altamente instruídos tecnicamente como não sendo "adequados" à cultura. Em seguida, considere seus limites de mercado agregados (de ações). O grupo de alfabetizados em tecnologia soma cerca de 800 bilhões de dólares, enquanto o grupo de analfabetos em tecnologia atinge 80 bilhões. As entidades com conhecimento técnico são 10 vezes maiores que as demais em valor de mercado. Esta é uma declaração clara das expectativas do mercado e não é alta para os analfabetos. Então, por extrapolação, que tipo de esperança você pode ter para desafiar as expectativas de "precisão preditiva" de bozos como esses? Tendo trabalhado em algumas dessas lojas em Nova York, posso testemunhar que essas organizações punem e / ou expulsam sistematicamente os tipos altamente instruídos tecnicamente por não se adequarem à cultura. Em seguida, considere seus limites de mercado agregados (de ações). O grupo de alfabetizados em tecnologia soma cerca de 800 bilhões de dólares, enquanto o grupo de analfabetos em tecnologia atinge 80 bilhões. As entidades com conhecimento técnico são 10 vezes maiores que as demais em valor de mercado. Esta é uma declaração clara das expectativas do mercado e não é alta para os analfabetos. Então, por extrapolação, que tipo de esperança você pode ter para desafiar as expectativas de "precisão preditiva" de bozos como esses? Tendo trabalhado em algumas dessas lojas em Nova York, posso testemunhar que essas organizações punem e / ou expulsam sistematicamente os tipos altamente instruídos tecnicamente por não se adequarem à cultura. Em seguida, considere seus limites de mercado agregados (de ações). O grupo de alfabetizados em tecnologia soma cerca de 800 bilhões de dólares, enquanto o grupo de analfabetos em tecnologia atinge 80 bilhões. As entidades com conhecimento técnico são 10 vezes maiores que as demais em valor de mercado. Esta é uma declaração clara das expectativas do mercado e não é alta para os analfabetos. Então, por extrapolação, que tipo de esperança você pode ter para desafiar as expectativas de "precisão preditiva" de bozos como esses? considere seus limites de mercado agregados (de ações), o grupo de alfabetizados em tecnologia chega a cerca de 800 bilhões de dólares, enquanto o grupo de analfabetos em tecnologia chega a 80 bilhões. As entidades com conhecimento técnico são 10 vezes maiores que as demais em valor de mercado. Esta é uma declaração clara das expectativas do mercado e não é alta para os analfabetos. Então, por extrapolação, que tipo de esperança você pode ter para desafiar as expectativas de "precisão preditiva" de bozos como esses? considere seus limites de mercado agregados (de ações), o grupo de alfabetizados em tecnologia chega a cerca de 800 bilhões de dólares, enquanto o grupo de analfabetos em tecnologia chega a 80 bilhões. As entidades com conhecimento técnico são 10 vezes maiores que as demais em valor de mercado. Esta é uma declaração clara das expectativas do mercado e não é alta para os analfabetos. Então, por extrapolação, que tipo de esperança você pode ter para desafiar as expectativas de "precisão preditiva" de bozos como esses?
Portanto, considerando essa ruptura cultural e dependendo de onde você cair, você deve ter expectativas mais ou menos realistas. Obviamente, diferentes entidades "analfabetas da tecnologia" terão gerentes que sabem o que estão fazendo, mas, na maioria das vezes, essas entidades são dominadas pela idiotice do menor denominador comum em habilidades técnicas, ou seja, pessoas que são, na melhor das hipóteses, técnicas. semi-alfabetizados (e perigosos) ou, mais comumente, totalmente numerosos, mas não sabem disso. Caso em questão, trabalhei para um cara que queria palavras como "correlação" removidas de decks de suítes. Este é um caso extremo: afinal, todo secretário sabe o que é uma "correlação".
Isso levanta a questão de como alguém lida com os irritantemente ingênuos e numerosos quando eles fazem uma pergunta realmente tola como: "Por que você não está obtendo 99% de precisão preditiva?" Uma boa resposta é responder com uma pergunta do tipo: "Por que você presumiria que um PA tão irrealisticamente alto é possível?" Outro pode ser: "Porque se eu realmente tivesse 99% de AF, teria assumido que estava fazendo algo errado". O que é altamente provável que seja verdade, mesmo com 90% de PA.
Existe a questão mais fundamental da insistência na AF como o único critério para o valor do modelo. O falecido Leo Breiman deixou muitas pegadas na comunidade de modelagem estatística e preditiva da qual a AF é uma delas. Sua principal preocupação com a AP era abordar as muitas críticas feitas nos anos 90 em relação à instabilidade e erro inerentes à execução de uma única árvore do CART. Sua solução foi motivar “florestas aleatórias” como um método aproximado e provisório que maximizaria a precisão e reduziria a instabilidade, eliminando a estrutura das árvores. Ele comparou o MSE inferior de ~ 1.000 "mini-modelos" iterativos de RF contra o erro de um único modelo de regressão logística. O único problema era que ele nunca se incomodou em mencionar a comparação entre maçãs e laranjas:
O Prêmio Netflix de 2008 ofereceu uma recompensa monetária considerável a qualquer estatístico ou equipe capaz de melhorar o MSE de seu sistema de recomendação. Na época, a Netflix gastava US $ 150 milhões por ano nesse sistema, convencida de que os custos eram mais do que recuperados na fidelidade do cliente e na compra de filmes que, de outra forma, nunca seriam escolhidos. Os eventuais vencedores usaram um conjunto complexo de 107 modelos diferentes.
Como a Netflix aprendeu, no entanto, o problema real era que, de uma perspectiva de custo totalmente carregada, a melhoria real do erro em relação ao modelo atual era uma mera redução de 0,005% nas classificações de 5 pontos. Sem mencionar que os custos de TI com o tempo, o trabalho pesado e a manutenção do conjunto vencedor de 107 modelos mais do que anularam quaisquer ganhos com a redução de erros. Diante disso, a Netflix acabou abandonando a busca pela MSE e nenhum prêmio da Netflix foi concedido
E esse é o ponto: minimizar o erro preditivo pode ser facilmente jogado ou hackeado e é propenso a fraudes de analistas (ou seja, encontrar uma solução que glorifique as habilidades de modelagem do analista, impactando positivamente seu potencial bônus de final de ano). Além disso, é uma solução e uma meta completamente estatísticas, estabelecidas no vácuo econômico e comercial. A métrica fornece pouca ou nenhuma consideração sobre os custos acessórios colaterais - as reais conseqüências operacionais avaliadas de A a Z que devem ser parte integrante de qualquer processo de tomada de decisão totalmente carregado e com base em trade-off.
Esse se tornou um desses problemas que está incorporado nas organizações e é muito, muito difícil de mudar. Em outras palavras, estou plenamente ciente de que estou inclinando os moinhos de vento com este discurso retórico sobre as advertências com o uso de PA.
fonte