O que o deixa confiante em seus resultados? Em que momento você acha que pode apresentar seu trabalho aos superiores analfabetos da tecnologia?

Entendo que os modelos são tão bons quanto os dados que você obtém, e o design incorreto pode gerar dados realmente ruins. Amostras não aleatórias, projetos desequilibrados / incompletos, confusos, podem dificultar a análise dos dados.

Em que ponto devemos confiar que eles executaram um modelo útil ? Você apenas faz uma validação cruzada com um conjunto de dados de treinamento / teste e o chama um dia? Obviamente "todos os modelos estão errados, alguns são úteis", mas em algum momento as compensações com a exclusão de muitos parâmetros pelo LASSOing e transformações estranhas ao baixar o BIC tornam-se evidentes.

tl; dr no final do dia, o que faz você ir "Eu fiz a coisa certa para a minha empresa / projeto, e isso deve funcionar"

Olá, bem-vindo ao site!

O que você está dizendo é certo: a Data Science não chegou ao estágio em que possui alguns métodos padrão para isso (procedimentos padrão, não sei se poderíamos alcançar esse estágio no futuro próximo). Mas temos alguns padrões gerais como:

1. Previsão: ETS, ARIMA, SARIMA etc
2. Previsão: regressão linear, floresta aleatória, GLM, rede neural etc.
3. Classificação: Regressão Logística, Floresta Aleatória etc

Quando você passa para o nível granular, é difícil generalizar, pois todos os problemas de negócios são diferentes e um único método não pode ser usado para resolver todos os problemas de negócios.

Portanto, para responder à próxima pergunta, como você obtém a confiança de que o resultado é bom o suficiente, presumo que você tenha ouvido falar sobre o RMSE, o MAPE e muito mais sobre previsões e matriz de confusão para problemas de classificação. Usamos essas métricas para acessar o desempenho dos modelos. Por exemplo, se você está tentando classificar se a célula especificada é célula cancerosa ou não, existem 100 registros nos quais 90 são células não-cancerígenas e 10 são células cancerígenas, seu modelo fornece Precisão de 99%, mas poderia classificar 5 de 9 literalmente 55% do total nesses cenários que você precisa olhar, não pode usar precisão, precisa usar a pontuação F1 etc. Como você estava perguntando sobre um modelo certo, todos os modelos não são úteis. É verdade que nem todos os modelos construídos vão para o nível de produção; você escolheria o melhor e o produziria. Você pode treinar novamente seu modelo (diariamente, semanalmente, Mensal, com base nos requisitos de negócios). Você chamaria de folga após a conclusão da validação? Não, eu iria ao Especialista no assunto, apresento os resultados, solicitando suas idéias; se os dois estão em linha, eu faria um teste beta em alguns dados reais e depois o produziria.

Agora, para responder à sua última pergunta, não há um padrão dizendo que isso é bom ou ruim; se funcionar para você, sua empresa, então esse é um bom modelo. Para conveniência de seus gerentes e especialistas no assunto (Dados), você precisa se aprofundar nos dados. Experimente todos os cenários diferentes e faça o maior número possível de perguntas. Tente entender os dados muito bem. Portanto, você pode responder às perguntas comerciais com respostas de suporte a dados (isso só é possível quando você está bem pior com os dados). Como eles são muito bons nos negócios, estariam fazendo perguntas em relação aos negócios, você precisa estar preparado para todos esses cenários, entendendo bem os negócios e os dados.

Finalmente, tenho um sentimento como você. Eu fiz muitas coisas, mas nada funcionou, mas você não deveria estar infeliz, pois entendeu que estas são as maneiras que o levariam a resultados sem sucesso (o melhor exemplo é Thomas Alva Edison usou 1000 metais diff antes de usar o tungstênio para fazer uma lâmpada) . Da mesma forma, todos os métodos que tentamos são etapas diferentes que você tentou obter a solução. Meu objetivo é: tentei algo diferente / novo todos os dias ou não. Parte crucial desse processo é a manutenção de documentação clara em cada etapa. O que seria útil em um futuro próximo.

Qualquer coisa em P&D nunca é um desperdício, é apenas uma outra tentativa ou experimento, portanto seu trabalho nunca é desperdiçado. Você está tentando construir uma base sólida para o futuro brilhante da sua empresa.

O que o deixa confiante em seus resultados?

O método apropriado para avaliar se você modelou um sinal ou ruído real depende completamente da pergunta que você está fazendo e da abordagem de modelagem usada para resolvê-lo. Muitos livros muito espessos foram escritos sobre esse tópico, muitas vezes restringindo sua atenção a um domínio de problema e / ou tipo de modelo. As complexidades associadas à avaliação do modelo são um grande componente do motivo pelo qual os cientistas de dados geralmente têm pós-graduação. O que nos leva à segunda parte da sua pergunta:

Em que momento você acha que pode apresentar seu trabalho aos superiores analfabetos da tecnologia?

Os seus analfabetos superiores em tecnologia não têm esse diploma de graduação que os informaria sobre como avaliar sua análise. Eles confiam em você para apresentar resultados honestos e precisos. É extremamente fácil enganar as pessoas que não são fluentes em estatísticas, acreditando na narrativa que deseja apresentar. É de sua responsabilidade garantir que seus resultados sejam estanques ao ar ou, pelo menos, sincronizados com a tolerância a riscos do seu cliente.

Seus resultados estão prontos para serem compartilhados quando você achar que os está interpretando corretamente e tiver um plano de como comunicá-los claramente.

no final do dia, o que faz você ir "Fiz a coisa certa para minha empresa / projeto, e isso deve funcionar"

1. Eu construí um modelo que cumpre meu objetivo.
2. Estou satisfeito que minha abordagem de modelagem seja sólida e reproduzível. Se estou trabalhando em uma tarefa de previsão, também quero ter certeza de que meu modelo generalize bem os dados fora da amostra.
3. Avaliei o impacto projetado da utilização do meu modelo e estou razoavelmente confiante de que os benefícios de aplicá-lo justificam o tempo e o esforço que estou enviando para construí-lo.
4. Eu tenho um caminho claro para a implementação. Eu tenho um plano técnico para tornar meus resultados acionáveis ​​e sei de quem apoio preciso para que isso aconteça.
5. Estou confiante de que posso comunicar meus resultados de forma a convencer as partes interessadas não técnicas de que meus resultados são reais e atenuar suas preocupações.