Teste retroativo ou validação cruzada quando o processo de construção do modelo foi interativo

Eu tenho alguns modelos preditivos cujo desempenho eu gostaria de testar novamente (ou seja, levar meu conjunto de dados, "rebobinar" para um ponto anterior no tempo e ver como o modelo teria um desempenho prospectivo).

O problema é que alguns dos meus modelos foram criados através de um processo interativo. Por exemplo, seguindo o conselho das Estratégias de modelagem de regressão de Frank Harrell , em um modelo eu usei splines cúbicos restritos para lidar com possíveis associações não lineares entre recursos e a resposta. Aloquei os graus de liberdade de cada spline com base em uma combinação de conhecimento de domínio e medidas univariadas de força de associação. Mas os graus de liberdade que eu quero permitir ao meu modelo obviamente dependem do tamanho do conjunto de dados, que varia drasticamente no teste posterior. Se não desejar escolher graus de liberdade separadamente para cada vez que o modelo for testado novamente, quais são minhas outras opções?

Por outro exemplo, atualmente estou trabalhando na detecção de outlier através da descoberta de pontos com alta alavancagem. Se eu estivesse feliz em fazer isso manualmente, simplesmente analisaria cada ponto de dados de alta alavancagem, verificaria se os dados estavam limpos e os filtraria ou os limparia manualmente. Mas isso depende de um monte de conhecimento de domínio, então não sei como automatizar o processo.

Eu gostaria de receber conselhos e soluções (a) para o problema geral de automatizar partes interativas do processo de construção de modelos ou (b) conselhos específicos para esses dois casos. Obrigado!

Para sua informação, isso pode ser mais apropriado para o SE.DataScience, mas, por enquanto, responderei aqui.

Parece-me que você pode estar em uma situação em que não terá escolha a não ser escrever um script que implementará suas soluções. Como nunca trabalhei com splines, meu conhecimento deles é estritamente teórico; portanto, tenha paciência comigo e me informe se há algo que não esteja vendo.

Em termos gerais, parece que você tem alguns itens diferentes que precisará resolver para implementar isso.

1.) Determinar os parâmetros do modelo de forma dinâmica. Você mencionou anteriormente que usou uma combinação de conhecimento de domínio e medidas univariadas. Isso me parece algo que você deve ser capaz de lidar heuristicamente. Você terá que concordar desde o início com um conjunto de regras que seu programa implementará. Isso pode ou não ser uma tarefa trivial, pois você terá que pensar bastante sobre as possíveis implicações dessas regras. Isso pode exigir que você visite novamente todas as etapas do processo e catalogue não apenas as decisões, mas também os motivos por trás dessas decisões.

2.) Realmente implementando seu programa. Para tornar seu teste de desempenho adequadamente dinâmico e fácil de manter e modificar daqui para frente, você terá que pensar em como estruturá-lo. Você provavelmente desejará usar algum tipo de loop para a estimativa de desempenho preditivo do modelo principal, de preferência com um comprimento definido pelo usuário, a fim de permitir maior flexibilidade no futuro. Você provavelmente também desejará escrever funções separadas para cada ação que deseja que seu programa execute, pois isso facilitará o teste da funcionalidade e a manutenção e modificação do programa no futuro. Você provavelmente precisará, no mínimo, de funções para a seleção do conjunto de dados (ou seja, apenas períodos que passaram "no momento do backtesting), limpeza e validação (nas quais você realmente terá que pensar,

Sua pergunta sobre detecção e manipulação de outlier também se enquadra nessas duas preocupações, e eu implementaria escrevendo loops menores no loop principal do programa que continuariam "limpos" e reequipando o modelo até chegar a um ponto em que você ficaria feliz em (que, novamente, você terá que se definir).

Se isso soa como uma grande tarefa, é porque é; as pessoas criaram bibliotecas de software inteiras (às vezes muito lucrativamente) para executar esse tipo de tarefa. Além disso, é difícil oferecer conselhos mais específicos sem saber mais sobre seus processos, estrutura de dados e a linguagem de programação em que você realizou seu trabalho até agora.

Se algo disso for útil para você e você quiser que eu expanda alguma coisa, comente, me avise e ficarei feliz em fazê-lo.

Em vez de tentar descobrir como automatizar seus esforços de ajuste manual de modelo, eu contornaria esse problema todos juntos, analisando alunos com variações mais baixas que exigem muito menos ajuste, mesmo que isso acarrete algum viés maior no modelo. Você deseja ter confiança nos resultados do backtest, que se resumem em baixa variação de amostragem em suas previsões, e a introdução de algum processo de ajuste automatizado em cima de um aluno que já possui a variação de amostragem está trabalhando contra esse objetivo. Pode parecer que a cauda está abanando o cachorro aqui, mas qualquer coisa que exija muito ajuste cuidadoso (manual ou automatizado) não é um ótimo candidato para um IMO de ambiente de teste verdadeiramente honesto.