Como você descreveria a troca entre a interpretabilidade do modelo e o poder de previsão do modelo em termos leigos?

Eu sei que depende dos dados e da pergunta, mas imagine um cenário em que, para um determinado conjunto de dados, você poderia optar por um modelo não linear bastante complexo (difícil de interpretar), fornecendo um melhor poder de previsão, talvez porque o modelo pode ver as não linearidades presentes nos dados ou tenha um modelo simples (talvez um modelo linear ou algo assim) com menos poder de previsão, mas mais fácil de interpretar. Aqui está um post muito bom discutindo idéias sobre como interpretar modelos de aprendizado de máquina.

As indústrias, apesar de muito cautelosas, estão lentamente se tornando mais interessadas em adotar modelos mais complexos! Ainda assim eles querem conhecer claramente o trade-off? Talvez um cientista de dados esteja entre a equipe de dados e os tomadores de decisão, e muitas vezes precisa ser capaz de explicar essas coisas em termos leigos.

Estou tentando fazer um brainstorm aqui para ver que analogia você faria para descrever essa troca com uma pessoa não técnica?

Pergunta interessante. Eu acho que você pode ilustrar isso pensando em diferentes casos de uso. O único exemplo que ouvi que gosto é sobre decisões de empréstimo para pedidos de empréstimo. Esse é um algoritmo, mas, por causa dos regulamentos, não pode ser estritamente "caixa preta". A decisão deve ser, efetivamente, interpretável, porque o banco precisa fornecer um motivo para o declínio do empréstimo. Então, certamente existem algos melhores por aí para empréstimos que podem dar um resultado binário, mas você quer que um banco apenas diga sim ou não?

Outra pergunta que você pode se perguntar é se você tem uma meta de negócios para entender um sistema de maneira a fornecer informações sobre as entradas e o relacionamento delas e como as alterações nessas entradas afetam seu resultado (previsão).

Um exemplo recente de um problema em que trabalhei que se enquadra nesse caso é prever o número de leads de mercado por mês (semana, dia) usando gastos por canal (TV, rádio, digital). Aqui, o objetivo não era apenas prever quantos leads seriam gerados com base nos gastos, mas também ter uma estrutura a ser usada para otimizar a geração de leads em torno da distribuição de gastos (ou seja, qual é a distribuição de gastos mais econômica em TV, rádio e digital para gerar o maior número de leads). Devido a esse requisito comercial, uma rede neural ou SVM não teria atingido nossos objetivos porque, embora fornecessem uma previsão de geração de leads, eles não teriam fornecido o entendimento das entradas (gasto por canal).