Estou lendo sobre duas técnicas populares de interpretabilidade do modelo post hoc: LIME e SHAP
Estou tendo problemas para entender a principal diferença nessas duas técnicas.
Para citar Scott Lundberg , o cérebro por trás do SHAP:
Os valores SHAP vêm com as vantagens de estimativa local da caixa preta do LIME, mas também com garantias teóricas sobre consistência e precisão local da teoria dos jogos (atributos de outros métodos que unificamos)
Estou tendo problemas para entender o que são essas ' garantias teóricas sobre consistência e precisão local da teoria dos jogos '. Como o SHAP foi desenvolvido após o LIME, presumo que ele preencha algumas lacunas que o LIME não resolve. O que são aqueles?
O livro de Christoph Molnar em um capítulo sobre Shapley Estimation afirma:
A diferença entre a previsão e a previsão média é distribuída de maneira justa entre os valores de recursos da instância - a propriedade de eficiência shapley. Essa propriedade diferencia o valor de Shapley de outros métodos, como LIME. O LIME não garante a distribuição perfeita dos efeitos. Isso pode tornar o valor de Shapley o único método para fornecer uma explicação completa
Lendo isso, sinto que o SHAP não é um local, mas uma explicação glocal do ponto de dados. Eu posso estar errado aqui e precisar de algumas dicas sobre o significado desta citação acima. Para resumir minha pergunta: LIME produz explicações locais. Qual a diferença entre as explicações do SHAP e as do LIME?
fonte
Respostas:
O LIME cria um modelo substituto localmente em torno da unidade que é a previsão que você deseja entender. Assim, é inerentemente local. Valores bem tornados 'decompõem' a previsão final na contribuição de cada atributo - é isso que alguns significam por 'consistente' (os valores somam a previsão real do modelo verdadeiro, isso não é algo que você obtém com LIME). Mas para realmente obter os valores bem torneados, é preciso tomar alguma decisão sobre o que fazer / como lidar com os valores dos atributos 'deixados de fora', é assim que os valores são alcançados. Nesta decisão, há alguma opção que pode mudar a interpretação. Se eu deixar de fora um atributo, calculo a média de todas as possibilidades? Escolha alguma 'linha de base'?
Então, Shapely realmente diz a você, de maneira aditiva, como você obteve sua pontuação, mas há algumas opções sobre o 'ponto de partida' (isto é, a decisão sobre atributos omitidos).
O LIME simplesmente informa, em um sentido local, qual é o atributo mais importante em torno do ponto de interesse dos dados.
fonte