Fórmula de inércia de cluster no scikit learn

Gostaria de codificar um kmeans agrupado em python usando pandas e scikit learn. Para selecionar o bom k, gostaria de codificar a estatística Gap de Tibshirani e al 2001 ( pdf ).

Gostaria de saber se poderia usar o resultado de inércia_ do scikit e adaptar a fórmula estatística de gap sem precisar recodificar todo o cálculo de distâncias.

Alguém conhece a fórmula de inércia usada no scikit / conhece uma maneira fácil de recodificar a estatística de gap usando funções de distância de alto nível?

Acho que encontrei minha resposta para o agrupamento kmeans:

Observando o código fonte do git, descobri que, para o scikit learn, a inércia é calculada como a soma da distância ao quadrado de cada ponto até o centróide mais próximo, ou seja, seu cluster designado. Então onde c r é o centróide do cluster designado ed é a distância ao quadrado. $I = \sum_{i}(d(i,cr))$$cr$$d$

Agora, a fórmula da estatística de gap envolve ondeDré a soma das distâncias ao quadrado entre todos os pontos no clusterr.

Introduzindo , - c na fórmula da distância ao quadrado ( c sendo o centróide das coordenadas do cluster r ), tenho um termo que corresponde à inércia (como no scikit) + um termo que desaparece se cada c for o baricentro de cada cluster (que deveria estar em kmeans). Então eu acho que W k é de fato inércia.$+c$$-c$$c$$r$$c$$W_k$

Eu ainda tenho duas perguntas:

1. Você acha que meu cálculo está correto? (Por exemplo, não sei se isso vale para cluster hierárquico.)
2. Se estou correto acima, codifiquei a estatística de gap (como diferença de inércia do log entre estimativa e cluster) e ela apresenta um desempenho ruim, especialmente no conjunto de dados da íris, alguém já tentou?