Como avaliar a repetibilidade de resultados multivariados e específicos de métodos?

8

O método "A" descreve amostras biológicas usando "impressões digitais" multivariadas que consistem em cerca de 30 variáveis ​​diferentes. Diferentes variáveis ​​mostram diferentes distribuições típicas e muitas delas se correlacionam intimamente. Por experiência anterior, presume-se que não possamos transformar muitas das variáveis ​​em distribuição normal.

O método "B" foi projetado para ser uma versão aprimorada do método "A" e desejamos comparar a repetibilidade desses dois métodos. Se estivéssemos lidando com uma variável única, realizaríamos análises independentes de várias amostras e usaríamos o ANOVA para comparar a variabilidade entre métodos e entre métodos. Mas aqui estamos lidando com saídas multivariadas e não desejamos realizar uma análise por variável. Quais são as abordagens corretas para esta pergunta?

Resolução

A resposta por do gui11aume resposta , fornece informação útil e valioso. Vou adaptar o "aplicativo a jusante" da resposta de gui11aume, seguida por 7 análises unidirecionais, conforme sugerido por AdamO.

David D
fonte
(Aqui está minha abordagem. Informe-me como é legítimo.) Que tal usar um método robusto de redução de dimensionalidade para reduzir os dados multivariados a uma única dimensão e analisá-los?
David D
1
David, esse problema parece que você deseja fazer uma decomposição de variação em um resultado multivariado, mas o título parece indicar que você está atrás de outra coisa. Você pode esclarecer? Além disso, você pode dizer algo mais sobre os dados que está analisando?
Macro
David, você pode explicar mais explicitamente o que você quer dizer com "repetibilidade"? Suspeito que seja semelhante ao que nós (meu campo é a análise quimiométrica de conjuntos de dados espectroscópicos [amostras biológicas]) normalmente denominamos estabilidade (de sth. Wrt. Sth.), Por exemplo: estabilidade de previsões ou parâmetros de modelo (dois tipos muito distintos de estabilidade!) wrt. a novas amostras / troca de 10% das amostras, ...
cbeleites infeliz com SX
1
Além disso, as 30 variáveis ​​de saída são as mesmas (teoricamente) para ambos os métodos?
Cbeleites descontente com SX
1
Wrt. à sua redução de dimensionalidade: você correria o risco de medir mais as características do método de redução de dimensionalidade do que as entradas nele. Certamente você perderá qualquer informação ortogonal à direção capturada pela dimensão retida.
cbeleites descontente com SX

Respostas:

7

Isso me lembra o diagnóstico de câncer, em que as antigas assinaturas de expressão gênica são substituídas por novas, que supostamente deveriam ser melhores. Mas como mostrar que eles são melhores?

Aqui estão algumas sugestões para comparar a repetibilidade dos métodos.

1. Use a análise de co-inércia (CIA).
A CIA deve ser mais anunciada, infelizmente não é amplamente usada (nenhuma página da Wikipedia, por exemplo). A CIA é um método de duas tabelas que trabalha com o mesmo princípio da análise canônica (CA), que consiste em procurar um par de pontuações lineares com correlação máxima entre dois conjuntos de medições multidimensionais. Sua vantagem sobre a CA é que você pode fazer isso mesmo se tiver mais dimensões do que observações. Você poderia medir ambos os métodos nas mesmas amostras para obter duas mesas acopladas de 30 colunas enobservações. O primeiro par de componentes principais deve ser fortemente correlacionado (se os métodos realmente medirem a mesma coisa). Se o método B for melhor, a variação residual deve ser menor que a variação residual do método A. Com essa abordagem, você aborda a concordância dos métodos e sua discordância, que você interpreta como ruído.

2. Use uma distância .
Você pode usar a distância euclidiana em 30 dimensões entre o teste e o reteste para medir a repetibilidade de um método. Você gera uma amostra dessa pontuação para cada método e pode comparar as amostras com o teste de Wilcoxon.

3. Use o aplicativo downstream.
Você provavelmente está recebendo essas impressões digitais para tomar uma decisão ou classificar pacientes ou material biológico. Você pode contar os acordos versus discordâncias entre testes e retestes para ambos os métodos e compará-los com o teste de Wilcoxon.

O método 3 é o mais simples, mas também o mais prático. Mesmo para entradas de alta dimensão, as decisões geralmente são bastante simples. E, por mais complexo que seja o nosso problema, lembre-se de que a estatística é a ciência da decisão.

Em relação à pergunta em seu comentário.

Que tal usar um método robusto de redução de dimensionalidade para reduzir os dados multivariados para uma única dimensão e analisá-los?

A redução da dimensionalidade, por mais robusta que seja, será associada a uma perda de variação. Se existe uma maneira de transformar sua impressão digital multivariada em uma única pontuação, capturando quase toda a sua variação, com certeza, essa é de longe a melhor coisa a fazer. Mas então por que a impressão digital é multivariada em primeiro lugar?

No contexto do OP, assumi que a impressão digital é multivariada precisamente porque é difícil reduzir ainda mais sua dimensionalidade sem perder informações. Nesse caso, sua repetibilidade em uma única pontuação não precisa ser um bom proxy para a repetibilidade geral, porque você pode negligenciar a maioria da variação (quase 29/30 no pior caso).

gui11aume
fonte
1. você está quase certo sobre a aplicação deste teste. 2. Com relação à distância de Mahalanobis, não entendo como ela pode ser usada para avaliar a repetibilidade. Você sugere computar a matriz de covariância para todos os pontos em todos os métodos JUNTOS e, em seguida, comparar os métodos amostrando MD usando essa matriz? 3. Aplicação Downstream é de fato uma opção valiosa, no entanto, não irá reduzir a dimensionalidade t
David D
Em relação ao ponto 2. você está certo de que é difícil aplicar a distância de Mahalanobis. Eu o removi da resposta.
gui11aume
@ gui11aume: a entrada multivariada pode ser multivariada porque são dados brutos medidos, ou seja, variáveis ​​= canais de medição (de um conjunto de sensores, espectrômetro, ...). Nesse caso, a natureza multivariada vem da natureza da medição (embora, de outro ponto de vista, geralmente uma certa redução de dimensão já seja aplicada na forma de seleção desse chip sensor ou dessa faixa espectral específica)
cbeleites descontentes com o SX
@ gui11aume: Também use sua terceira abordagem para comparar classificadores. Mas: li da pergunta e do comentário sobre a redução da dimensionalidade que esta aplicação a jusante (que na verdade é uma redução drástica da dimenasionalidade) provavelmente não está disponível (ou pelo menos as 30 variáveis ​​em si devem ser comparadas).
cbeleites infeliz com SX
@ gui11aume: uma distância mede a semelhança, mas IMHO você também precisa verificar a direção dos desvios, que são perdidos pela distância.
Cbeleites descontente com SX 18/06/12
3

Suponho da sua pergunta e comente que as 30 variáveis ​​de saída não podem (facilmente) ou não devem ser transformadas em uma única variável.

Uma idéia para lidar com os dados de é que você pode fazer a regressão de e vice-versa. O conhecimento adicional (por exemplo, que a variável no conjunto A corresponde à variável também no conjunto B) pode ajudar a restringir o modelo de mapeamento e / ou com a interpretação.X A ( n × p A ) X B ( n × p B ) iiXA(n×pA)XB(n×pB)XA(n×pA)XB(n×pB)ii

Então, e o PCA de múltiplos blocos (ou -PLS) que leva essa ideia adiante? Para esses métodos, ambas as impressões digitais multivariadas para as mesmas amostras (ou mesmos indivíduos) são analisadas juntas como variáveis ​​independentes, com ou sem um terceiro bloco dependente.

R. Brereton: "Quimometria para reconhecimento de padrões" discute algumas técnicas no capítulo anterior ("Comparando padrões diferentes") e pesquisar no Google o levará a vários artigos, além de introduções. Observe que suas situações parecem semelhantes a problemas nos quais, por exemplo, medições espectroscópicas e genéticas são analisadas juntas (duas matrizes com uma correspondência em linha, em vez de analisar, por exemplo, séries temporais de espectros nos quais um cubo de dados é analisado).

Aqui está um artigo que lida com a análise de blocos múltiplos: Sahar Hassani: Análise de dados ômicos: ferramentas de interpretação e validação gráfica em métodos de blocos múltiplos .

Além disso, talvez este seja um bom ponto de partida para outra direção: Hoefsloot et.al., análise de dados de vários conjuntos: análise simultânea de componentes ANOVA e métodos relacionados, em: quimiometria abrangente - análise de dados químicos e bioquímicos (não tenho acesso a ele , só vi o resumo)

cbeleites descontentes com o SX
fonte
1

30 análises unidirecionais são certamente uma opção e seriam o tipo de análise "tabela 2" ideal, no qual um desempenho geral é resumido de maneira lógica. Pode ser que o método B produz os 20 primeiros fatores com precisão ligeiramente melhorada, enquanto os 10 últimos são muito mais variáveis. Você tem a questão da inferência usando um espaço parcialmente ordenado: certamente se todos os 30 fatores são mais precisos em B, então B é um método melhor. Mas há uma área "cinzenta" e com o grande número de fatores, é quase garantido que ele apareça na prática.

Se o objetivo desta pesquisa é chegar a uma única análise, é importante considerar o peso de cada resultado e sua aplicação de terminal. Se essas 30 variáveis ​​forem usadas na classificação, previsão e / ou agrupamento de dados observacionais, gostaria de ver a validação desses resultados e uma comparação de A / B na classificação (usando algo como tabelas de estratificação de risco ou viés percentual médio) , previsão (usando o MSE) e cluster (usando algo como validação cruzada). Essa é a maneira correta de lidar com a área cinza na qual você não pode dizer que B é melhor analiticamente, mas funciona muito melhor na prática.

AdamO
fonte
1

Vou tentar uma ANOVA multivariada baseada em testes de permutação ( PERMANOVA ). Uma análise de ordenação (baseada no resultado da análise do comprimento do gradiente) também pode ajudar.

AnastD
fonte
1
Em R existe a função adonis no pacote Vegan que realiza ANOVA multivariada permutacional. Isso gerará um teste estatístico para informar se o método A é diferente do método B. Este pacote é extraído da ecologia de plantas, onde você conta várias espécies (as variáveis) em diferentes lotes pequenos. Relacionado a isso está a AMOVA, análise de variância molecular , onde as variáveis ​​são dados moleculares. Para isso, você pode usar o pacote R ade4, mas há outro software gratuito e online que pode ser encontrado no link.
JDub
0

Se você pudesse assumir a normalidade multivariada (o que você disse que não podia), poderia fazer um teste de igualdade de vetores médios de Hotelling T2 para ver se podia reivindicar diferenças entre distribuições ou não. No entanto, embora você não possa fazer isso, ainda é possível comparar teoricamente as distribuições para ver se elas diferem muito. Divida o espaço 30 dimensional em grades retangulares. Use-os como 30 caixas dimensionais. Conte o número de vetores que caem em cada compartimento e aplique um teste do qui quadrado para ver se as distribuições têm a mesma aparência. O problema com esta sugestão é que ela requer selecionar criteriosamente os compartimentos para cobrir os pontos de dados de maneira apropriada. Além disso, a maldição da dimensionalidade dificulta a identificação de diferenças entre as distribuições multivariadas sem ter um número muito grande de pontos em cada grupo. Eu acho que as sugestões que gui11aume deu são sensatas. Eu não acho que os outros são. Como comparar as distribuições não é viável em 30 dimensões com uma amostra típica, alguma forma de comparação válida dos vetores médios parece-me apropriada.

Michael R. Chernick
fonte
1
230>109χ2
Além disso, de acordo com a sua sugestão, não está claro como o binning deve ser realizado: todo bin deve ter o mesmo número de casos, o mesmo intervalo, o mesmo intervalo de log etc.?
Boris Gorelik
@ cardinal Não, o que eu disse foi construir 30 caixas dimensionais retangulares. Eu faço o teste do qui-quadrado usual para comparar duas distribuições.
Michael R. Chernick
2
Depois de pensar mais sobre isso, acho que minha recomendação não funcionaria em grandes dimensões porque (1) embora uma escolha criteriosa de caixas seja prática em 1, 2 e possivelmente 3 dimensões, não me parece que identificar essas caixas em 30 dimensões poderia ser feito (2) por causa da maldição da dimensionalidade, mesmo que essa seleção pudesse ser alcançada em 30 dimensões espalhadas de tal maneira que seria difícil detectar diferenças entre as distribuições sem um número muito grande de pontos. Então o cardeal faz alguns bons pontos.
Michael R. Chernick
1
Eu deveria ter sido mais específico; por "aplicação ingênua", quis dizer que não se pode simplesmente aplicar o teste padrão imediatamente. No mínimo, é necessário fazer algum ajuste nos graus de liberdade, embora às vezes determinar o que os graus de liberdade devam ser não seja uma questão completamente direta.
cardeal