Amostras pequenas e desequilibradas para dois grupos - o que fazer?

Eu tenho dados para dois grupos (ou seja, amostras) que desejo comparar, mas o tamanho total da amostra é pequeno (n = 29) e fortemente desequilibrado (n = 22 vs n = 7).

Esses dados são logisticamente difíceis e caros de serem coletados; portanto, 'coletar mais dados' como uma solução óbvia não é útil nesse caso.

Um número de variáveis ​​diferentes foi medido (data de partida, data de chegada, duração da migração etc.) para que haja vários testes, alguns dos quais as variações são muito diferentes (a amostra menor apresenta uma variação maior).

Inicialmente, um colega executou testes t com esses dados, e alguns foram estatisticamente significativos com P <0,001, outro não foi significativo com P = 0,069. Algumas amostras eram normalmente distribuídas, outras não. Alguns testes envolveram grandes desvios de variações 'iguais'.

Eu tenho várias perguntas:

1. os testes t são apropriados aqui? Se não, por que? Isso se aplica apenas a testes em que as suposições de normalidade e igualdade de variações são atendidas?
2. o que é uma alternativa adequada? Talvez um teste de permutação?
3. variação desigual infla o erro do tipo I, mas como? e que efeito o tamanho pequeno e desequilibrado da amostra tem no erro do tipo I?

Testes-T que assumem variações iguais das duas populações não são válidos quando as duas populações têm variações diferentes, e é pior para tamanhos de amostra desiguais. Se o menor tamanho de amostra for aquele com maior variação, o teste inflará o erro Tipo I). A versão Welch-Satterthwaite do teste t, por outro lado, não assume variações iguais. Se você está pensando no teste de permutação de Fisher-Pitman, ele também assume variações iguais (se você deseja inferir médias desiguais a partir de um baixo valor de p).

Há várias outras coisas em que você pode querer pensar:

(1) Se as variações são claramente desiguais, você ainda está tão interessado na diferença entre os meios?

(2) As estimativas de efeitos podem ser mais úteis para você do que os valores de p?

(3) Deseja considerar a natureza multivariada dos seus dados, em vez de apenas fazer uma série de comparações univariadas?

Primeiro, como Scortchi já apontou, o teste T não é adequado para seus dados, devido a suas suposições sobre a distribuição dos dados.

Para seu segundo ponto, eu proporia uma alternativa ao teste T. Se o seu interesse é apenas o fato, se as distribuições de suas duas amostras são iguais ou não, você também pode tentar usar a versão frente e verso do teste de soma e classificação de Wilcoxon. O teste de soma e classificação de Wilcoxon é um teste não paramétrico. Esse tipo de teste é especialmente útil, se você não tiver certeza da distribuição subjacente dos seus dados.

Existe uma solução exata do teste para amostras pequenas, bem como para grandes coortes. Além disso, existe também um pacote R que realiza o teste de soma e classificação de Wilcoxon.

Como é um teste sem parâmetros e também lida com amostras pequenas, o teste deve ser adequado para o seu caso de teste.