Acompanhamento: Em uma ANOVA mista entre SEs estimadas ou SEs reais?

Atualmente, estou terminando um trabalho e me deparei com essa pergunta de ontem, o que me levou a fazer a mesma pergunta para mim. É melhor fornecer ao meu gráfico o erro padrão real dos dados ou o estimado na minha ANOVA?
Como a pergunta de ontem era bastante inespecífica e a minha é bastante específica, pensei que seria apropriado fazer essa pergunta de acompanhamento.

Detalhes:
Realizei um experimento em algum domínio da psicologia cognitiva (raciocínio condicional) comparando dois grupos (instruções indutivas e dedutivas, isto é, uma manipulação entre sujeitos) com duas manipulações dentro dos sujeitos (tipo e conteúdo do problema, cada um com dois níveis de fator).

Os resultados são assim (painel esquerdo com estimativas de SE da saída ANOVA, painel direito com SEs estimados a partir dos dados):
Observe que as linhas diferentes representam os dois grupos diferentes (isto é, a manipulação entre os sujeitos) e o as manipulações dos sujeitos são plotadas no eixo x (ou seja, os níveis do fator 2x2).

No texto, forneço os respectivos resultados da ANOVA e até comparações planejadas para a interação crítica cruzada no meio. Os SEs estão lá para dar ao leitor alguma dica sobre a variabilidade dos dados. Eu prefiro SEs em vez de desvios padrão e intervalos de confiança, pois não é comum traçar DSs e há problemas graves ao comparar ICs dentro e entre indivíduos (como o mesmo certamente se aplica a SEs, não é tão comum inferir falsamente diferenças significativas deles).

Para repetir minha pergunta: É melhor plotar as SEs estimadas a partir da ANOVA ou devo plotar as SEs estimadas a partir dos dados brutos?

Atualização:
acho que devo ser um pouco mais claro quanto às SEs estimadas. A saída ANOVA no SPSS fornece estimated marginal meansos SEs e ICs correspondentes. Isto é o que é plotado no gráfico esquerdo. Tanto quanto eu entendo isso, eles devem ser os SDs dos resíduos. Mas, ao salvar os resíduos, seus SDs não estão de algum modo próximos dos SEs estimados. Portanto, uma pergunta secundária (potencialmente específica ao SPSS) seria:
O que são essas SEs?

ATUALIZAÇÃO 2: Eu finalmente consegui escrever uma função R que deveria ser capaz de fazer um enredo como eu finalmente gostei (veja minha resposta aceita) por conta própria. Se alguém tiver tempo, eu realmente apreciaria se você pudesse dar uma olhada. Aqui está.

Como conseqüência das respostas inspiradoras e discussão da minha pergunta, construí os seguintes gráficos que não se baseiam em nenhum parâmetro baseado em modelo, mas apresentam os dados subjacentes.

As razões são que, independentemente de qualquer tipo de erro padrão que eu possa escolher, o erro padrão é um parâmetro baseado em modelo. Então, por que não apresentar os dados subjacentes e, assim, transmitir mais informações?

Além disso, se escolher a SE da ANOVA, dois problemas surgem para os meus problemas específicos.
Primeiro (pelo menos para mim), de alguma forma, não está claro o que SPSSrealmente são as SEs da ANOVA Output ( veja também esta discussão nos comentários ). Eles estão de alguma forma relacionados ao MSE, mas como exatamente eu não sei.
Segundo, eles só são razoáveis ​​quando as premissas subjacentes são atendidas. No entanto, como mostram os gráficos a seguir, as premissas de homogeneidade de variância são claramente violadas.

Os lotes com boxplots:

Os gráficos com todos os pontos de dados:

Observe que os dois grupos são deslocados um pouco para a esquerda ou para a direita: dedutivos para a esquerda, indutivos para a direita. Os meios ainda são plotados em preto e os dados ou gráficos de caixa em segundo plano em cinza. As diferenças entre os gráficos à esquerda e à direita são se os meios são deslocados da mesma forma que os pontos ou gráficos de caixa ou se são apresentados centralmente.
Desculpe pela qualidade não ótima dos gráficos e pelos rótulos ausentes do eixo x.

A questão que permanece é: qual das parcelas acima é a que você deve escolher agora. Eu tenho que pensar sobre isso e perguntar ao outro autor do nosso artigo. Mas agora, eu prefiro os "pontos com meios deslocados". E eu ainda estaria muito interessado em comentários.

Atualização: Depois de alguma programação, finalmente consegui escrever uma função R para criar automaticamente um gráfico como pontos com meios deslocados. Confira (e me envie comentários) !

Você não encontrará uma única barra de erro razoável para fins inferenciais com esse tipo de projeto experimental. Este é um problema antigo, sem solução clara.

Parece impossível ter a estimativa de SE que você tem aqui. Existem dois tipos principais de erro nesse projeto, o erro entre e dentro do S. Eles geralmente são muito diferentes um do outro e não são comparáveis. Realmente não existe uma barra de erro única e boa para representar seus dados.

Alguém poderia argumentar que as SEs ou DSs brutas dos dados são mais importantes em um sentido descritivo do que inferencial. Eles falam sobre a qualidade da estimativa de tendência central (SE) ou a variabilidade dos dados (DP). No entanto, mesmo assim, é algo falso, porque o que você está testando e medindo em S não é esse valor bruto, mas o efeito da variável dentro de S. Portanto, relatar a variabilidade dos valores brutos é sem sentido ou enganoso em relação aos efeitos S.

Normalmente, não apóio barras de erro nesses gráficos e gráficos de efeitos adjacentes, indicando a variabilidade dos efeitos. Pode-se ter ICs nesse gráfico que sejam perfeitamente razoáveis. Veja Masson & Loftus (2003) para exemplos dos gráficos de efeitos. Simplesmente elimine suas barras de erro (praticamente inúteis) em torno dos valores médios que eles mostram e use apenas as barras de erro de efeito.

Para o seu estudo, eu primeiro substituia os dados como o design 2 x 2 x 2 (2 painéis 2x2) e, em seguida, plotava imediatamente adjacente a um gráfico com intervalos de confiança dos efeitos de validade, plausibilidade, instrução e interação. Coloque SDs e SEs para os grupos de instruções em uma tabela ou no texto.

(aguardando a resposta esperada da análise de efeitos mistos;))

ATUALIZAÇÃO: OK, após a edição, fica claro que a única coisa que você deseja é que um SE seja usado para mostrar a qualidade da estimativa do valor. Nesse caso, use os valores do seu modelo. Ambos os valores são baseados em um modelo e não há valor 'verdadeiro' em sua amostra. Use os do modelo que você aplicou aos seus dados. MAS, certifique-se de avisar os leitores na legenda da figura de que essas SEs não têm valor inferencial para os seus efeitos ou interações S.

ATUALIZAÇÃO2: Analisando os dados que você apresentou ... que parecem suspeitosamente porcentagens que não deveriam ter sido analisadas com ANOVA em primeiro lugar. Seja ou não, é uma variável que atinge o máximo de 100 e reduziu as variações nos extremos, portanto ainda não deve ser analisada com ANOVA. Eu gosto muito de suas plotagens rm.plot. Eu ainda ficaria tentado a fazer gráficos separados das condições intermediárias, mostrando os dados brutos e dentro das condições que mostravam os dados com a variabilidade S removida.

Parece uma experiência muito boa, então parabéns!

Concordo com John Christie, é um modelo misto, mas desde que possa ser especificado corretamente em um design ANOVA (e é equilibrado), não vejo por que não pode ser tão formulado. Dois fatores dentro e 1 fator entre os sujeitos, mas o fator entre os sujeitos (indutivo / dedutivo) interage claramente (modifica) os efeitos dentro dos sujeitos. Eu suponho que as médias plotadas são do modelo ANOVA (LHS) e, portanto, o modelo está especificado corretamente. Bem feito - isso não é trivial!

Alguns pontos: 1) O erro "estimado" vs "real" é uma dicotomia falsa. Ambos assumem um modelo subjacente e fazem estimativas nessa base. Se o modelo for razoável, eu diria que é melhor usar as estimativas baseadas no modelo (elas são baseadas no agrupamento de amostras maiores). Mas, como James menciona, os erros diferem dependendo da comparação que você está fazendo, portanto, nenhuma representação simples é possível.

2) Eu preferiria ver gráficos de caixa ou pontos de dados individuais plotados (se não houver muitos), talvez com algum jitter lateral, para que pontos com o mesmo valor possam ser distinguidos.

http://en.wikipedia.org/wiki/Box_plot

3) Se você deve plotar uma estimativa do erro da média, nunca plotar SDs - eles são uma estimativa do desvio padrão da amostra e estão relacionados à variabilidade da população, não uma comparação estatística das médias. Geralmente é preferível traçar intervalos de confiança de 95% em vez de SEs, mas não neste caso (ver 1 e o ponto de John)

4) O único problema com esses dados que me preocupa é que a suposição de variação uniforme provavelmente é violada, pois os dados "MP válidos e plausíveis" são claramente restringidos pelo limite de 100%, especialmente para as pessoas dedutivas. Estou pensando na importância dessa questão. Mover para um logit de efeitos mistos (probabilidade binomial) é provavelmente a solução ideal, mas é uma pergunta difícil. Talvez seja melhor deixar que outras pessoas respondam.

Ultimamente, tenho usado a análise de efeitos mistos e, na tentativa de desenvolver uma abordagem de análise de dados visual que acompanho, utilizo o bootstrap ( veja minha descrição aqui ), que gera intervalos de confiança que não são suscetíveis aos problemas entre versus entre dos ICs convencionais.

Além disso, eu evitaria mapear várias variáveis ​​para a mesma estética visual, como você fez no gráfico acima; você tem três variáveis ​​(MP / AC, válidas / inválidas, plausíveis / implausíveis) mapeadas para o eixo x, o que dificulta a análise do design e dos padrões. Em vez disso, sugiro mapear, por exemplo, MP / AC para o eixo x, válido / inválido para colunas de faceta e plausível / implausível para linhas de faceta. Confira ggplot2 em R para conseguir isso facilmente, por exemplo:

library(ggplot2)
ggplot(
    data = my_data
    , mapping = aes(
        y = mean_endorsement
        , x = mp_ac
        , linetype = deductive_inductive
        , shape = deductive_inductive
)+
geom_point()+
geom_line()+
facet_grid(
    plausible_implausible ~ valid_invalid
)