Quais critérios devem ser atendidos para concluir que um 'efeito teto' está ocorrendo?

De acordo com a enciclopédia SAGE de métodos de pesquisa em ciências sociais …

[a] o efeito teto ocorre quando uma medida possui um limite superior distinto para possíveis respostas e uma grande concentração de participantes pontua nesse limite ou próximo a ele. A atenuação da escala é um problema metodológico que ocorre sempre que a variação é restrita dessa maneira. … Por exemplo, um efeito teto pode ocorrer com uma medida de atitudes nas quais uma pontuação alta indica uma atitude favorável e a resposta mais alta falha em capturar a avaliação mais positiva possível. … A melhor solução para o problema dos efeitos do teto é o teste piloto, que permite a identificação precoce do problema . Se um efeito de teto for encontrado , [e] a medida do resultado for o desempenho da tarefa, a tarefa poderá ficar mais difícil de aumentar o intervalo de possíveis respostas. ¹ [enfase adicionada]

Parece haver lotes de aconselhamento e perguntas ( e aqui ) que tratam de análise de dados que mostram efeitos de teto semelhante ao descrito na citação acima.

Minha pergunta pode ser simples ou ingênua, mas como alguém realmente detecta que um efeito de teto está presente nos dados? Mais especificamente, digamos que um teste psicométrico seja criado e suspeito de levar a um efeito de teto (apenas exame visual) e, em seguida, o teste é revisado para produzir uma faixa maior de valores. Como é possível demonstrar que o teste revisado removeu o efeito de teto dos dados que gera? Existe um teste que mostra que há um efeito de teto no conjunto de dados a, mas nenhum efeito de teto no conjunto de dados b ?

Minha abordagem ingênua seria apenas examinar a inclinação da distribuição e, se não estiver distorcida, concluir que não há efeito de teto. Isso é excessivamente simplista?

Editar

Para adicionar um exemplo mais concreto, digamos que desenvolvo um instrumento que mede algumas características latentes x que aumentam com a idade, mas eventualmente se nivelam e começam a declinar na velhice. Faço a primeira versão, que tem um intervalo de 1 a 14, pilotos, e acho que parece haver um efeito de teto (um grande número de respostas entre 14 e quase 14, o máximo. Concluo isso apenas por olhando para os dados, mas por quê? Existe algum método rigoroso para apoiar essa reivindicação?

Depois, reviso a medida para ter um intervalo de 1 a 20 e coleto mais dados. Vejo que a tendência corresponde mais de perto às minhas expectativas, mas como sei que a faixa de medição é grande o suficiente. Preciso revisá-lo novamente? Visualmente, parece estar ok, mas existe uma maneira de testá-lo para confirmar minhas suspeitas?

Quero saber como posso detectar esse efeito de teto nos dados, em vez de apenas observá-lo. Os gráficos representam dados reais, não teóricos. Expandir o alcance do instrumento criou uma melhor disseminação de dados, mas é suficiente? Como posso testar isso?

¹ Hessling, R., Traxel, N., & Schmidt, T. (2004). Efeito de teto. Em Michael S. Lewis-Beck, A. Bryman e Tim Futing Liao (Eds.), A Enciclopédia SAGE de Métodos de Pesquisa em Ciências Sociais . (p. 107). Thousand Oaks, Califórnia: Sage Publications, Inc. doi: 10.4135 / 9781412950589.n102

Primeiramente, gostaria de dizer que os dois gráficos fornecem evidências claras de que existe um efeito de teto. Como eu tentaria medir esse efeito, e não apenas visualmente, seria observar que, enquanto uma parte não trivial das observações estiver próxima ao limite superior do alcance do instrumento. Normalmente, um efeito teto sempre existirá, desde que haja uma parte não trivial dos participantes do teste que atinjam a pontuação máxima no teste.

No entanto, dito isso, a tecnologia de análise de teste progrediu bastante, pois precisávamos interpretar diretamente as pontuações em um instrumento com base na pontuação correta. Agora, podemos usar a Teoria da resposta ao item para estimar os parâmetros do item de itens individuais e usá-los para identificar a capacidade do sujeito. É claro que ainda pode haver efeitos no teto de um teste se facilitarmos o teste. No entanto, devido aos poderes da teoria de resposta a itens, devemos ser capazes de colocar pelo menos alguns itens com dificuldade suficientemente alta no instrumento para impedir apenas uma parcela trivial da população de atingir o teto.

Obrigado pela pergunta. É muito interessante!

Eu acho que uma maneira áspera e pronta seria apenas medir a variação à medida que a escala aumenta. Se isso mostra uma redução, isso é evidência de um efeito teto e, se não, não há efeito teto. Você pode fazer um gráfico de homogeneidade de variação. O teste de Levene pode ser útil para determinar se a variância é sig diferente em diferentes pontos da escala.

O problema crítico para decidir se um agrupamento em torno do ponto mais alto ou mais baixo é devido a um efeito teto / piso é se os valores dos casos realmente "representam" o valor. Quando ocorrem efeitos de teto / piso, alguns dos casos, apesar de assumirem o valor máximo ou mínimo, são realmente mais altos / mais baixos que o valor máximo ou mínimo (imagine que um adulto e uma criança terminem um teste de matemática extremamente simples que pretendia medir capacidade matemática de cada um, e ambos obtiveram 100%). Aqui, os dados são censurados.

Outro cenário também é possível quando usamos escalas limitadas, como uma escala do tipo Likert, que possui limites superiores e inferiores inerentes. É perfeitamente possível que aqueles que pontuaram mais alto valham essa pontuação e não existam diferenças (como o exemplo de matemática acima) entre todos os que pontuaram mais alto. Nesse caso, os dados são truncados nos limites, não censurados.

Com base no raciocínio acima, considero que se deve planejar um procedimento para ajustar qualquer conjunto de dados com truncamento e censura de dados. Se o modelo de censura melhor se ajustou aos dados, acho que podemos concluir que um efeito teto / piso está presente.