Não tenho certeza sobre a qual área da ciência você está se referindo (tenho certeza que a resposta seria realmente diferente se se tratasse de biologia versus física, por exemplo ...)
De qualquer forma, como biólogo, responderei do ponto de vista "biológico":
Quanto esforço devemos fazer para entender a área de aplicação?
Costumo ler pelo menos os trabalhos anteriores dos mesmos autores e procurar algumas revisões sobre o assunto, se não estiver muito familiarizado. Isso é especialmente verdadeiro quando se lida com novas técnicas que eu não conheço, porque preciso entender se eles fizeram todos os controles adequados, etc.
Quanto tempo devo gastar em um relatório?
Tanto quanto necessário (OK, resposta idiota, eu sei!: P) Em geral, eu não gostaria que alguém revisando meu trabalho fizesse um trabalho aproximado apenas porque ele / ela tem outras coisas a fazer, então tento não fazer isso sozinho .
Como você é exigente quando olha figuras / tabelas.
Bastante exigente. Os números são a primeira coisa que você olha quando navega em um papel. Eles precisam ser consistentes (por exemplo, títulos corretos nos eixos, legenda correta etc.). Ocasionalmente, sugeri usar um tipo diferente de gráfico para mostrar dados quando pensei que o usado não era o melhor. Isso acontece muito na biologia, um campo que é dominado pelo tipo de gráfico "barplot +/- SEM". Também sou bastante exigente na seção "materiais e métodos": uma análise estatística perfeita em um modelo biológico inerentemente errado é completamente inútil.
Como você lida com os dados não disponíveis.
Você apenas confia nos autores, eu acho. Em muitos casos, na biologia, não há muito que você possa fazer, especialmente quando se lida com coisas como imagens ou comportamento animal e similares. A menos que você queira que as pessoas publiquem toneladas de imagens, vídeos etc. (que você provavelmente não passaria de qualquer maneira), mas isso pode ser muito impraticável. Se você acha que os dados são realmente necessários, peça aos autores que os forneçam como dados / figuras suplementares.
Você tenta executar novamente a análise usada.
Somente se eu tiver sérias dúvidas sobre as conclusões tiradas pelos autores. Na biologia, muitas vezes há uma diferença entre o que é (ou não) "estatisticamente significativo" e o que é "biologicamente significativo". Prefiro uma análise estatística mais fina, com bom raciocínio biológico, e vice-versa. Mas, novamente, no improvável evento de revisar um artigo de bioestatística (ahah, isso seria divertido !!!), provavelmente prestaria muito mais atenção às estatísticas do que à biologia existente.
fonte
Meu ponto de vista estaria revisando um artigo em psicologia ou prevendo seus méritos estatísticos. Vou principalmente acompanhar as boas observações de Nico.
Bastante, na verdade. Eu não confiaria em mim mesmo para comentar mais do que os problemas estatísticos mais básicos sem ter entendido a área. Felizmente, isso muitas vezes não é muito difícil em muitos ramos da psicologia.
Vou sair do ramo e declarar um horário específico: gastarei qualquer coisa entre duas e oito horas em uma revisão, às vezes mais. Se eu descobrir que estou gastando mais de um dia em um artigo, provavelmente significa que não estou realmente qualificado para entendê-lo, então recomendo que o diário encontre outra pessoa (e tente sugerir algumas pessoas).
Muito exigente mesmo. As figuras serão o que as pessoas lembram de um artigo e o que acaba nas apresentações das palestras sem muito contexto, portanto, elas realmente precisam ser bem feitas.
Em psicologia, os dados geralmente não são compartilhados - medir 50 pessoas por ressonância magnética é muito caro, e os autores desejam usar esses dados para outros artigos, então eu meio que entendo a relutância deles em apenas fornecer os dados. Portanto, qualquer pessoa que compartilhe seus dados recebe um grande bônus no meu livro, mas não o compartilhamento é compreensível.
Na previsão, muitos conjuntos de dados estão disponíveis ao público. Nesse caso, eu geralmente recomendo que os autores compartilhem seu código (e façam isso sozinho).
Sem os dados, há muito que se pode aprender com isso. Vou brincar com dados simulados, se algo é muito surpreendente sobre os resultados do artigo; caso contrário, pode-se distinguir métodos apropriados a partir de métodos inapropriados sem os dados (depois de entender a área, veja acima).
Há realmente muito pouco a acrescentar ao argumento de whuber's acima - supondo que todo artigo com, em média, n co-autores que eu (co-) submeta receba 3 revisões, deve-se realmente tentar revisar pelo menos 3 / ( n + 1 ) artigos para cada envio (contagem de envios em vez de artigos próprios que podem ser rejeitados e reenviados). E, é claro, o número de envios, bem como o número de co-autores, varia fortemente com a disciplina.
fonte