Decomposição MSE para variância e viés quadrado

23

Ao mostrar que o MSE pode ser decomposto em variação mais o quadrado do viés, a prova na Wikipedia tem um passo, destacado na figura. Como é que isso funciona? Como a expectativa é introduzida no produto da 3ª para a 4ª etapa? Se os dois termos forem independentes, a expectativa não deve ser aplicada a ambos os termos? e se não estiverem, esta etapa é válida?insira a descrição da imagem aqui

statBeginner
fonte

Respostas:

22

O truque é que é uma constante.E(θ^)θ

AdamO
fonte
1
Ah eu vejo. O único desconhecido aqui é o estimador. Direita?
statBeginner
2
Sim. Tomando expectativa, significa que o estimador vai para o que está estimando, é isso que faz com que o chegue a 0.E(θ^E(θ^))
AdamO
5
Desculpe, essa frase não faz muito sentido para mim. Se um estimador fosse ao que estava estimando, isso não o tornaria imparcial? Pode ser explicado dizendo = = = 0? E ( θ ) - E ( E ( θ ) ) E ( θ ) - E ( θ )E(θ^E(θ^))E(θ^)E(E(θ^))E(θ^)E(θ^)
user1158559
@ user1158559 o termo produto no meio é um vezes constantes algo com valor esperado 0. Mesmo se theta-hat é tendenciosa, ainda é uma constante vezes 0.
Adamo
3
E ( c ) C E ( ( E ( θ ) - θ ) 2 ) 0 x p ( x ) ( x p ( x ) ) p ( x ) = ( x p ( x ) ) p ( x ) =E(θ^)θ é uma variável e não uma constante. Além disso, o truque é menos trivial e com uma constante não se torna 0 como padrão (por exemplo, ). O verdadeiro truque está no fato de que é a constante (e pode ser retirada de uma integral), entãoE(c)cE((E(θ^)θ)2)0xp(x)(xp(x))p(x)=(xp(x))p(x)=(xp(x))1=(xp(x))
Sextus Empiricus
4

A resposta de Adam está correta sobre o truque de é uma constante. No entanto, ajuda a encontrar o resultado final e não explica claramente a pergunta sobre a etapa específica no artigo da Wikipedia (editar: o que vejo agora era ambíguo quanto ao destaque e à etapa da linha três à linha quatro).E(θ^)θ

(observe que a pergunta é sobre a variável , que difere da constante na resposta de Adam. Escrevi isso errado no meu comentário. Expandindo os termos para obter mais clareza: a variável é a estimativa , constantes são a expectativa dessa estimativa e o verdadeiro valor ) E [ θ ] - θ θ E [ θ ] θE[θ^]θ^ E[θ^]θθ^E[θ^]θ

Truque 1: considere

a variávelx=θ^

a constantea=E[θ^]

e a constanteb=θ

Então a relação pode ser escrita facilmente usando as regras de transformação que expressam os momentos da variável sobre em termos dos momentos da variável sobre .b x axbxa

E[(xb)n]=i=0n(ni)E[(xa)i](ab)ni

Truque 2: No segundo momento, a fórmula acima tem três termos na soma. Podemos eliminar um deles (o caso ) porqueE [ ( θ - E [ θ ] ) ] = E [ θ ] - E [ E [ θ ] ] = 0i=1E[(θ^E[θ^])]=E[θ^]E[E[θ^]]=0

Aqui também se pode argumentar com algo sendo uma constante. Ou seja, se for uma constante e usando , que é uma constante, você obtém .a a = E ( θ ) E ( E ( θ ) ) = E ( θ )E(a)=aaa=E(θ)E(E(θ))=E(θ)

Mais intuitivamente: fizemos o momento de aproximadamente , igual a um momento central (e os momentos centrais ímpares são zero). Temos um pouco de tautologia. Subtraindo a média da variável, , geramos uma variável com média zero. E a média de 'uma variável com média zero' é zero.um θ - E [ θ ]xaθ^E[θ^]


O artigo da Wikipedia usa esses dois truques respectivamente na terceira e na quarta linha.

  • A expectativa aninhada na terceira linha

    E[(θ^E(θ^))(E(θ^)θ)]

    é simplificado colocando a parte constante fora dela (truque 1).(E(θ^)θ)

  • O termo é resolvido (igual a zero) usando o fato de que a variável tem média zero (truque 2).θ - E ( θ )E(θ^E(θ^))θ^E(θ^)

Sextus Empiricus
fonte
3

E(θ^)θ não é uma constante.

O comentário de @ user1158559 é realmente o correto:

E[θ^E(θ^)]=E(θ^)E[E(θ^)]=E(θ^)E(θ^)=0
pequeno monstro
fonte
Não vejo o que você está tentando mostrar. Além disso, o viés pode não ser zero, mas isso não significa que não seja uma constante.
Michael R. Chernick 21/09
Não é uma constante porque onde é um dado dado de treinamento, que também é uma variável aleatória. Assim, sua expectativa não é constante. Dθ^=f(D)D
little_monster
Além disso, o fato de não ser uma constante ou não não pode explicar como a etapa 4 é possível a partir da etapa 3. Por outro lado, o comentário de @ user1158559 explica isso.
little_monster
@ Michael, houve confusão sobre a questão. A parte destacada contém esta expressão , mas no texto da pergunta, é mencionado que ela está sobre a mudança da terceira linha para a quarta linha, alterando o aninhamento de expectativas. E(θ^E(θ^))=0
Sextus Empiricus