Como calcular o número de recursos com base na resolução da imagem?

Acabamos de abordar a Hipótese não linear de redes neurais de Andrew Ng, e tivemos uma pergunta de múltipla escolha para determinar o número de recursos para uma imagem da resolução 100x100 das intensidades de escala de escala .

E a resposta foi 50 milhões, x10 $5$$10^7$

No entanto, anteriormente, para uma imagem em escala de cinza de 50 x 50 pixels. o número de recursos é 50x50 (2500)

Por que seria x vez de ?10 7 10 , $5$$10^7$$10,000$

No entanto, ele diz que inclui todos os termos quadráticos ( ) como recursos$x_ix_j$

Suponha que você esteja aprendendo a reconhecer carros a partir de imagens de 100 × 100 pixels (escala de cinza, não RGB). Deixe os recursos serem valores de intensidade de pixel. Se você treina a regressão logística, incluindo todos os termos quadráticos ( ) como recursos, sobre quantos recursos você terá?$x_ix_j$

e no slide anterior sobre 100x100, que os recursos quadráticos ( x ) = 3 milhões de recursos, mas ainda não consigo a conexão.$x_i$$x_j$

Talvez um caso mais simples torne as coisas mais claras. Digamos que escolhemos uma amostra de 1x2 de pixels em vez de 100x100.

Pixels de exemplo da imagem

+----+----+
| x1 | x2 |
+----+----+

Imagine ao plotar nosso conjunto de treinamento, percebemos que ele não pode ser separado facilmente com um modelo linear; portanto, optamos por adicionar termos polinomiais para melhor ajustar os dados.

Digamos que decidimos construir nossos polinômios incluindo todas as intensidades de pixel e todos os múltiplos possíveis que podem ser formados a partir deles.

Como nossa matriz é pequena, vamos enumerá-las:

A interpretação da sequência de recursos acima pode ver que existe um padrão. Os dois primeiros termos, grupo 1, são recursos que consistem apenas na intensidade de pixels. Os dois termos a seguir, grupo 2, são características que consistem no quadrado de sua intensidade. Os dois últimos termos, grupo 3, são o produto de todas as combinações de intensidades em pares (dois) de pixels.

grupo 1:$x_1,\ x_2$

grupo 2:$x_1^2,\ x_2^2$

grupo 3:$x_1 \times x_2,\ x_2 \times x_1$

Mas espere, há um problema. Se você observar os termos do grupo 3 na sequência ( e ), notará que eles são iguais. Lembre-se do nosso exemplo de moradia. Imagine ter dois recursos x1 = metragem quadrada e x2 = metragem quadrada, para a mesma casa ... Isso não faz nenhum sentido! Ok, então precisamos nos livrar do recurso duplicado, digamos arbitrariamente . Agora podemos reescrever a lista de recursos do grupo três como:x 2$x_1 \times x_2$x 2 × x $x_2 \times x_1$$x_2 \times x_1$

grupo 3:$x_1 \times x_2$

Contamos os recursos nos três grupos e obtemos 5.

Mas este é um exemplo de brinquedo. Vamos derivar uma fórmula genérica para calcular o número de recursos. Vamos usar nossos grupos originais de recursos como ponto de partida.

$size group 1 + size group 2 + size group 3 = m \times n + m \times n +m \times n = 3 \times m \times n$

Ah! Mas tivemos que nos livrar do produto duplicado no grupo 3.

Portanto, para contar adequadamente os recursos do grupo 3, precisaremos de uma maneira de contar todos os produtos exclusivos em pares na matriz. O que pode ser feito com o coeficiente binomial, que é um método para contar todos os possíveis subgrupos exclusivos de tamanho k de um grupo igual ou maior de tamanho n. Portanto, para contar adequadamente os recursos do grupo 3, calcule .$C(m \times n, 2)$

Portanto, nossa fórmula genérica seria:

Vamos usá-lo para calcular o número de recursos em nosso exemplo de brinquedo:

É isso aí!

Se você estiver usando todos os recursos lineares e quadráticos, o número total deve ser:

100*100 + 100*100 + C(100*100,2) = 50015000
10000   + 10000   + 49995000     = 50015000
xi         xi^2       xixj

A idéia de ( ) / 2 também pode funcionar para obter os recursos quadráticos. Portanto, se n = 2500, sabemos que x (i) = 2500 e substituindo x na fórmula dará 50 milhões$x^2$

O @whuber 50 milhões chega quando você tem uma imagem de 100 * 100 pixels. onde quadrado (100 * 100) = 100000000 (10 milhões) e quadrado (100 * 100) / 2 = 5 milhões. Espero que isso responda.