Como calcular o número de recursos com base na resolução da imagem?

18

Acabamos de abordar a Hipótese não linear de redes neurais de Andrew Ng, e tivemos uma pergunta de múltipla escolha para determinar o número de recursos para uma imagem da resolução 100x100 das intensidades de escala de escala .

E a resposta foi 50 milhões, x10 75107

No entanto, anteriormente, para uma imagem em escala de cinza de 50 x 50 pixels. o número de recursos é 50x50 (2500)

Por que seria x vez de ?10 7 10 , 000510710,000

No entanto, ele diz que inclui todos os termos quadráticos ( ) como recursosxEuxj

Suponha que você esteja aprendendo a reconhecer carros a partir de imagens de 100 × 100 pixels (escala de cinza, não RGB). Deixe os recursos serem valores de intensidade de pixel. Se você treina a regressão logística, incluindo todos os termos quadráticos ( ) como recursos, sobre quantos recursos você terá?xEuxj

e no slide anterior sobre 100x100, que os recursos quadráticos ( x ) = 3 milhões de recursos, mas ainda não consigo a conexão.xEuxj

Iancovici
fonte

Respostas:

16

Talvez um caso mais simples torne as coisas mais claras. Digamos que escolhemos uma amostra de 1x2 de pixels em vez de 100x100.

Pixels de exemplo da imagem

+----+----+
| x1 | x2 |
+----+----+

Imagine ao plotar nosso conjunto de treinamento, percebemos que ele não pode ser separado facilmente com um modelo linear; portanto, optamos por adicionar termos polinomiais para melhor ajustar os dados.

Digamos que decidimos construir nossos polinômios incluindo todas as intensidades de pixel e todos os múltiplos possíveis que podem ser formados a partir deles.

Como nossa matriz é pequena, vamos enumerá-las:

x1, x2, x12, x22, x1×x2, x2×x1

A interpretação da sequência de recursos acima pode ver que existe um padrão. Os dois primeiros termos, grupo 1, são recursos que consistem apenas na intensidade de pixels. Os dois termos a seguir, grupo 2, são características que consistem no quadrado de sua intensidade. Os dois últimos termos, grupo 3, são o produto de todas as combinações de intensidades em pares (dois) de pixels.

grupo 1:x1, x2

grupo 2:x12, x22

grupo 3:x1×x2, x2×x1

Mas espere, há um problema. Se você observar os termos do grupo 3 na sequência ( e ), notará que eles são iguais. Lembre-se do nosso exemplo de moradia. Imagine ter dois recursos x1 = metragem quadrada e x2 = metragem quadrada, para a mesma casa ... Isso não faz nenhum sentido! Ok, então precisamos nos livrar do recurso duplicado, digamos arbitrariamente . Agora podemos reescrever a lista de recursos do grupo três como:x 2 ×x1×x2x 2 × x 1x2×x1x2×x1

grupo 3:x1×x2

Contamos os recursos nos três grupos e obtemos 5.

Mas este é um exemplo de brinquedo. Vamos derivar uma fórmula genérica para calcular o número de recursos. Vamos usar nossos grupos originais de recursos como ponto de partida.

sEuzegrovocêp1+sEuzegrovocêp2+sEuzegrovocêp3=m×n+m×n+m×n=3×m×n

Ah! Mas tivemos que nos livrar do produto duplicado no grupo 3.

Portanto, para contar adequadamente os recursos do grupo 3, precisaremos de uma maneira de contar todos os produtos exclusivos em pares na matriz. O que pode ser feito com o coeficiente binomial, que é um método para contar todos os possíveis subgrupos exclusivos de tamanho k de um grupo igual ou maior de tamanho n. Portanto, para contar adequadamente os recursos do grupo 3, calcule .C(m×n,2)

Portanto, nossa fórmula genérica seria:

m×n+m×n+C(m×n,2)=2m×n+C(m×n,2)

Vamos usá-lo para calcular o número de recursos em nosso exemplo de brinquedo:

2×1×2+C(1×2,2)=4+1=5

É isso aí!

Anwar A. Ruff
fonte
2
Gostaria que essa explicação tivesse sido dada na palestra!
Ian Walker-Sperber
Eu estou querendo saber como devemos saber isso no curso sem ser explicado
Mohammed Noureldin 26/02
6

Se você estiver usando todos os recursos lineares e quadráticos, o número total deve ser:

100*100 + 100*100 + C(100*100,2) = 50015000
10000   + 10000   + 49995000     = 50015000
xi         xi^2       xixj
lennon310
fonte
1
Você pode explicar um pouco mais? você está dizendo xi + xi ^ 2 + xixi? Xi = 100 e xj = 100? por que xi e xi ^ 2 são ambos 100 * 100? O que é C (100 * 100,2)?
21913 Iancovici
4
(1) existem totalmente 100 * 100 pixels; se você estiver usando intensidade como recursos, haverá 100 * 100 recursos no total, ou seja, xi; e (ii) você também pode usar a densidade de potência como um recurso, que é (xi, xi) ou xi. ^ 2, ainda 100 * 100 no total; finalmente (iii) se você usar as correlações entre dois pixels, haverá C pares de pixels no total, isto é (xi, xj), C é uma combinação em matemática ( mathworld.wolfram.com/Combination.html )
lennon310
Obrigado, uma última pergunta é por que xi = xi ^ 2 nesse contexto?
Iancovici
Eu usei xi para representar um pixel e xi ^ 2 significa usar pares do mesmo pixel (xi, xi). O número de pixels únicos é o mesmo de pares do mesmo pixel. Não tem nada a ver com a intensidade do pixel. Desculpe pela confusão.
lennon310
Mesma pergunta, alguns anos depois. Não devemos levar em conta também os possíveis valores de intensidade (de 0 a 255)?
albus_c
0

A idéia de ( ) / 2 também pode funcionar para obter os recursos quadráticos. Portanto, se n = 2500, sabemos que x (i) = 2500 e substituindo x na fórmula dará 50 milhõesx2

Opetunde Adepoju
fonte
2
25002/2350.
0

O @whuber 50 milhões chega quando você tem uma imagem de 100 * 100 pixels. onde quadrado (100 * 100) = 100000000 (10 milhões) e quadrado (100 * 100) / 2 = 5 milhões. Espero que isso responda.

Tahir Ahmad
fonte
Esta é uma resposta a um comentário e não uma resposta a esta pergunta.
Michael R. Chernick 28/07