Qual intervalo de pesquisa para determinar os parâmetros C e gama ideais do SVM?

Estou usando o SVM para classificação e estou tentando determinar os parâmetros ideais para os núcleos linear e RBF. Para o kernel linear, utilizo a seleção de parâmetros com validação cruzada para determinar C e, para o kernel RBF, uso a pesquisa em grade para determinar C e gama.

Eu tenho 20 recursos (numéricos) e 70 exemplos de treinamento que devem ser classificados em 7 classes.

Qual intervalo de pesquisa devo usar para determinar os valores ideais para os parâmetros C e gama?

Confira Um guia prático da Classificação SVM para alguns indicadores, particularmente a página 5.

Recomendamos uma "pesquisa em grade" em e usando a validação cruzada. Vários pares de valores são tentados e aquele com a melhor precisão de validação cruzada é escolhido. Descobrimos que tentar sequências crescentes exponencialmente de e é um método prático para identificar bons parâmetros (por exemplo, ).γ ( C , γ ) C γ C = 2 - 5 , 2 - 3 , … , 2 15 ; γ = 2 - 15 , 2 - 13 , … , 2 $C$$\gamma$$(C,\gamma)$$C$$\gamma$$C = 2^{-5},2^{-3},\ldots,2^{15};\gamma = 2^{-15},2^{-13},\ldots,2^{3}$

Lembre-se de normalizar seus dados primeiro e, se puder, colete mais dados, porque, pelo que parece, seu problema pode ser bastante sub-determinado.

Confira a seção 2.3.2 deste artigo de Chapelle e Zien. Eles têm uma boa heurística para selecionar um bom intervalo de pesquisa para do kernel RBF e C para o SVM. Eu cito$\sigma$$C$

Para determinar bons valores dos demais parâmetros livres (por exemplo, por CV), é importante pesquisar na escala correta. Portanto, fixamos valores padrão para e σ que têm a ordem correta de magnitude. Em um problema da classe c , usamos o quantil 1 / c das distâncias aos pares D ρ i j de todos os pontos de dados como padrão para σ . O padrão para C é o inverso da variação empírica s 2 no espaço das feições, que pode ser calculado por s 2 = $C$$\sigma$$c$$1/c$$D^\rho_{ij}$$\sigma$$C$$s^2$ a partir de umnxnnúcleo matrizK.$s^2 = \frac{1}{n} \sum_i K_{ii} - \frac{1}{n^2}\sum_{i,j} K_{ij}$$n\times n$$K$

Em seguida, eles usam múltiplos (por exemplo, para k ∈ { - 2 , . . . , 2 } ) do valor padrão como intervalo de pesquisa em uma grade-pesquisar usando validação cruzada. Isso sempre funcionou muito bem para mim.$2^k$$k\in \{-2,...,2\}$

É claro que dissemos @ciri, normalizar os dados etc. é sempre uma boa ideia.