Um coto de decisão é um modelo linear?

O stump de decisão é uma árvore de decisão com apenas uma divisão. Também pode ser escrito como uma função por partes.

Por exemplo, suponha que é um vetor e é o primeiro componente de , na configuração de regressão, algum coto de decisão pode ser $x$ $x_1$ $x$

$f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases}$

Mas é um modelo linear? onde pode ser escrito como ? Essa pergunta pode parecer estranha, porque, como mencionado nas respostas e comentários, se traçarmos a função por partes, não será uma linha. Consulte a próxima seção para saber por que estou fazendo esta pergunta. $f(x)=\beta^T x$

EDITAR:

A razão pela qual faço essa pergunta é que a regressão logística é um modelo linear (generalizado) e o limite de decisão é uma linha, também para o coto de decisão. Note, também temos a seguinte pergunta: Por que a regressão logística é um modelo linear? . Por outro lado, não parece verdade que o coto da decisão seja um modelo linear.

Outro motivo pelo qual eu perguntei é por causa dessa pergunta: ao impulsionar, se o aluno básico é um modelo linear, o modelo final é apenas um modelo linear simples? onde, se usarmos um modelo linear como aluno básico, obteremos nada além de regressão linear. Mas se selecionarmos o aluno base como um coto de decisão, estamos obtendo um modelo muito interessante.

Aqui está um exemplo de aumento de coto de decisão na regressão com 2 recursos e 1 resposta contínua.

machine-learning cart linear boosting Haitao Du
fonte

Por que você consideraria linear ..?

Tim

@ hxd1011 importante distinguir entre a fronteira de decisão ea função de decisão aqui

shadowtalker

Eu poderia chamá-lo de polinômio de 1000ª ordem, com todas as ordens de 1 a 1000 iguais a zero. Eu poderia chamá-lo de modelo de ordem zero (também conhecido como constante) e comunicaria de maneira mais sucinta os principais recursos. Uma árvore clássica é constante por partes. A árvore trivial, um tronco, é uma divisão única no espaço em que o modelo de um lado é constante e o outro é uma constante diferente. Não é globalmente constante, mas também não é poli1. A biblioteca "cubista" em R se encaixa nos modelos lineares (poli1) reais, em vez dos modelos constantes. Você pode tentar isso.

EngrStudent - Restabelece Monica

Se você desenhar uma linha no plano (digamos y = 0) e executar qualquer função

, então

terá linhas de contorno que são linhas reais (paralelas ao eixo

), mas não será uma função linear.

f (x)

$f(x)$

g (x, y) = f (x)

$g(x, y) = f(x)$

y

$y$

Matthew Drury

Esta é uma pergunta estranha. Você pode plotar a função do seu exemplo (que é igual a 3 para x <2 e 5 para x> 2)? Olhe para isso - é uma linha reta? Se não for uma linha reta, não será uma função linear.

Ameba diz Reinstate Monica

Respostas:

Não, a menos que você transforme os dados.

É um modelo linear se você transformar usando a função de indicador: $x$

x^{'} = I ({x > 2}) = {\begin{cases} \begin{aligned} 0 & x \leq 2 \\ 1 & x > 2 \end{aligned} \end{cases}

$x' = \mathbb I \left(\{x>2\}\right) = \begin{cases}\begin{align} 0 \quad &x\leq 2\\ 1 \quad &x>2 \end{align}\end{cases}$

Então $f(x) = 2x' + 3 = \left(\matrix{3 \\2}\right)^T \left(\matrix{1 \\x'}\right)$

Edit: isso foi mencionado nos comentários, mas quero enfatizar aqui também. Qualquer função que particione os dados em duas partes pode ser transformada em um modelo linear desse formulário, com uma interceptação e uma única entrada (um indicador de qual "lado" da partição está o ponto de dados). É importante observar a diferença entre uma função de decisão e um limite de decisão .

shadowtalker
fonte

"transformar" é complicado, eu acho rede neural (MLP) é não-linear, mas depois de transformar, é linear ..

Haitao Du

Ele é um modelo linear nos parâmetros. E é afim linear no manequim

x^{'}

$x'$

Michael M

@MichaelM como é linear nos parâmetros? Presumo por "parâmetros" você quer dizer a escolha de

x \leq 2

$x \leq 2$

shadowtalker

@ hxd1011 a resposta é "não, a menos que você transformar os dados"

shadowtalker

Eu sugiro que você edite sua resposta para incluir "não, a menos que você transforme os dados" (do seu último comentário) nele. Atualmente, suas palavras de abertura são "É um modelo linear" e as pessoas podem ficar confusas.

Ameba diz Reinstate Monica

Respostas às suas perguntas:

Um coto de decisão não é um modelo linear.
O limite de decisão pode ser uma linha, mesmo que o modelo não seja linear. A regressão logística é um exemplo.
O modelo aprimorado não precisa ser o mesmo tipo de modelo que o aluno básico. Se você pensar bem, seu exemplo de aumento, mais a questão à qual você vinculou, prova que o coto da decisão não é um modelo linear.

Solha
fonte

Essa resposta é mais detalhada do que o necessário para responder à pergunta. Espero provocar alguns comentários de verdadeiros especialistas.

Uma vez eu estava em uma sala do tribunal e o juiz perguntou (por boas razões no contexto), se chamamos o rabo de um cachorro de perna, isso significa que um cachorro tem cinco pernas? Então, o que é um modelo linear?

$f_1, f_2, \ldots, f_n$ $y = \sum a_i f_i$ com a restrição importante de que os termos do erro são independentes e normalmente distribuídos. Com essa definição, não se pode dizer se o seu modelo é linear porque você não forneceu informações sobre o termo do erro. Se eliminar a restrição de termo de erro, ela é tautologicamente linear na função que você fornece ou na função que ssdecontrol fornece. No entanto, de maneira ingênua, no contexto desta questão, isso pode ser insatisfatório. Qualquer função pode ser considerada como a base de um linear nesse sentido. Isso ocorre porque qualquer espaço de funções pode ser transformado em um espaço vetorial de funções.

$\beta$ $f(x) = \beta^{T} x$

$f(x+y) = f(x) + f(y)$ $x$ $y$ $f(1.5) = 3$ $f(3) = 5$ $f(3) \neq f(1.5) + f(1.5)$ $f(x) = \beta^T x$

meh
fonte

A linearidade não tem nada a ver com termos de erro. Tem a ver com o fato de que consiste em uma combinação linear dos parâmetros . Isso representa uma linha reta no espaço 2D (mas geralmente representa um plano).

Shadowtalker 23/08/16

f (x) = 0

$f(x) = 0$

f (x) = a_{0} + \sum_{i = 1}^{i = N} a_{i} x_{i}

$f(x) = a_0 + \sum_{i=1}^{i=N} a_ix_i$ . No entanto, a função seria linear

⟺ a_{0} = 0

$\iff a_0 = 0$

f (x + y) = f (x) + f (y)

$f(x+y) = f(x) + f(y)$

se é isso que ele insiste, essa é a opinião dele e não um fato difícil. Tanto quanto sei, não existe uma definição rigorosa e aceita para um "modelo linear", nem existe uma em minha mente. Para mim, o fato de haver um termo de erro envolvido apenas transforma o modelo de um "modelo linear" para um "modelo linear estatístico". Não vejo nada inerentemente linear sobre seus termos, nem vejo algo inerentemente estatístico sobre modelos lineares.

shadowtalker

A OMI insistindo na presença de um termo de erro apenas descarta o que, digamos, a engenharia ou o físico podem considerar um "modelo linear" de um processo físico determinístico.

shadowtalker