De onde veio o termo "aprender um modelo"

10

Muitas vezes, ouvi os mineradores de dados aqui usarem esse termo. Como estatístico que trabalhou em problemas de classificação, estou familiarizado com o termo "treinar um classificador" e presumo que "aprenda um modelo" significa a mesma coisa. Não me importo com o termo "treinar um classificador". Isso parece retratar a ideia de ajustar um modelo, pois os dados de treinamento são usados ​​para obter estimativas boas ou "aprimoradas" dos parâmetros do modelo. Mas o que aprenderia significa ganhar conhecimento. Em inglês simples, "aprender um modelo" significaria saber o que é. Mas, na verdade, nunca "conhecemos" o modelo. Os modelos aproximam a realidade, mas nenhum modelo está correto. É como Box disse: "Nenhum modelo está correto, mas alguns são úteis".

Eu estaria interessado em ouvir a resposta dos mineradores de dados. Como o termo se originou? Se você o usa, por que gosta?

Michael R. Chernick
fonte
A parte engraçada é que "aprender um modelo" significa, no máximo, "memorizar todos os seus parâmetros" ou algo assim; portanto, é incorreto mesmo que você não discuta se "aprender" é uma boa palavra aqui. No meu idioma (pl), a nomenclatura oficial é "ensinar um modelo", embora o "aprendizado de máquina" seja chamado de "aprendizado de máquina" em vez de "ensino de máquina".
Barra lateral: você tem uma referência para a cotação da caixa.
entropia

Respostas:

8

Suspeito que suas origens estejam na comunidade de pesquisa de redes neurais artificiais, onde a rede neural pode ser vista como aprendendo um modelo de dados através da modificação de pesos sinápticos de maneira semelhante àquela que ocorre no cérebro humano à medida que aprendemos com experiência. Minha carreira de pesquisa começou em redes neurais artificiais, então às vezes uso a frase.

Talvez faça mais sentido se você pensar no modelo como sendo codificado nos parâmetros do modelo, e não na equação, da mesma maneira que um modelo mental não é um componente físico identificável do cérebro tanto quanto um conjunto de parâmetros. configurações para alguns de nossos neurônios.

Observe que também não há implicações de que um modelo mental esteja necessariamente correto!

Dikran Marsupial
fonte
11
Meu líder de estudo e eu tivemos essa discussão e postamos uma pergunta relacionada a essa discussão aqui stats.stackexchange.com/questions/43559/… . Eu entendi que o ajuste, treinamento, estimativa e aprendizado do modelo apenas significam a aplicação de algum método de otimização para encontrar os melhores parâmetros que definem um modelo de uma forma específica.
entropia
6

O termo é bastante antigo em inteligência artificial. Turing dedicou uma longa seção sobre "Máquinas de Aprendizagem" em seu artigo de 1950 sobre Computing Machinery and Intelligence na Mind , e descreve qualitativamente o aprendizado supervisionado. O artigo original de Rosenblatt: O Perceptron: Um Modelo Probabilístico para Armazenamento e Organização da Informação no jornal Brain de 1958 fala extensivamente sobre um "Modelo Matemático de Aprendizagem". Aqui o perceptron era um "modelo de aprendizado"; modelos não foram "aprendidos".

O artigo de Pitts e McCullough de 1943 - o artigo original "redes neurais" - não estava realmente preocupado com o aprendizado, mas como se poderia construir um cálculo lógico (como um sistema de Hilbert ou Gentzen, mas acho que eles se referem a Russell / Whitehead) que poderia realizar inferência. Eu acho que foi o artigo "Perceptrons" que introduziu uma noção numérica, em oposição à noção simbólica de aprendizado nessa tradição.

É possível que uma máquina aprenda a jogar xadrez apenas com exemplos? Sim. Tem um modelo para jogar xadrez? Sim. É o modelo ideal (supondo que exista)? Quase certamente não. Em inglês simples, eu "aprendi xadrez" se posso jogar xadrez bem - ou talvez muito bem. Isso não significa que eu sou o melhor jogador de xadrez. É nesse sentido que Turing descreveu o "aprendizado" quando discutiu o aprendizado do xadrez em seu trabalho.

Sou muito inconsistente com o termo que uso. Então (por exemplo) para aprender dentro do limite, eu diria "identificar", para aprender SVM, diria "treinar", mas para MCMC- "aprender", diria "otimizar". E, por exemplo, eu chamo de regressão "regressão".

Patrick Caldon
fonte
Minha pergunta não era sobre o uso do termo aprendizado na classificação, mas a frase "aprendendo um modelo". O aprendizado de máquina é muito familiar, mas "aprender um modelo" é uma frase que ouvi pela primeira vez aqui neste site.
Michael R. Chernick 11/11/12
Eu adicionei um pouco de publicidade lá, mas você está certo, essa não é uma ótima resposta, eu aprendi a aprender sem muita discussão sobre "modelo". Vou ver se consigo me lembrar de alguma coisa hoje, mas posso removê-la hoje à noite se nada vier à mente.
Patrick Caldon
Eu estava indo para excluir esta resposta, mas claramente algumas pessoas gostam! Eu acho que é uma pequena sinopse razoável de onde o termo "aprendizado" vem neste contexto.
Patrick Caldon
+1 Estou dando um voto positivo porque, apesar de um pouco fora do ponto da pergunta, ele é relacionado e interessante e recebeu 3 votos positivos. Mantenha-o no.
Michael R. Chernick
2

Como pesquisador no Aprendizado de Máquina Bioplausável, concordo plenamente que "nenhum modelo está correto, mas alguns são úteis", e, de fato, modelos e formalismos apresentam fortes falhas, conforme usado por autores que falam sobre otimização do problema, quando o que estão fazendo está otimizando um modelo, ou seja, explorando seu espaço de parâmetros e encontrando um ótimo local ou, se possível, global. Geralmente, isso não é o ideal para o problema real . Enquanto o criador de um modelo normalmente usa a terminologia correta e expõe todas as suposições, a maioria dos usuários encobre as suposições, que geralmente são conhecidas por não serem mantidas, e também usa linguagem menos precisa sobre "aprendizado" e "otimização" e " parametrização".

Eu acho que essa parametrização ideal de um modelo é o que as pessoas significariam em Machine Learning, particularmente em Machine Learning supervisionado, embora eu não possa dizer que ouvi muito "aprender um modelo" - mas isso ocorre e a pessoa treina o modelo, o computador aprende os parâmetros do modelo. Mesmo no aprendizado não supervisionado, o "aprendizado" é na maioria das vezes simplesmente parametrização de um modelo e, esperançosamente, "aprendizado de um modelo" é, portanto, a parametrização ideal de um modelo (embora muitas vezes diferentes maneiras de pesquisar no espaço de parâmetros encontrem soluções diferentes, mesmo que possam ser comprovadas). otimizar a mesma coisa). Eu preferiria usar "treinando um modelo"

De fato, a maior parte de minha pesquisa é sobre o aprendizado do modelo em termos de descoberta de um modelo melhor ou de um modelo mais computacional e cognitivo / biologicamente / ecologicamente plausível.

David MW Powers
fonte