Qual é a diferença entre 'transferência de aprendizagem' e 'adaptação de domínio'?

19

Existe alguma diferença entre 'transferência de aprendizado' e 'adaptação de domínio'?

Não conheço o contexto, mas entendo que temos um conjunto de dados 1 e o treinamos, após o qual temos outro conjunto de dados 2 para o qual queremos adaptar nosso modelo sem precisar treinar novamente do zero, para o qual 'transferir aprendizado' e 'adaptação de domínio' ajuda a resolver esse problema.

De acordo com o campo das redes neurais convolucionais:

  • Por 'transferência de aprendizado', quero dizer 'ajuste fino' [1]

  • Nesse caso [2], ele não é supervisionado, mas a 'adaptação do domínio' sempre deve ser não supervisionada?

deep-learning terminology conv-neural-network transfer-learning domain-adaptation Mrgloom
fonte
3
Uma pesquisa sobre transferência de aprendizagem por Pan et. al, 2009 fornece algumas dicas. Eles categorizam a adaptação do domínio como um tipo de transferência de aprendizado.
kedarps

Respostas:

13

Parece que há alguma discordância entre os pesquisadores sobre qual é a diferença entre 'transferência de aprendizado' e 'adaptação de domínio'.

De {0}:

A noção de adaptação de domínio está intimamente relacionada à transferência de aprendizado. O aprendizado de transferência é um termo geral que se refere a uma classe de problemas de aprendizado de máquina que envolvem diferentes tarefas ou domínios. Na literatura, ainda não existe uma definição padrão de aprendizado por transferência. Em alguns trabalhos, é intercambiável com a adaptação do domínio.

A partir de 1}:

insira a descrição da imagem aqui

Referências:

Franck Dernoncourt
fonte
10

Do artigo de Hal Daume [1]:

A configuração de classificação padrão é uma distribuição de entrada p (X) e uma distribuição de rótulo p (Y | X). Adaptação do domínio: quando p (X) muda entre treinamento e teste. Transferência de aprendizado: quando p (Y | X) muda entre treinamento e teste.

Em outras palavras, no DA a distribuição de entrada muda, mas os rótulos permanecem os mesmos; no TL, as distribuições de entrada permanecem as mesmas, mas os rótulos mudam.

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( espelho )
Rahul Jha
fonte
Bem-vindo ao Cross Validated ! Reserve um momento para ver o nosso passeio . É preferível que as respostas sejam independentes com citações apropriadas. Se você usasse as informações do seu link para fornecer uma resposta razoável à pergunta com o link para leitura adicional, essa seria uma resposta muito melhorada.
Tavrock 13/03/19
11
Eu não acredito nessa explicação. Eu não acredito HAL aqui. E se ambosp(Y|X) e p(X)mudar ao mesmo tempo?
homem das cavernas
Eu concordo com @caveman. Para muitos cenários de aprendizado de transferência, esse é o caso.
pir
2

Em toda a literatura sobre transferência de aprendizado, há várias inconsistências terminológicas. Frases como aprendizado de transferência e adaptação de domínio são usadas para se referir a processos semelhantes. A adaptação de domínio é o processo de adaptar um ou mais domínios de origem para os meios de transferência de informações para melhorar o desempenho de um aluno alvo. O processo de adaptação do domínio tenta alterar um domínio de origem na tentativa de aproximar a distribuição da fonte da do destino. Na configuração Adaptação de Domínio, os domínios de origem e de destino têm distribuições marginais diferentes p (X). Segundo a pesquisa de Pan, Transfer Learning é um termo mais amplo que também pode incluir o caso em que há uma diferença nas distribuições condicionais p (Y | X) dos domínios de origem e de destino. Em contraste,

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html
Christos Karatsalos
fonte
Seria possível adicionar uma citação para a "pesquisa de Pan"? Eu acho que tornaria essa resposta mais útil para futuros leitores.
17598 Silverfish
Pan, Sinno Jialin e Qiang Yang. "Uma pesquisa sobre transferência de aprendizado." Transações IEEE sobre conhecimento e engenharia de dados 22, no. 10 (2010): 1345-1359. scholar.google.com/… ; citeseerx.ist.psu.edu/viewdoc/...
Christos Karatsalos