Existe alguma diferença entre supervisão distante, auto-treinamento, aprendizado auto-supervisionado e supervisão fraca?

Pelo que li:

Supervisão distante :

A Distant supervision algorithm usually has the following steps: 
1] It may have some labeled training data 
2] It "has" access to a pool of unlabeled data 
3] It has an operator that allows it to sample from this unlabeled 
   data and label them and this operator is expected to be noisy in its labels 
4] The algorithm then collectively utilizes the original labeled training data
    if it had and this new noisily labeled data to give the final output.

Auto-treinamento :

Auto-aprendizagem ( Yates, Alexander, et al. "Textrunner: extração aberta de informações na Web." Procedimentos de Tecnologias da Linguagem Humana: A Conferência Anual do Capítulo Norte-Americano da Associação de Linguística Computacional: Demonstrações. Associação de Linguística Computacional, 2007. ):

O aluno opera em duas etapas. Primeiro, ele rotula automaticamente seus próprios dados de treinamento como positivos ou negativos. Segundo, ele usa esses dados rotulados para treinar um classificador Naive Bayes.

Supervisão fraca (Hoffmann, Raphael, et al. "Supervisão fraca baseada no conhecimento para extração de informações de relações sobrepostas." .):

Uma abordagem mais promissora, geralmente chamada de supervisão "fraca" ou "distante", cria seus próprios dados de treinamento, correspondendo heuristicamente o conteúdo de um banco de dados ao texto correspondente.

Tudo soa o mesmo para mim, com a exceção de que o autotreinamento parece ser um pouco diferente, pois a heurística de rotulagem é o classificador treinado e existe um loop entre a fase de rotulagem e a fase de treinamento do classificador. No entanto, Yao, Limin, Sebastian Riedel e Andrew McCallum. " Extração coletiva de relação entre documentos sem dados rotulados " . Anais da Conferência de 2010 sobre Métodos Empíricos no Processamento de Linguagem Natural. Association for Computational Linguistics, 2010. afirmam que supervisão distante == auto-treinamento == supervisão fraca.

Além disso, existem outros sinônimos ?

Existem dois aspectos para todos os termos diferentes que você forneceu: 1] Processo de obtenção de dados de treinamento 2] Algoritmo que treina $f$ ou o classificador

O algoritmo que treina $f$, independentemente de como os dados de treinamento são obtidos, é supervisionado. A diferença na supervisão distante, na auto-aprendizagem, na auto-supervisão ou na supervisão fraca, reside exclusivamente na maneira como os dados do treinamento são obtidos.

Tradicionalmente, em qualquer documento de aprendizado de máquina sobre aprendizado supervisionado, seria possível concluir que o documento implica implicitamente que os dados de treinamento estão disponíveis e, por qual valor, geralmente se supõe que os rótulos sejam precisos e que não há ambiguidade nos rótulos. que são dadas às instâncias nos dados de treinamento. No entanto, com documentos de supervisão distantes / fracos, as pessoas perceberam que seus dados de treinamento têm rótulos imprecisos e o que eles geralmente destacam em seu trabalho é que obtêm bons resultados, apesar da óbvia desvantagem do uso de rótulos imprecisos (e podem ter outras formas algorítmicas para superar a questão de etiquetas imprecisas, com processo de filtragem adicional etc., e geralmente os jornais gostariam de destacar que esses processos adicionais são importantes e úteis). Isso deu origem aos termos "fraco" ou "distante" para indicar que os rótulos nos dados de treinamento são imprecisos. Observe que isso não afeta necessariamente o aspecto de aprendizagem do classificador. O classificador que esses caras usam ainda implica implicitamente que os rótulos são precisos e o algoritmo de treinamento quase nunca é alterado.

O auto-treinamento, por outro lado, é algo especial nesse sentido. Como você já observou, ele obtém seus rótulos de seu próprio classificador e possui um loop de feedback para correção. Geralmente, estudamos classificadores supervisionados sob uma visão um pouco grande de algoritmos "indutivos", em que o classificador aprendido é uma inferência indutiva feita a partir dos dados de treinamento sobre todos os dados. As pessoas estudaram outra forma, que chamamos de inferência transdutiva, em que uma inferência indutiva geral não é a saída do algoritmo, mas o algoritmo coletivamente recebe os dados de treinamento e de teste como entrada e produz rótulos nos dados de teste. No entanto, as pessoas pensaram por que não usar a inferência transdutiva na aprendizagem indutiva para obter um classificador com dados de treinamento maiores.

Felizmente, não o confundi mais, fique à vontade para comentar e pedir mais esclarecimentos, se necessário.

[1] Pode ser útil - http://www.is.tuebingen.mpg.de/fileadmin/user_upload/files/publications/pdf2527.pdf