Vi e apreciei a pergunta Compreendendo a análise de componentes principais e agora tenho a mesma pergunta para análise de componentes independentes. Quero dizer, quero fazer uma pergunta abrangente sobre as maneiras intuitivas de entender a ACI?

Eu quero entender isso. Eu quero entender o propósito disso. Eu quero ter a sensação disso. Eu acredito firmemente que:

Você realmente não entende alguma coisa, a menos que possa explicar à sua avó.
-- Albert Einstein

Bem, eu não posso explicar esse conceito para um leigo ou avó

1. Por que a ACI? Qual era a necessidade desse conceito?
2. Como você explicaria isso a um leigo?

Aqui está a minha tentativa.

fundo

Considere os dois casos a seguir.

1. Você é um olho particular em uma festa. De repente, você vê um de seus clientes antigos conversando com alguém e pode ouvir algumas das palavras, mas não completamente, porque também ouve alguém que está ao lado dele, participando de uma discussão não relacionada sobre esportes. Você não quer se aproximar - ele vai te ver. Você decide pegar o telefone do seu parceiro (que está ocupado convencendo que a cerveja não alcoólica do barman é ótima) e plantá-lo cerca de 10 metros ao seu lado. O telefone está gravando e o telefone também grava a conversa do cliente antigo, bem como do esportista que interfere. Você pega o seu próprio telefone e começa a gravar também, de onde está. Após cerca de 15 minutos, você volta para casa com duas gravações: uma da sua posição e a outra a cerca de 10 metros de distância. Ambas as gravações contêm seu antigo cliente e o Sr. Sporty,
2. Você tira uma foto de um cachorro Labrador Retriever que você vê do lado de fora da janela. Você faz o check-out da imagem e, infelizmente, vê um reflexo da janela entre você e o cachorro. Você não pode abrir a janela (é uma daquelas, sim) e não pode sair porque tem medo que ele fuja. Então você tira (por algum motivo obscuro) outra imagem, de uma posição ligeiramente diferente. Você ainda vê o reflexo e o cachorro, mas eles estão em posições diferentes agora, já que você está tirando a foto de um lugar diferente. Observe também que a posição mudou uniformemente para cada pixel da imagem, porque a janela é plana e não côncava / convexa.

A questão é, em ambos os casos, como restaurar a conversa (em 1.) ou a imagem do cachorro (em 2.), dadas as duas imagens que contêm as mesmas duas "fontes", mas com contribuições relativas ligeiramente diferentes de cada uma. . Certamente meu neto educado pode entender isso!

Solução intuitiva

Como podemos, pelo menos em princípio, recuperar a imagem do cachorro de uma mistura? Cada pixel contém valores que são uma soma de dois valores! Bem, se cada pixel fosse dado sem outros pixels, nossa intuição estaria correta - não teríamos sido capazes de adivinhar as contribuições relativas exatas de cada um dos pixels.

No entanto, recebemos um conjunto de pixels (ou pontos no tempo no caso da gravação), que sabemos que mantêm as mesmas relações. Por exemplo, se na primeira imagem, o cachorro é sempre duas vezes mais forte que o reflexo, e na segunda imagem é justamente o oposto, então poderemos obter as contribuições corretas, afinal. E então, podemos encontrar a maneira correta de subtrair as duas imagens em mãos para que o reflexo seja exatamente cancelado! [Matematicamente, isso significa encontrar a matriz inversa da mistura.]

Mergulhando em detalhes

$S_1$$Y_1,Y_2$$S_1=b_{11} Y_1 + b_{12} Y_2$$(b_{11},b_{12})$$S_2$$(b_{21},b_{22})$

Mas como você pode encontrá-lo para sinais gerais? eles podem parecer semelhantes, ter estatísticas semelhantes etc. Então, vamos supor que eles sejam independentes. Isso é razoável se você tiver um sinal de interferência, como ruído, ou se os dois sinais forem imagens, o sinal de interferência pode ser um reflexo de outra coisa (e você tirou duas imagens de ângulos diferentes).

Agora sabemos que $Y_1$$Y_2$$S_1,S_2$$X_1,X_2$

$X_1,X_2$$S_1,S_2$$X_1,X_2$$b_{ij}$$\{a_{ij}\}$$\{b_{ij}\}$$S_i$

$\{b_{ij}\}$$X_1,X_2$

Então, primeiro considere o seguinte: se somarmos vários sinais independentes, não gaussianos, tornamos a soma "mais gaussiana" do que os componentes. Por quê? devido ao teorema do limite central, e você também pode pensar na densidade da soma de dois indep. variáveis, que é a convolução das densidades. Se somarmos vários indep. Nas variáveis ​​de Bernoulli, a distribuição empírica se assemelhará cada vez mais a uma forma gaussiana. Será um verdadeiro gaussiano? provavelmente não (sem trocadilhos), mas podemos medir uma gaussianidade de um sinal pela quantidade que se assemelha a uma distribuição gaussiana. Por exemplo, podemos medir seu excesso de curtose. Se é realmente alto, provavelmente é menos gaussiano do que um com a mesma variação, mas com excesso de curtose perto de zero.

$\{b_{ij}\}$$X_1,X_2$$\{b_{ij}\}$

Obviamente, isso acrescenta outra suposição - os dois sinais precisam ser não-gaussianos para começar.

Muito simples. Imagine que você, sua avó e os membros da família estão reunidos em torno da mesa. Grupos maiores de pessoas tendem a terminar onde o tópico do bate-papo é específico para esse subgrupo. Sua avó fica lá e ouve o barulho de todas as pessoas falando, o que parece ser apenas uma cacofonia. Se ela se voltar para um grupo, poderá isolar claramente as discussões no grupo de adolescentes / jovens; se se voltar para o outro grupo, poderá isolar o bate-papo das pessoas adultas.

Para resumir, a ACI trata de isolar ou extrair um sinal específico (uma pessoa ou um grupo de pessoas falando) de uma mistura de sinais (multidão falando).