Independência linear versus independência estatística (PCA e ICA)

Estou lendo este artigo interessante sobre a aplicação da ICA aos dados de expressão gênica.

Os autores escrevem:

[T] aqui não é necessário que os componentes do PCA sejam estatisticamente independentes.

Isso é verdade, mas os PCs são ortogonais, não são?

Estou um pouco confuso sobre qual é a relação entre inedpendência estatística e ortogonalidade ou independência linear.

Vale ressaltar que, embora a ACI também forneça uma decomposição linear da matriz de dados, o requisito de independência estatística implica que a matriz de covariância dos dados seja correlacionada de forma não linear, em contraste com o PCA, onde a correlação é realizada linearmente.

Eu não entendo isso. Como a falta de linearidade decorre da independência estatística?

Pergunta: como a independência estatística de componentes na ACI se relaciona com a independência linear de componentes na APC?

É provável que isso seja uma duplicata de algumas perguntas mais antigas, mas responderei brevemente.

Para uma explicação não técnica, acho bastante útil essa figura no artigo da Wikipedia sobre Correlação e dependência :

Os números acima de cada gráfico de dispersão mostram coeficientes de correlação entre X e Y. Veja a última linha: em cada gráfico de dispersão, a correlação é zero, ou seja, X e Y são "linearmente independentes". No entanto, eles obviamente não são estatisticamente independentes: se você souber o valor de X, poderá restringir os possíveis valores de Y. Se X e Y fossem independentes, isso significaria que conhecer X não diz nada sobre Y.

O objetivo da ICA é tentar encontrar componentes independentes. No PCA, você obtém apenas componentes não correlacionados ("ortogonais"); a correlação entre eles é zero, mas eles podem muito bem ser estatisticamente dependentes.