Aplicação segura de métodos iterativos em matrizes diagonalmente dominantes

Suponha que o sistema linear a seguir seja dado que é o Laplaciano ponderado conhecido como positivo definido, com um espaço nulo unidimensional abrangido por , e a variação de conversão de , ou seja, não altera o valor da função (cuja derivada é ). As únicas entradas positivas de estão na diagonal, que é um somatório dos valores absolutos das entradas negativas fora da diagonal.

\begin{matrix} (1) & L x = c, \end{matrix}

$Lx=c,\tag1$

L

$L$

s e m i -

$semi-$

1_{n} = (1, \dots, 1) \in R^{n}

$1_n=(1,\dots,1)\in\mathbb{R}^n$

x \in R^{n}

$x\in\mathbb{R}^{n}$

x + a 1_{n}

$x+a1_n$

(1)

$(1)$

L

$L$

Descobri em um trabalho acadêmico altamente citado em seu campo que, embora seja diagonalmente dominante, métodos como o Gradiente Conjugado, Gauss-Seidl, Jacobi ainda poderiam ser usados com segurança para resolver . A lógica é que, devido à invariância da tradução, é seguro fixar um ponto (por exemplo, remova a primeira linha e coluna de e a primeira entrada de ), convertendo em uma matriz diagonalmente dominante. De qualquer forma, o sistema original é resolvido na forma completa de , com . $L$ $not~strictly$ $(1)$ $L$ $c$ $L$ $strictly$ $(1)$ $L\in\mathbb{R}^{n\times n}$

Esta suposição está correta e, em caso afirmativo, qual é a lógica alternativa? Estou tentando entender como a convergência dos métodos ainda se mantém.

Se o método de Jacobi é convergente com , o que se poderia afirmar sobre o raio espectral da matriz de iteração , onde é a matriz diagonal com entradas de na diagonal? É , portanto diferente das garantias gerais de convergência para ? Estou perguntando isso, já que os valores próprios dos A matriz laplaciana com as na diagonal deve estar no intervalo . $(1)$ $\rho$ $D^{-1}(D-L)$ $D$ $L$ $\rho(D^{-1}(D-L)\leq1$ $\rho(D^{-1}(D-L))<1$ $D^{-1}L$ $[0, 2]$

Do trabalho original:

......................................

Em cada iteração, calculamos um novo layout (x (t +1), y (t + 1)) resolvendo o seguinte sistema linear: Sem perda de generalidade, podemos fixar a localização de um dos os sensores (utilizando o grau de liberdade de translação da tensão localizada) e obtêm uma matriz estritamente diagonal dominante. Portanto, podemos usar com segurança a iteração de Jacobi para resolver (8)

\begin{matrix} (8) & L \cdot x (t + 1) = L (x (t), y (t)) \cdot x (t) L \cdot y (t + 1) = L (x (t), y (t)) \cdot y (t) \end{matrix}

$L · x(t + 1) = L(x(t),y(t)) · x(t) \\ L · y(t + 1) = L(x(t),y(t)) · y(t) \tag 8$

.......................................

Acima, a noção de "iteração" está relacionada ao procedimento de minimização subjacente e não deve ser confundida com a iteração de Jacobi. Portanto, o sistema é resolvido por Jacobi (iterativamente) e, em seguida, a solução é comprada no lado direito de (8), mas agora para outra iteração da minimização subjacente. Espero que isso esclareça o assunto.

Observe que eu achei Quais solucionadores lineares iterativos convergem para matrizes semidefinidas positivas? , mas estou procurando uma resposta mais elaborada.

linear-algebra optimization iterative-method matrix linear-solver usero
fonte

Você poderia postar um link ou uma citação no trabalho mais citado?

precisa

Ele pode ser recuperado de: citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.164.1421 Como não se espera que você leia todo o trabalho, dê uma olhada na p.7 (abaixo). Suponho que a escolha de solucionadores iterativos seja justificada, mas sinto que é necessária uma lógica melhor (ou, pelo menos, diferente).

usero

Eu me pergunto se esses caras são da mesma comunidade que os pré-condicionadores combinatórios.

shuhalo

Respostas:

A iteração Jacobi pode ser comprovada convergente.

A primeira coisa que você deve ter certeza é que , que é a condição para a existência de solução (presumo , caso contrário, você precisa ), porque você disse . Usaremos a convenção de que $c^T \mathbf{1}_n = 0$ $L=L^T$ $c\in (\mathrm{Ker} L^T)^\perp$ $V_0:=\mathrm{Ker} L = \mathrm{span}\{\mathbf{1}_n\}$ $V_0$ é também a matriz com colunas sendo a base ortonormal dela. No seu caso, . $V_0:=\mathbf{1}_n/\sqrt{n}$

Então, para os erros da iteração Jacobi no sistema original, você tem onde

e_{1} = (I - D^{- 1} L) e_{0} = (I - D^{- 1} L) (P e_{0} + V_{0} a) = (I - D^{- 1} L) P e_{0} + V_{0} a,

$e_1 = (I-D^{-1}L)e_0 = (I-D^{-1}L) (P e_0 + V_0a)=(I-D^{-1}L) P e_0 + V_0a,$

é a projeção ortogonal em

. A partir da iteração acima, sabemos que

da qual temos a matriz de iteração

Isso não

P := I - V_{0} V_{0}^{'}

$P:=I-V_0V_0'$

V_{1} := V_{0}^{⊥}

$V_1:=V_0^\perp$

P e_{1} = P (I - D^{- 1} L) P e_{0},

$P e_1 = P (I-D^{-1}L) P e_0,$

S

$S$

V_{1}

$V_1$

S := P (I - D^{- 1} L) P .

$S: = P (I-D^{-1}L) P.$

tem o mesmo espectro (exceto zeros) com a seguinte matriz

S

$S$

Queremos que o raio espectral de

menor que um para provar a convergência.

\tilde{S} := (I - D^{- 1} L) P P = (I - D^{- 1} L) P = (I - D^{- 1} L) (I - V_{0} V_{0}^{'}) = I - D^{- 1} L - V_{0} V_{0}^{'} .

$\tilde{S}:= (I-D^{-1}L) P P=(I-D^{-1}L) P=(I-D^{-1}L)(I-V_0V_0')\\ =I-D^{-1}L-V_0V_0'.$

S

$S$

A citação a seguir é antiga e mantida apenas para referência. Veja depois para a nova prova.

No seu caso, E você pode verificar se é estritamente diagonal-dominante usando a suposição de que as entradas desão positivas na diagonal e negativas em caso contrário. Para mostrar os autovalores de são reais, notamos que a matriz é auto-adjunta sob o produto interno $V_0V_0'=\frac{1}{n}\mathbf{1}_{n\times n}.$ $D^{-1}L+V_0V_0'$ $L$ $D^{-1}L+V_0V_0'$ $<x,y>:=y^TDx.$

Se não estiver no seu formulário específico, não encontrei uma resposta para a questão da convergência. Alguém poderia esclarecer isso? $V_0$

Note-se que é o eigen-vector correspondente ao valor próprio de . Com base na observação, chamamos o Teorema 2.1 de Autovalores de matrizes atualizadas de primeiro nível com algumas aplicações de Jiu Ding e Ai-Hui Zhou. $V_0$ $1$ $I-D^{-1}L$

Teorema 2,1 Vamos e ser dois vectores de coluna -dimensional tal que é um vector próprio de associada com valores próprios . Então, os autovalores de são contando a multiplicidade algébrica. $u$ $v$ $n$ $u$ $A$ $\lambda_1$ $A+uv^T$ $\{\lambda_1+u^Tv,\lambda_2,\ldots,\lambda_n\}$

Em seguida, sabemos que os espectros de é o mesmo que , excepto que o valor próprio neste último é deslocado por para o valor próprio zero no ex. Como , temos . $\tilde{S}$ $I-D^{-1}L$ $1$ $-1$ $\rho(I-D^{-1}L)\subset (-1,1]$ $\rho(\tilde{S})\subset (-1,1)$

Hui Zhang
fonte

Obrigado por responder. Algo semelhante foi o que eu considerei: a saber, com o Laplaciano ponderado estruturado como o

acima, pode ser mostrado que seus autovalores estão dentro de

, portanto, com o raio espectral dentro

(um valor próprio é maior que

e pelo menos um é

). Portanto, o raio espectral da matriz de iteração

é menor que

, portanto, com Jacobi convergente. Talvez a suposição acima no raio espectral de

D^{- 1} L

$D^{-1}L$

[0, 2)

$[0, 2)$

(0, 2)

$(0, 2)$

0

$0$

0

$0$

I - D^{- 1} L

$I-D^{-1}L$

1

$1$

(excluindo

) não é seguro?

I - D^{- 1} L

$I-D^{-1}L$

0

$0$

usero

Eu acho que o espectro de

deve estar em

, que é fechado em

. Eu não sei como você pode obter

excluídos. Do meu ponto de vista, o (teorema do círculo de Gershgorin) [ en.wikipedia.org/wiki/Gershgorin_circle_theorem] só pode fornecer a estimativa, incluindo

. Se for esse o caso, a estimativa do raio espectral de

com a igualdade alcançável com os vetores no núcleo de

D^{- 1} L

$D^{-1}L$

[0, 2]

$[0,2]$

2

$2$

2

$2$

2

$2$

I - D^{- 1} L

$I-D^{-1}L$

\leq 1

$\leq 1$

L

$L$ . Eu acho que a convergência que você quer é que no espaço ortogonal do complemento

como observado na 'resposta' acima.

V_{1}

$V_1$

Hui Zhang

Você pode dar uma olhada no Lema 1.7 (v) de math.ucsd.edu/~fan/research/cb/ch1.pdf A matriz

pode ser considerada como um Laplaciano ponderado em um gráfico completo, portanto, com

excluídos . Eu acho que é um argumento suficiente para a prova de convergência? ............ Sua abordagem requer outro pré / pós-processamento das iterações além da centralização

. Estou perguntando porque você introduziu

E em relação aos espectros de

: dado que o raio espectral (

) de

D^{- 1} L

$D^{−1}L$

2

$2$

c

$c$

V_{0}

$V_0$

I - D^{- 1} L - V_{0} V_{0}^{'}

$I-D^{-1}L-V_0V_0'$

s r

$sr$

, a adição de

I - D^{- 1} L

$I-D^{-1}L$

(0, 1]

$(0, 1]$

, produziria

. Este argumento não é bom o suficiente?

- \frac{1}{n}

$-\frac{1}{n}$

s r < 1

$sr<1$

usero

Olá, obrigado por apontar para um bom livro. Mas descobri que não posso dar uma olhada rápida. Sobre o seu último argumento, ele aparece quase o mesmo que a "resposta" acima. Apenas tenha cuidado, você não está adicionando

mas

\frac{1}{n}

$\frac{1}{n}$

, por isso, não é uma simples adição aos

. Geralmente, o

da soma de duas matrizesnãoéuma soma simples dos

's das matrizes individuais.

\frac{1}{n} 1_{n \times n}

$\frac{1}{n}\mathbf{1}_{n\times n}$

s r

$sr$

I - D^{- 1} L

$I-D^{-1}L$

s r

$sr$

s r

$sr$

Hui Zhang

Bom que você apontou isso. Sua abordagem requer outro pré / pós-processamento das iterações além da centralização c. Estou perguntando porque você introduziu o

e pensei que estava falando em projetar o espaço nulo. Em caso afirmativo, a projeção é o espaço nulo realmente necessário para a convergência?

V_{0}

$V_0$

usero

Os métodos de Krylov nunca usam explicitamente a dimensionalidade do espaço em que iteram; portanto, você pode executá-los em sistemas singulares, desde que mantenha as iterações no subespaço não nulo. Isso normalmente é feito projetando o espaço nulo em cada iteração. Há duas coisas que podem dar errado: a primeira é muito mais comum que a segunda.

O pré-condicionador é instável quando aplicado ao operador singular. Os solucionadores diretos e a fatoração incompleta podem ter essa propriedade. Por uma questão prática, apenas escolhemos diferentes pré-condicionadores, mas existem maneiras mais básicas de projetar pré-condicionadores para sistemas singulares, por exemplo, Zhang (2010) .
Em alguma iteração, está no subespaço não nulo, mas vive inteiramente no espaço nulo. Isso só é possível com matrizes não simétricas. O GMRES não modificado divide-se nesse cenário, mas consulte Reichel e Ye (2005) para obter variantes livres de discriminação. $x$ $A x$

Para resolver sistemas singulares usando o PETSc, consulte KSPSetNullSpace(). A maioria dos métodos e pré-condicionadores pode resolver sistemas singulares. Na prática, o pequeno espaço nulo para PDEs com condições de contorno de Neumann quase nunca é um problema, desde que você informe o solucionador de Krylov do espaço nulo e escolha um pré-condicionador razoável.

Pelos comentários, parece que você está especificamente interessado em Jacobi. (Por que? Jacobi é útil como um multigrid suave, mas existem métodos muito melhores para usar como solucionadores.) Jacobi aplicado a não converge quando o vetor tem um componente no espaço nulo de , no entanto, o parte da solução ortogonal ao espaço nulo converge; portanto, se você projetar o espaço nulo de cada iteração, ele convergirá. Como alternativa, se você escolher um consistente e uma estimativa inicial, as iterações (na aritmética exata) não acumulam componentes no espaço nulo. $A x = b$ $b$ $A$ $b$

Jed Brown
fonte

Q

$Q$

A_{1} = Q^{T} A Q

$A_1 = Q^T A Q$

A_{1}

$A_1$

A_{1}

$A_1$

Z

$Z$

(I - Z) P^{- 1} A x = (I - Z) P^{- 1} b

$(I-Z)P^{-1} A x = (I-Z)P^{-1} b$

Hmm, parece que eu respondi a um comentário que foi excluído. Deixarei o comentário aqui, caso seja útil.

Jed Brown

d i a g (A)

$diag(A)$

X_{k + 1} = D^{- 1} (b - (A - D) X_{k})

$X_{k+1}=D^{-1}(b-(A-D)X_k)$

X_{k + 1}

$X_{k+1}$

X_{k}

$X_{k}$ ?

usero

In a reasonable basis, Jacobi should be stable. It can also use 1 on the diagonal if the diagonal matrix element is 0, the projection still removes the null space. Are you planning to use a Krylov method like CG or GMRES? If not, why not? If you are, you just need an orthogonal basis for the null space. You only have the constant mode in your null space, so an orthogonal projector into the null space is

N = Z Z^{T}

$N=ZZ^T$ where

Z

$Z$ is the column vector. The orthogonal projector that removes the null space is thus

I - N

$I-N$ . (My first comment had a mistake, if

Z

$Z$ is the basis,

N = I - Z Z^{T}

$N=I-ZZ^T$ is the projector.)

Jed Brown