Eu estava curioso. E, como todos sabemos, a curiosidade tem a reputação de matar gatos.
Então, qual é a maneira mais rápida de esfolar um gato?
O ambiente preciso de pele de gato para este teste:
- PostgreSQL 9.0 no Debian Squeeze com RAM e configurações decentes.
- 6.000 alunos, 24.000 membros do clube (dados copiados de um banco de dados semelhante com dados da vida real.)
- Ligeiro desvio do esquema de nomenclatura na questão:
student.id
é student.stud_id
e club.id
éclub.club_id
aqui.
- Nomeei as consultas com o nome de seu autor neste tópico, com um índice onde há dois.
- Executei todas as consultas algumas vezes para preencher o cache, então escolhi a melhor de 5 com EXPLAIN ANALYZE.
Índices relevantes (devem ser os melhores - desde que não tenhamos conhecimento prévio de quais clubes serão consultados):
ALTER TABLE student ADD CONSTRAINT student_pkey PRIMARY KEY(stud_id );
ALTER TABLE student_club ADD CONSTRAINT sc_pkey PRIMARY KEY(stud_id, club_id);
ALTER TABLE club ADD CONSTRAINT club_pkey PRIMARY KEY(club_id );
CREATE INDEX sc_club_id_idx ON student_club (club_id);
club_pkey
não é exigido pela maioria das consultas aqui.
As chaves primárias implementam índices únicos automaticamente no PostgreSQL.
O último índice é para compensar esta deficiência conhecida de índices com várias colunas no PostgreSQL:
Um índice de árvore B com várias colunas pode ser usado com condições de consulta que envolvem qualquer subconjunto das colunas do índice, mas o índice é mais eficiente quando há restrições nas colunas iniciais (mais à esquerda).
Resultados:
Tempo de execução total de EXPLAIN ANALYZE.
1) Martin 2: 44,594 ms
SELECT s.stud_id, s.name
FROM student s
JOIN student_club sc USING (stud_id)
WHERE sc.club_id IN (30, 50)
GROUP BY 1,2
HAVING COUNT(*) > 1;
2) Erwin 1: 33,217 ms
SELECT s.stud_id, s.name
FROM student s
JOIN (
SELECT stud_id
FROM student_club
WHERE club_id IN (30, 50)
GROUP BY 1
HAVING COUNT(*) > 1
) sc USING (stud_id);
3) Martin 1: 31,735 ms
SELECT s.stud_id, s.name
FROM student s
WHERE student_id IN (
SELECT student_id
FROM student_club
WHERE club_id = 30
INTERSECT
SELECT stud_id
FROM student_club
WHERE club_id = 50);
4) Derek: 2,287 ms
SELECT s.stud_id, s.name
FROM student s
WHERE s.stud_id IN (SELECT stud_id FROM student_club WHERE club_id = 30)
AND s.stud_id IN (SELECT stud_id FROM student_club WHERE club_id = 50);
5) Erwin 2: 2,181 ms
SELECT s.stud_id, s.name
FROM student s
WHERE EXISTS (SELECT * FROM student_club
WHERE stud_id = s.stud_id AND club_id = 30)
AND EXISTS (SELECT * FROM student_club
WHERE stud_id = s.stud_id AND club_id = 50);
6) Sean: 2,043 ms
SELECT s.stud_id, s.name
FROM student s
JOIN student_club x ON s.stud_id = x.stud_id
JOIN student_club y ON s.stud_id = y.stud_id
WHERE x.club_id = 30
AND y.club_id = 50;
Os três últimos têm praticamente o mesmo desempenho. 4) e 5) resultam no mesmo plano de consulta.
Adições tardias:
SQL extravagante, mas o desempenho não consegue acompanhar.
7) ypercube 1: 148.649 ms
SELECT s.stud_id, s.name
FROM student AS s
WHERE NOT EXISTS (
SELECT *
FROM club AS c
WHERE c.club_id IN (30, 50)
AND NOT EXISTS (
SELECT *
FROM student_club AS sc
WHERE sc.stud_id = s.stud_id
AND sc.club_id = c.club_id
)
);
8) ypercube 2: 147,497 ms
SELECT s.stud_id, s.name
FROM student AS s
WHERE NOT EXISTS (
SELECT *
FROM (
SELECT 30 AS club_id
UNION ALL
SELECT 50
) AS c
WHERE NOT EXISTS (
SELECT *
FROM student_club AS sc
WHERE sc.stud_id = s.stud_id
AND sc.club_id = c.club_id
)
);
Como esperado, esses dois desempenham quase o mesmo. O plano de consulta resulta em varreduras de tabela, o planejador não encontra uma maneira de usar os índices aqui.
9) wildplasser 1: 49,849 ms
WITH RECURSIVE two AS (
SELECT 1::int AS level
, stud_id
FROM student_club sc1
WHERE sc1.club_id = 30
UNION
SELECT two.level + 1 AS level
, sc2.stud_id
FROM student_club sc2
JOIN two USING (stud_id)
WHERE sc2.club_id = 50
AND two.level = 1
)
SELECT s.stud_id, s.student
FROM student s
JOIN two USING (studid)
WHERE two.level > 1;
SQL extravagante, desempenho decente para um CTE. Plano de consulta muito exótico.
Novamente, seria interessante como o 9.1 lida com isso. Vou atualizar o cluster db usado aqui para 9.1 em breve. Talvez eu reexecute a coisa toda ...
10) wildplasser 2: 36,986 ms
WITH sc AS (
SELECT stud_id
FROM student_club
WHERE club_id IN (30,50)
GROUP BY stud_id
HAVING COUNT(*) > 1
)
SELECT s.*
FROM student s
JOIN sc USING (stud_id);
Variante CTE da consulta 2). Surpreendentemente, isso pode resultar em um plano de consulta ligeiramente diferente com exatamente os mesmos dados. Encontrei uma varredura sequencial em student
, onde a variante de subconsulta usou o índice.
11) ypercube 3: 101.482 ms
Outra adição tardia, @ypercube. É positivamente incrível, quantas maneiras existem.
SELECT s.stud_id, s.student
FROM student s
JOIN student_club sc USING (stud_id)
WHERE sc.club_id = 10 -- member in 1st club ...
AND NOT EXISTS (
SELECT *
FROM (SELECT 14 AS club_id) AS c -- can't be excluded for missing the 2nd
WHERE NOT EXISTS (
SELECT *
FROM student_club AS d
WHERE d.stud_id = sc.stud_id
AND d.club_id = c.club_id
)
)
12) erwin 3: 2,377 ms
@ ypercube's 11) é, na verdade, apenas a abordagem reversa doentia dessa variante mais simples, que também estava faltando. Tem um desempenho quase tão rápido quanto os melhores.
SELECT s.*
FROM student s
JOIN student_club x USING (stud_id)
WHERE sc.club_id = 10 -- member in 1st club ...
AND EXISTS ( -- ... and membership in 2nd exists
SELECT *
FROM student_club AS y
WHERE y.stud_id = s.stud_id
AND y.club_id = 14
)
13) erwin 4: 2,375 ms
Difícil de acreditar, mas aqui está outra variante genuinamente nova. Vejo potencial para mais de duas associações, mas também está entre os principais felinos, com apenas duas.
SELECT s.*
FROM student AS s
WHERE EXISTS (
SELECT *
FROM student_club AS x
JOIN student_club AS y USING (stud_id)
WHERE x.stud_id = s.stud_id
AND x.club_id = 14
AND y.club_id = 10
)
Número dinâmico de membros do clube
Em outras palavras: número variável de filtros. Esta pergunta pedia exatamente duas associações de clube. Mas muitos casos de uso precisam se preparar para um número variável.
Discussão detalhada nesta resposta posterior relacionada:
(student_id, club_id)
índice (ou o inverso).fonte
fonte
Se você quer apenas student_id, então:
Se você também precisa do nome do aluno:
Se você tiver mais de dois clubes em uma tabela club_selection:
fonte
Ou uma solução mais geral mais fácil de estender para
n
clubes e que evitaINTERSECT
(não disponível no MySQL) eIN
(já que o desempenho disso é péssimo no MySQL )fonte
HAVING
faz no MySQL.Outro CTE. Parece limpo, mas provavelmente irá gerar o mesmo plano que um groupby em uma subconsulta normal.
Para quem quiser testar, uma cópia do meu objeto de gerar dados de teste:
fonte
Portanto, há mais de uma maneira de esfolar um gato .
Vou adicionar mais dois para torná-lo, bem, mais completo.
1) GRUPO primeiro, JUNTE-SE depois
Assumindo um modelo de dados sane onde
(student_id, club_id)
é única nostudent_club
. A segunda versão de Martin Smith é algo semelhante, mas ele se junta primeiro aos grupos depois. Isso deve ser mais rápido:2) EXISTE
E, claro, existe o clássico
EXISTS
. Semelhante à variante de Derek comIN
. Simples e rápido. (No MySQL, isso deve ser um pouco mais rápido do que a variante comIN
):fonte
Como ninguém adicionou esta versão (clássica):
ou similar:
Mais uma tentativa com uma abordagem ligeiramente diferente. Inspirado por um artigo em Explain Extended: vários atributos em uma tabela EAV: GROUP BY vs. NOT EXISTS :
Outra abordagem:
fonte
(stud_id, club_id)
e(club_id, stud_id)
(ou Primária e Única)? Ainda acho que, para algumas dessas consultas, a diferença de 2 a 140 ms é muito alta para ser explicada pelas diferenças nos planos de execução.Isso parece funcionar razoavelmente bem, uma vez que o CTE-scan evita a necessidade de duas subconsultas separadas.
Sempre há um motivo para o uso indevido de consultas recursivas!
(BTW: mysql não parece ter consultas recursivas)
fonte
Planos de consulta diferentes na consulta 2) e 10)
Eu testei em um banco de dados real, então os nomes são diferentes da lista de gatos. É uma cópia de backup, portanto, nada mudou durante todas as execuções de teste (exceto pequenas alterações nos catálogos).
Consulta 2)
Consulta 10)
fonte
@ erwin-brandstetter Por favor, compare isto:
É como o número 6) por @sean, apenas mais limpo, eu acho.
fonte
@
notificação funciona apenas nos comentários, não nas respostas. Eu tropecei neste post por acaso. O plano de consulta e o desempenho de sua consulta são idênticos aos da consulta de Sean. É efetivamente o mesmo, mas a consulta de Sean comJOIN
sintaxe explícita é a forma geralmente preferida, porque é mais clara. 1 para mais uma resposta válida!O plano de consulta:
Portanto, ainda parece querer a varredura de seq no aluno.
fonte
Uso da variante mais rápida (Sr. Sean no gráfico do Sr. Brandstetter). Pode ser uma variante com apenas uma junção para apenas a matriz student_club ter o direito de viver. Portanto, a consulta mais longa terá apenas duas colunas para calcular, a ideia é tornar a consulta fina.
fonte