SQL WHERE ID IN (id1, id2,…, idn)

Preciso escrever uma consulta para recuperar uma grande lista de IDs.

Nós suportamos muitos back-ends (MySQL, Firebird, SQLServer, Oracle, PostgreSQL ...), então eu preciso escrever um SQL padrão.

O tamanho do conjunto de IDs pode ser grande, a consulta será gerada programaticamente. Então, qual é a melhor abordagem?

1) Escrevendo uma consulta usando IN

SELECT * FROM TABLE WHERE ID IN (id1, id2, ..., idn)

Minha pergunta aqui é. O que acontece se n for muito grande? Além disso, e o desempenho?

2) Escrevendo uma consulta usando OR

SELECT * FROM TABLE WHERE ID = id1 OR ID = id2 OR ... OR ID = idn

Eu acho que essa abordagem não tem n limite, mas e quanto ao desempenho se n for muito grande?

3) Escrevendo uma solução programática:

  foreach (var id in myIdList)
  {
      var item = GetItemByQuery("SELECT * FROM TABLE WHERE ID = " + id);
      myObjectList.Add(item);
  }

Tivemos alguns problemas com essa abordagem quando o servidor de banco de dados é consultado pela rede. Normalmente, é melhor fazer uma consulta que recupere todos os resultados do que fazer muitas consultas pequenas. Talvez eu esteja errado.

Qual seria a solução correta para esse problema?

A opção 1 é a única boa solução.

Por quê?

• A opção 2 faz o mesmo, mas você repete o nome da coluna várias vezes; Além disso, o mecanismo SQL não sabe imediatamente que você deseja verificar se o valor é um dos valores em uma lista fixa. No entanto, um bom mecanismo SQL poderia otimizá-lo para ter um desempenho igual ao anterior IN. Ainda existe o problema de legibilidade ...

• A opção 3 é simplesmente horrível em termos de desempenho. Ele envia uma consulta a cada loop e martela o banco de dados com pequenas consultas. Também impede o uso de otimizações para "o valor é um daqueles em uma determinada lista"

Uma abordagem alternativa pode ser usar outra tabela para conter valores de ID. Essa outra tabela pode ser unida internamente em sua TABLE para restringir as linhas retornadas. Isso terá a grande vantagem de que você não precisará de SQL dinâmico (problemático na melhor das hipóteses) e não terá uma cláusula IN infinitamente longa.

Você truncaria essa outra tabela, insira seu grande número de linhas e, em seguida, talvez crie um índice para ajudar no desempenho da junção. Também permitiria desanexar o acúmulo dessas linhas da recuperação de dados, talvez oferecendo mais opções para ajustar o desempenho.

Atualização : Embora você possa usar uma tabela temporária, não pretendi sugerir que você deva ou deva. Uma tabela permanente usada para dados temporários é uma solução comum com méritos além do descrito aqui.

O que Ed Guiness sugeriu é realmente um impulsionador de desempenho, eu tive uma consulta como esta

select * from table where id in (id1,id2.........long list)

o que eu fiz :

DECLARE @temp table(
            ID  int
            )
insert into @temp 
select * from dbo.fnSplitter('#idlist#')

Então o interior juntou-se ao temp com a tabela principal:

select * from table inner join temp on temp.id = table.id

E o desempenho melhorou drasticamente.

A primeira opção é definitivamente a melhor opção.

SELECT * FROM TABLE WHERE ID IN (id1, id2, ..., idn)

No entanto, considerando que a lista de IDs é muito grande , digamos milhões, considere os tamanhos dos blocos, como abaixo:

• Divida sua lista de IDs em pedaços de número fixo, digamos 100
• O tamanho do pedaço deve ser decidido com base no tamanho da memória do seu servidor
• Suponha que você tenha 10000 IDs, 10000/100 = 100 pedaços
• Processe um pedaço por vez, resultando em 100 chamadas de banco de dados para seleção

Por que você deve se dividir em pedaços?

Você nunca receberá uma exceção de estouro de memória, o que é muito comum em cenários como o seu. Você terá um número otimizado de chamadas ao banco de dados, resultando em melhor desempenho.

Sempre funcionou como charme para mim. Espero que funcione para os meus colegas desenvolvedores também :)

A execução do comando SELECT * FROM MyTable where id in () em uma tabela SQL do Azure com 500 milhões de registros resultou em um tempo de espera de> 7min!

Fazer isso retornou resultados imediatamente:

select b.id, a.* from MyTable a
join (values (250000), (2500001), (2600000)) as b(id)
ON a.id = b.id

Use uma associação.

Na maioria dos sistemas de banco de dados, IN (val1, val2, …)e uma série de ORsão otimizados para o mesmo plano.

A terceira maneira seria importar a lista de valores para uma tabela temporária e juntá-la, o que é mais eficiente na maioria dos sistemas, se houver muitos valores.

Você pode ler estes artigos:

• Passando parâmetros no MySQL: lista IN vs. tabela temporária

A amostra 3 seria a pior de todas, porque você está acessando o banco de dados inúmeras vezes sem motivo aparente.

Carregar os dados em uma tabela temporária e depois ingressar nela seria de longe o mais rápido. Depois disso, o IN deve funcionar um pouco mais rápido que o grupo de ORs.

Eu acho que você quer dizer SqlServer, mas no Oracle você tem um limite rígido de quantos elementos IN você pode especificar: 1000.