Excluindo linhas duplicadas do banco de dados sqlite

Eu tenho uma tabela enorme - 36 milhões de linhas - no SQLite3. Nesta tabela muito grande, existem duas colunas:

• hash - texto
• d - real

Algumas das linhas são duplicadas. Ou seja, ambos hashe dtêm os mesmos valores. Se dois hashes forem idênticos, os valores de d. No entanto, dois valores idênticos dnão implicam em dois valores idênticos hash.

Quero excluir as linhas duplicadas. Não tenho uma coluna de chave primária.

Qual é a maneira mais rápida de fazer isso?

Você precisa encontrar uma maneira de distinguir as linhas. Com base em seu comentário, você pode usar a coluna especial rowid para isso.

Para excluir duplicatas, mantendo o menor rowidpor (hash,d):

delete   from YourTable
where    rowid not in
         (
         select  min(rowid)
         from    YourTable
         group by
                 hash
         ,       d
         )

Acho que o mais rápido seria usar o próprio banco de dados para isso: adicione uma nova tabela com as mesmas colunas, mas com as restrições adequadas (um índice exclusivo no par hash / real?), Itere através da tabela original e tente inserir registros a nova tabela, ignorando erros de violação de restrição (ou seja, continuar iterando quando as exceções forem levantadas).

Em seguida, exclua a tabela antiga e renomeie a nova para a antiga.

Se adicionar uma chave primária não for uma opção, uma abordagem seria armazenar as duplicatas DISTINCT em uma tabela temporária, excluir todos os registros duplicados da tabela existente e, em seguida, adicionar os registros de volta à tabela original da tabela temporária .

Por exemplo (escrito para SQL Server 2008, mas a técnica é a mesma para qualquer banco de dados):

DECLARE @original AS TABLE([hash] varchar(20), [d] float)
INSERT INTO @original VALUES('A', 1)
INSERT INTO @original VALUES('A', 2)
INSERT INTO @original VALUES('A', 1)
INSERT INTO @original VALUES('B', 1)
INSERT INTO @original VALUES('C', 1)
INSERT INTO @original VALUES('C', 1)

DECLARE @temp AS TABLE([hash] varchar(20), [d] float)
INSERT INTO @temp
SELECT [hash], [d] FROM @original 
GROUP BY [hash], [d]
HAVING COUNT(*) > 1

DELETE O
FROM @original O
JOIN @temp T ON T.[hash] = O.[hash] AND T.[d] = O.[d]

INSERT INTO @original
SELECT [hash], [d] FROM @temp

SELECT * FROM @original

Não tenho certeza se sqlite tem uma ROW_NUMBER()função de tipo, mas se tiver, você também pode tentar algumas das abordagens listadas aqui: Excluir registros duplicados de uma tabela SQL sem uma chave primária