Excluir registros duplicados no PostgreSQL

Eu tenho uma tabela em um banco de dados PostgreSQL 8.3.8, que não possui chaves / restrições e possui várias linhas com exatamente os mesmos valores.

Eu gostaria de remover todas as duplicatas e manter apenas 1 cópia de cada linha.

Há uma coluna em particular (chamada "chave") que pode ser usada para identificar duplicatas (ou seja, deve haver apenas uma entrada para cada "chave" distinta).

Como posso fazer isso? (de preferência com um único comando SQL) A velocidade não é um problema neste caso (existem apenas algumas linhas).

DELETE FROM dupes a
WHERE a.ctid <> (SELECT min(b.ctid)
                 FROM   dupes b
                 WHERE  a.key = b.key);

Uma solução mais rápida é

DELETE FROM dups a USING (
      SELECT MIN(ctid) as ctid, key
        FROM dups 
        GROUP BY key HAVING COUNT(*) > 1
      ) b
      WHERE a.key = b.key 
      AND a.ctid <> b.ctid

Isso é rápido e conciso:

DELETE FROM dupes T1
    USING   dupes T2
WHERE   T1.ctid < T2.ctid  -- delete the older versions
    AND T1.key  = T2.key;  -- add more columns if needed

Veja também minha resposta em Como excluir linhas duplicadas sem identificador exclusivo, que inclui mais informações.

Eu tentei isso:

DELETE FROM tablename
WHERE id IN (SELECT id
              FROM (SELECT id,
                             ROW_NUMBER() OVER (partition BY column1, column2, column3 ORDER BY id) AS rnum
                     FROM tablename) t
              WHERE t.rnum > 1);

fornecido pelo wiki Postgres:

https://wiki.postgresql.org/wiki/Deleting_duplicates

Tive que criar minha própria versão. A versão escrita por @a_horse_with_no_name é muito lenta na minha tabela (21 milhões de linhas). E @rapimo simplesmente não exclui cópias.

Aqui está o que eu uso no PostgreSQL 9.5

DELETE FROM your_table
WHERE ctid IN (
  SELECT unnest(array_remove(all_ctids, actid))
  FROM (
         SELECT
           min(b.ctid)     AS actid,
           array_agg(ctid) AS all_ctids
         FROM your_table b
         GROUP BY key1, key2, key3, key4
         HAVING count(*) > 1) c);

Eu usaria uma mesa temporária:

create table tab_temp as
select distinct f1, f2, f3, fn
  from tab;

Em seguida, exclua tabe renomeie tab_temppara tab.

Outra abordagem (funciona apenas se você tiver qualquer campo único como idem sua tabela) para encontrar todos os ids únicos por colunas e remover outros ids que não estão na lista única

DELETE
FROM users
WHERE users.id NOT IN (SELECT DISTINCT ON (username, email) id FROM users);

E se:

COM
  u AS (SELECIONE DISTINTO * DE sua_tabela),
  x AS (DELETE FROM your_table)
INSERT INTO your_table SELECT * FROM u;

Eu estava preocupado com a ordem de execução, se DELETE aconteceria antes de SELECT DISTINCT, mas funciona bem para mim. E tem a vantagem adicional de não precisar de nenhum conhecimento sobre a estrutura da tabela.

Isto funcionou bem para mim. Eu tinha uma tabela de termos que continha valores duplicados. Executou uma consulta para preencher uma tabela temporária com todas as linhas duplicadas. Em seguida, executei a instrução a delete com esses ids na tabela temporária. valor é a coluna que continha as duplicatas.

        CREATE TEMP TABLE dupids AS
        select id from (
                    select value, id, row_number() 
over (partition by value order by value) 
    as rownum from terms
                  ) tmp
                  where rownum >= 2;

delete from [table] where id in (select id from dupids)

Aqui está uma solução usando PARTITION BY:

DELETE FROM dups
USING (
  SELECT
    ctid,
    (ctid != min(ctid) OVER (PARTITION BY key_column1, key_column2 [...])) AS is_duplicate
  FROM dups 
) dups_find_duplicates
WHERE dups.ctid == dups_find_duplicates.ctid
AND dups_find_duplicates.is_duplicate