Usuń zduplikowane rekordy w PostgreSQL

Mam tabelę w bazie danych PostgreSQL 8.3.8, która nie ma kluczy / ograniczeń i ma wiele wierszy z dokładnie takimi samymi wartościami.

Chciałbym usunąć wszystkie duplikaty i zachować tylko 1 kopię każdego wiersza.

W szczególności istnieje jedna kolumna (zwana „kluczem”), której można użyć do identyfikacji duplikatów (tj. Powinien istnieć tylko jeden wpis dla każdego odrębnego „klucza”).

W jaki sposób mogę to zrobić? (najlepiej pojedynczym poleceniem SQL) Szybkość nie jest w tym przypadku problemem (jest tylko kilka wierszy).

DELETE FROM dupes a
WHERE a.ctid <> (SELECT min(b.ctid)
                 FROM   dupes b
                 WHERE  a.key = b.key);

Szybszym rozwiązaniem jest

DELETE FROM dups a USING (
      SELECT MIN(ctid) as ctid, key
        FROM dups 
        GROUP BY key HAVING COUNT(*) > 1
      ) b
      WHERE a.key = b.key 
      AND a.ctid <> b.ctid

To jest szybkie i zwięzłe:

DELETE FROM dupes T1
    USING   dupes T2
WHERE   T1.ctid < T2.ctid  -- delete the older versions
    AND T1.key  = T2.key;  -- add more columns if needed

Zobacz także moją odpowiedź w artykule Jak usunąć zduplikowane wiersze bez unikalnego identyfikatora, który zawiera więcej informacji.

Próbowałem tego:

DELETE FROM tablename
WHERE id IN (SELECT id
              FROM (SELECT id,
                             ROW_NUMBER() OVER (partition BY column1, column2, column3 ORDER BY id) AS rnum
                     FROM tablename) t
              WHERE t.rnum > 1);

dostarczone przez Postgres wiki:

https://wiki.postgresql.org/wiki/Deleting_duplicates

Użyłbym tabeli tymczasowej:

create table tab_temp as
select distinct f1, f2, f3, fn
  from tab;

Następnie usuń tabi zmień nazwę tab_tempna tab.

Musiałem stworzyć własną wersję. Wersja napisana przez @a_horse_with_no_name jest zdecydowanie za wolna na mojej tabeli (21 mln wierszy). @Rapimo po prostu nie usuwa dupków.

Oto, czego używam w PostgreSQL 9.5

DELETE FROM your_table
WHERE ctid IN (
  SELECT unnest(array_remove(all_ctids, actid))
  FROM (
         SELECT
           min(b.ctid)     AS actid,
           array_agg(ctid) AS all_ctids
         FROM your_table b
         GROUP BY key1, key2, key3, key4
         HAVING count(*) > 1) c);

Inne podejście (działa tylko wtedy, gdy masz jakieś unikalne pole, takie jak idw tabeli), aby znaleźć wszystkie unikalne identyfikatory według kolumn i usunąć inne identyfikatory, które nie znajdują się na liście unikatowych

DELETE
FROM users
WHERE users.id NOT IN (SELECT DISTINCT ON (username, email) id FROM users);

Co powiesz na:

Z
  u AS (SELECT DISTINCT * FROM your_table),
  x AS (USUŃ Z Twojej_tabeli)
INSERT INTO your_table SELECT * FROM u;

Martwiłem się o wykonanie zlecenia, czy DELETE nastąpi przed SELECT DISTINCT, ale dla mnie działa dobrze. Dodatkową zaletą jest brak konieczności posiadania wiedzy na temat struktury tabeli.

To działało dobrze dla mnie. Miałem tabelę, terminy, które zawierały zduplikowane wartości. Uruchomiono zapytanie w celu wypełnienia tabeli tymczasowej wszystkimi zduplikowanymi wierszami. Następnie uruchomiłem instrukcję delete z tymi identyfikatorami w tabeli tymczasowej. wartość to kolumna zawierająca duplikaty.

        CREATE TEMP TABLE dupids AS
        select id from (
                    select value, id, row_number() 
over (partition by value order by value) 
    as rownum from terms
                  ) tmp
                  where rownum >= 2;

delete from [table] where id in (select id from dupids)

Oto rozwiązanie wykorzystujące PARTITION BY:

DELETE FROM dups
USING (
  SELECT
    ctid,
    (ctid != min(ctid) OVER (PARTITION BY key_column1, key_column2 [...])) AS is_duplicate
  FROM dups 
) dups_find_duplicates
WHERE dups.ctid == dups_find_duplicates.ctid
AND dups_find_duplicates.is_duplicate