Usunięcie zduplikowanych wierszy w vi?

Mam plik tekstowy zawierający długą listę wpisów (po jednym w każdym wierszu). Niektóre z nich są duplikatami i chciałbym wiedzieć, czy można (a jeśli tak, w jaki sposób) usunąć jakiekolwiek duplikaty. Jeśli to możliwe, jestem zainteresowany zrobieniem tego z poziomu vi / vim.

Jeśli nie masz nic przeciwko sortowaniu pliku, możesz użyć:

:sort u

Spróbuj tego:

:%s/^\(.*\)\(\n\1\)\+$/\1/

Wyszukuje dowolny wiersz, po którym bezpośrednio następuje jedna lub więcej kopii samego siebie i zastępuje go pojedynczą kopią.

Zanim jednak spróbujesz, zrób kopię swojego pliku. To nie zostało przetestowane.

Z linii poleceń po prostu wykonaj:

sort file | uniq > file.new

awk '!x[$0]++' yourfile.txtjeśli chcesz zachować kolejność (np. sortowanie jest niedopuszczalne). Aby wywołać go z vima, :!można użyć.

g/^\(.*\)$\n\1/d

U mnie działa w systemie Windows. Jednak linie muszą być najpierw posortowane.

Połączyłbym dwie z powyższych odpowiedzi:

go to head of file
sort the whole file
remove duplicate entries with uniq

1G
!Gsort
1G
!Guniq

Jeśli chciałbyś zobaczyć, ile zduplikowanych linii zostało usuniętych, użyj control-G przed i po, aby sprawdzić liczbę linii obecnych w twoim buforze.

Następnie zaznacz linie w trybie linii wizualnych ( Shift+ v) :!uniq. To wyłapie tylko duplikaty, które pojawiają się jeden po drugim.

Jeśli chodzi o sposób implementacji Uniqa w VimL, ​​wyszukaj Uniq we wtyczce, którą utrzymuję . Zobaczysz różne sposoby implementacji, które zostały podane na liście mailingowej Vima.

W przeciwnym razie :sort ujest to droga do zrobienia.

:%s/^\(.*\)\(\n\1\)\+$/\1/gec

lub

:%s/^\(.*\)\(\n\1\)\+$/\1/ge

to jest moja odpowiedź dla ciebie, może usunąć wiele zduplikowanych linii i zachować tylko jedną, której nie można usunąć!

Użyłbym !}uniq, ale to działa tylko wtedy, gdy nie ma pustych linii.

Dla każdego wiersza w użyciu pliku: :1,$!uniq.

Ta wersja usuwa tylko powtarzające się linie, które są ciągłe. Mam na myśli, że usuwa tylko kolejne, powtarzające się wiersze. Używając podanej mapy, funkcja zwraca uwagę na puste linie. Ale jeśli zmienisz REGEX, aby pasował do początku wiersza ^, usunie to również zduplikowane puste wiersze.

" function to delete duplicate lines
function! DelDuplicatedLines()
    while getline(".") == getline(line(".") - 1)
        exec 'norm! ddk'
    endwhile
    while getline(".") == getline(line(".") + 1)
        exec 'norm! dd'
    endwhile
endfunction
nnoremap <Leader>d :g/./call DelDuplicatedLines()<CR>

Alternatywną metodą, która nie używa vi / vim (dla bardzo dużych plików), jest użycie sort i uniq z wiersza poleceń Linuksa:

sort {file-name} | uniq -u

To działało dla mnie zarówno w przypadku, jak .csvi.txt

awk '!seen[$0]++' <filename> > <newFileName>

Objaśnienie: Pierwsza część polecenia drukuje unikalne wiersze, a druga część, tj. Po środkowej strzałce, ma na celu zapisanie wyniku pierwszej części.

awk '!seen[$0]++' <filename>

>

<newFileName>