Porównaj dwa pliki wiersz po wierszu i wygeneruj różnicę w innym pliku

Chcę porównać plik1 z plikiem2 i wygenerować plik3, który zawiera wiersze w pliku1, których nie ma w pliku2.

diff (1) nie jest odpowiedzią, ale comm (1) jest.

NAME
       comm - compare two sorted files line by line

SYNOPSIS
       comm [OPTION]... FILE1 FILE2

...

       -1     suppress lines unique to FILE1

       -2     suppress lines unique to FILE2

       -3     suppress lines that appear in both files

Więc

comm -2 -3 file1 file2 > file3

Pliki wejściowe muszą zostać posortowane. Jeśli tak nie jest, najpierw je posortuj. Można to zrobić za pomocą pliku tymczasowego lub ...

comm -2 -3 <(sort file1) <(sort file2) > file3

pod warunkiem, że twoja powłoka obsługuje podstawianie procesów (bash tak).

Narzędzie Unix diffjest przeznaczone dokładnie do tego celu.

$ diff -u file1 file2 > file3

Więcej informacji na temat opcji, różnych formatów wyjściowych itp. Można znaleźć w instrukcji i w Internecie.

Rozważ to:
plik a.txt:

abcd
efgh

plik b.txt:

abcd

Możesz znaleźć różnicę w:

diff -a --suppress-common-lines -y a.txt b.txt

Wynik będzie:

efgh 

Możesz przekreślić wynik w pliku wyjściowym (c.txt) za pomocą:

diff -a --suppress-common-lines -y a.txt b.txt > c.txt

To odpowie na twoje pytanie:

„... który zawiera linie w pliku1, których nie ma w pliku2”.

Czasami diffjest to narzędzie, którego potrzebujesz, ale czasami joinjest bardziej odpowiednie. Pliki muszą być wstępnie posortowane lub, jeśli używasz powłoki obsługującej podstawianie procesów, takiej jak bash, ksh lub zsh, możesz sortować w locie.

join -v 1 <(sort file1) <(sort file2)

Próbować

sdiff file1 file2

Zwykle działa znacznie lepiej w większości przypadków. Możesz chcieć posortować pliki wcześniej, jeśli kolejność linii nie jest ważna (np. Niektóre tekstowe pliki konfiguracyjne).

Na przykład,

sdiff -w 185 file1.cfg file2.cfg

Jeśli chcesz rozwiązać ten problem za pomocą coreutils, akceptowana odpowiedź jest dobra:

comm -23 <(sort file1) <(sort file2) > file3

Możesz także użyć sd (stream diff), który nie wymaga sortowania ani podstawiania procesów i obsługuje nieskończone strumienie, na przykład:

cat file1 | sd 'cat file2' > file3

Prawdopodobnie nie jest to duża korzyść w tym przykładzie, ale nadal rozważ to; w niektórych przypadkach nie będzie w stanie wykorzystać commani grep -Fani diff.

Oto post na blogu, który napisałem o różnicowaniu strumieni na terminalu, który wprowadza sd.

Jednak nie ma greprozwiązania?

• linie, które istnieją tylko w pliku2:

  grep -Fxvf file1 file2 > file3

• linie, które istnieją tylko w pliku1:

  grep -Fxvf file2 file1 > file3

• linie, które istnieją w obu plikach:

  grep -Fxf file1 file2 > file3

Wiele odpowiedzi już jest, ale żadna z nich nie jest idealna IMHO. Odpowiedź Thanatosa pozostawia kilka dodatkowych znaków w linii, a odpowiedź Sorpigala wymaga sortowania lub wstępnego sortowania plików, co może nie być odpowiednie w każdych okolicznościach.

Myślę, że najlepszym sposobem na uzyskanie linii, które są różne i nic innego (bez dodatkowych znaków, bez ponownego zamawiania) jest kombinacją diff, grepi awk(lub podobny).

Jeśli wiersze nie zawierają znaku „<”, krótką linijką może być:

diff urls.txt* | grep "<" | sed 's/< //g'

ale to usunie każde wystąpienie „<” (mniej niż, spacja) z linii, co nie zawsze jest OK (np. kod źródłowy). Najbezpieczniejszą opcją jest użycie awk:

diff urls.txt* | grep "<" | awk '{for (i=2; i<NF; i++) printf $i " "; print $NF}'

Ta jedna linijka porównuje oba pliki, następnie filtruje wyjście diff w stylu ed, a następnie usuwa końcowe „<”, które dodaje diff. Działa to nawet wtedy, gdy linie zawierają same „<”.

Jestem zaskoczony, że nikt nie wspomniał diff -yo tworzeniu równoległego wyjścia , na przykład:

diff -y file1 file2 > file3

A w file3(różne linie mają symbol |w środku):

same     same
diff_1 | diff_2

Użyj narzędzia Diff i wyodrębnij tylko wiersze zaczynające się od <w danych wyjściowych

diff a1.txt a2.txt | grep '> ' | sed 's/> //' > a3.txt

Wypróbowałem prawie wszystkie odpowiedzi w tym wątku, ale żadna nie była kompletna. Po kilku szlakach powyżej jeden zadziałał. diff da ci różnicę, ale z pewnymi niechcianymi specjalnymi charasami. gdzie rzeczywiste linie różnicy zaczynają się od „>”. więc następnym krokiem jest grep linie zaczynające się od '>', po którym następuje usunięcie tego samego z sedem .

Możesz użyć diffz następującym formatowaniem wyjściowym:

diff --old-line-format='' --unchanged-line-format='' file1 file2

--old-line-format='', wyłącz wyjście dla plik1, jeśli linia różniła się od porównania w pliku2.
--unchanged-line-format='', wyłącz wyjście, jeśli linie są takie same.