Usuń wszystkie wiersze z pliku A, które zawierają ciągi z pliku B

Mam plik CSV users.csvz listą nazw użytkowników, identyfikatorów użytkowników i innych danych:

username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"Paul McCartny", 30923833, "left", "black"
"Ringo Starr", 77392318, "right", "blue"
"George Harrison", 72349482, "left", "green"

W innym pliku toremove.txtmam listę identyfikatorów użytkowników:

30923833
77392318

Czy istnieje sprytny i skuteczny sposób na usunięcie wszystkich wierszy z users.csvpliku zawierającego identyfikatory toremove.txt? Napisałem prostą aplikację w języku Python, aby przeanalizować dwa pliki i zapisać w nowym pliku tylko te wiersze, których nie ma toremove.txt, ale jest to wyjątkowo powolne. Być może trochę sedlub awkmagia może tu pomóc?

Jest to pożądany wynik, biorąc pod uwagę powyższe przykłady:

username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"George Harrison", 72349482, "left", "green"

Za pomocą grepmożesz:

$ grep -vwF -f toremove.txt users.txt 
username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"George Harrison", 72349482, "left", "green"

Z awk:

$ awk -F'[ ,]' 'FNR==NR{a[$1];next} !($4 in a)' toremove.txt users.txt 
username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"George Harrison", 72349482, "left", "green"

Oto awkodpowiedź Gnouca , zmodyfikowana tak, aby była ślepa na kosmos:

awk -F, 'FNR==NR{a[$1];next} !(gensub("^ *","",1,$2) in a)' toremove.txt users.csv

Ponieważ używa ograniczników tylko przecinków (a nie spacji), $1jest "John Lennon", $2jest  90123412(ze spacją wiodącą) itp. Dlatego używamy gensubdo usunięcia dowolnej liczby wiodących spacji $2 przed sprawdzeniem, czy (identyfikator użytkownika) był w toremove.txtpliku.

OK w ruby ​​sposób: jeśli masz listę ciągów w pliku i chcesz usunąć wszystkie wiersze z innego pliku, które zawierają nawet dowolny ciąg w pierwszym pliku (w tym przypadku usuwając „plik2” z „pliku1”) plik ruby :

b=File.read("file2").split # subtract this one out
remove_regex = Regexp.new(b.join('|'))
File.open("file1", "r").each_line do |line|
  if line !~ remove_regex
    puts line
  end
end

niestety przy dużym pliku „do usunięcia” wydaje się to obniżać złożoność do O (N ^ 2) (moje założenie jest takie, że regexp ma dużo pracy), ale nadal może być przydatne dla kogoś tam (jeśli ty chcesz więcej niż usuwanie pełnych linii). W niektórych przypadkach może być szybszy.

Inną opcją, jeśli dążysz do szybkości, jest użycie tego samego mechanizmu sprawdzania skrótu, ale ostrożne „przeanalizowanie” wiersza w celu dopasowania pasujących ciągów znaków, a następnie porównanie ich ze skrótem.

W rubinie może wyglądać tak:

b=File.read("file2").split # subtract this one out
hash={}
for line in b
  hash[line] = 1
end

ARGF.each_line do |line|
  ok = true
  for number in line.scan(/\d{9}/)
    if hash.key? number
      ok=false
    end
  end
  if (ok)
    puts line
  end
end

Zobacz także odpowiedź Scotta, jest podobna do proponowanych tu odpowiedzi na awk i unika złożoności O (N ^ 2) (uff).