Skalowalność „sort -u” dla gigantycznych plików

Co to jest rozsądny limit skalowalności „sort -u”? (w wymiarach „długość linii”, „ilość linii”, „całkowity rozmiar pliku”?)

Jaka jest uniksowa alternatywa dla plików przekraczających ten wymiar w zakresie „ilości linii”? (Oczywiście, że mogę z łatwością je wdrożyć, ale zastanawiałem się, czy można coś zrobić za pomocą kilku standardowych poleceń Linuksa?)

To sort, co znajdziesz w Linuksie, pochodzi z pakietu coreutils i implementuje scalenie External R-Way . Dzieli dane na części, które może obsługiwać w pamięci, przechowuje je na dysku, a następnie łączy. Fragmenty są wykonywane równolegle, jeśli maszyna ma do tego odpowiednie procesory.

Więc jeśli miałby istnieć limit, to wolne miejsce na dysku, które sortmożna wykorzystać do przechowywania plików tymczasowych, które musi scalić, w połączeniu z wynikiem.

Nie mogę mówić o implementacjach specyficznych dla dostawcy, ale UNIX sortimplementacja dzieli duże pliki na mniejsze pliki, sortuje te pliki, a następnie łączy posortowane mniejsze pliki w zagregowane posortowane dane wyjściowe.

Jedynym ograniczeniem jest miejsce na dysku dla mniejszych plików utworzonych pośrednio sort, ale pliki można przekierować do dowolnego katalogu, ustawiając zmienną środowiskową TMPDIR.

Na podstawie https://blog.mafr.de/2010/05/23/sorting-large-files/ i /unix//a/88704/9689 :

split -n l/20 input input-
for inpf in input-* ; do
    sort --parallel="$(nproc --all)" "${inpf}" > sorted-"{$inpf}"
done
sort -m sorted-input-* > sorted-input

Aktualizacja:

Z powyższych odpowiedzi widzimy, że sortjuż robi to, o czym wspominał fragment - tj. Zewnętrzne scalenie R-Way . W końcu działa tylko:

sort --parallel="$(nproc --all)" -u input > output

Powinno wystarczyć.

Moje obecne założenia (bez sprawdzania kodu) dotyczące limitów to:

• maksymalna długość linii jest ograniczona ilością pamięci fizycznej. Sortuj trzeba zmieścić co najmniej dwa w pamięci
• ilość linii - nie jestem tego świadomy
• rozmiar pliku - oczywiście według systemu plików
• ilość otwartych plików równolegle - w zależności od systemu operacyjnego (Dziękujemy Diomidis Spinellis za zwrócenie na to uwagi!)

(Ta odpowiedź jest oznaczona jako wiki społeczności - zachęcamy do jej poprawy! :))