Czy mogę równolegle sortować?

Na przykład bzipistnieje pbzip , równoległa wersja bzip. Czy istnieją takie narzędzia do paralelizacji w sortcelu poprawy wydajności?

Począwszy od coreutils 8.6 (2010-10-15), GNU sortsortuje już równolegle, aby korzystać z kilku procesorów, jeśli są dostępne. Tak więc nie można go dalej ulepszać pod tym względem, jak pigzlub pbzip2poprawić gziplub bzip2.

Jeśli sortnie jesteś równoległy, możesz spróbować zainstalować GNU sortz najnowszej wersji jądra GNU .

Za pomocą opcji GNU sort można ograniczyć liczbę wątków za pomocą --parallelopcji.

Jedyną rzeczą, która zawsze mi najbardziej pomaga w sortowaniu, jest zapewnienie jak największej ilości pamięci, aby ograniczyć zamianę, np .:

sort -S 20G

Jeśli plik jest wystarczająco duży, sortowanie spowoduje zamianę dysku, albo z powodu zbyt dużej ilości przydzielonej pamięci wirtualnej, albo dlatego, że sortsam program zamienia fragmenty na dysk iz powrotem. Starsze sortimplementacje częściej zachowują się jak w przypadku „sortowania według bufora dysku”, ponieważ w przeszłości był to jedyny sposób sortowania dużych plików.

sortma -mopcję, która może ci w tym pomóc. Szybsze może być podzielenie pliku na części - powiedzmy za pomocą split -l- sortowanie ich niezależnie, a następnie scalenie ich z powrotem.

Z drugiej strony może się zdarzyć, że właśnie to robi „sortuj według bufora dysku”. Jedynym sposobem, aby dowiedzieć się, czy to pomaga, jest przetestowanie go pod kątem konkretnego obciążenia testowego. Najważniejszym parametrem będzie liczba linii, którą podasz split -l.

Miałem bardzo znaczący zysk przy użyciu sort -n, który wymaga wartości liczbowych (liczba zmiennoprzecinkowa lub liczba całkowita) we wszystkich wybranych kolumnach, bez notacji naukowej.

Inną możliwością, która może przynieść znaczną poprawę procesu, jest użycie folderu odwzorowanego w pamięci /dev/shmdo obsługi plików pośrednich.

export LC_COLLATE=C
export LANG=C
cat big_file | sort > /dev/null

Zwykle sortowanie w Linuksie robi kilka fajnych rzeczy, aby zachować zgodność z regułami równości Unicode ... jeśli zmienisz ustawienia regionalne na C, przełącza się tylko na bajty ...

W przypadku pliku 1,4 GB różnica na moim komputerze to 20s vs. 400s (!!!)

#! /bin/sh
#config MAX_LINES_PER_CHUNK based on file length
MAX_LINES_PER_CHUNK=1000 
ORIGINAL_FILE=inputfile.txt
SORTED_FILE=outputfile.txt
CHUNK_FILE_PREFIX=$ORIGINAL_FILE.split.
SORTED_CHUNK_FILES=$CHUNK_FILE_PREFIX*.sorted

 #Cleanup any lefover files
rm -f $SORTED_CHUNK_FILES > /dev/null
rm -f $CHUNK_FILE_PREFIX* > /dev/null
rm -f $SORTED_FILE

#Splitting $ORIGINAL_FILE into chunks ...
split -l $MAX_LINES_PER_CHUNK $ORIGINAL_FILE $CHUNK_FILE_PREFIX

for file in $CHUNK_FILE_PREFIX*
do
    sort -n -t , -k 1,1 $file > $file.sorted &
done
wait

#echo "**********SORTED CHUNK FILES*********"
#echo $SORTED_CHUNK_FILES
#Merging chunks to $SORTED_FILE ...
sort  -mn $SORTED_CHUNK_FILES > $SORTED_FILE

#Cleanup any lefover files
rm -f $SORTED_CHUNK_FILES > /dev/null
rm -f $CHUNK_FILE_PREFIX* > /dev/null

plik zostanie podzielony i posortowany, zwiększy to szybkość sortowania