Jak podzielić plik i skompresować bezpośrednio?

13

Mam plik 100 GB i chcę podzielić na 100 plików 1 GB każdy (według podziału wiersza)

na przykład

split --bytes=1024M /path/to/input /path/to/output

Dla wygenerowanych 100 plików chcę zastosować gzip / zip do każdego z tych plików.

Czy można użyć jednego polecenia?

linux bash command-line-interface gzip Ryan
źródło
2
Dla maksymalnie 1 GB na plik (mniej, jeśli następna linia go nałoży)) użyj --line-bytes=1024M.
Brian

Odpowiedzi:

31

Użyj „--filter”:

split --bytes=1024M --filter='gzip > $FILE.gz' /path/to/input /path/to/output

Piotr
źródło
dla mnie to nie działa, nadal nadpisuje ten sam plik, ponieważ $ FILE nie jest zdefiniowane i nawet nie zapisuje w folderze des.
splaisan
mój błąd, potrzebuję pojedynczych cudzysłowów, aby wymienić $ FILE, mój wielki błąd, przepraszam i dziękuję za pomoc: to ostatnie polecenie działało dla mnie, aby zapisać dane fastq w blokach po 4 linie: 'zcat ERR3152365.fastq.gz | split -a 3 -d -l 1200000 - sufiksy liczbowe --filter = 'pigz -p 8> $ FILE.fq.gz' - splitout / part_ '
pisanie
0

One-liner korzystający z warunkowej jest tak blisko, jak to tylko możliwe.

cd /path/to/output && split --bytes=1024M /path/to/input/filename && gzip x*

gzipbędzie działał tylko wtedy, gdy splitzakończy się powodzeniem z powodu warunku, &&który jest również między cdi splitupewniając się, że również cdsię powiódł. Zwróć uwagę na to spliti gzipwyślij go do bieżącego katalogu zamiast możliwości określenia katalogu wyjściowego. W razie potrzeby możesz utworzyć katalog:

mkdir -p /path/to/output && cd /path/to/output && split --bytes=1024M /path/to/input/filename && gzip x*

Aby złożyć wszystko z powrotem w całość:

gunzip /path/to/files/x* && cat /path/to/files/x* > /path/to/dest/filename
Wstrzymano do odwołania.
źródło
0

Użycie tego polecenia z -dopcją pozwala wygenerować sufiksy numeryczne.

split -d -b 2048m "myDump.dmp" "myDump.dmp.part-" && gzip myDump.dmp.part*

Wygenerowane pliki:

    myDump.dmp.part-00
    myDump.dmp.part-01
    myDump.dmp.part-02
    ...
Iván
źródło
0

Funkcja bash do kompresji w locie za pomocą pigz

function splitreads(){

# add this function to your .bashrc or alike
# split large compressed read files into chunks of fixed size
# suffix is a three digit counter starting with 000
# take compressed input and compress output with pigz
# keeps the read-in-pair suffix in outputs
# requires pigz installed or modification to use gzip

usage="# splitreads <reads.fastq.gz> <reads per chunk; default 10000000>\n";
    if [ $# -lt 1 ]; then
        echo;
        echo ${usage};
        return;
    fi;

# threads for pigz (adapt to your needs)
thr=8

input=$1

# extract prefix and read number in pair
# this code is adapted to paired reads
base=$(basename ${input%.f*.gz})
pref=$(basename ${input%_?.f*.gz})
readn="${base#"${base%%_*}"}"

# 10M reads (4 lines each)
binsize=$((${2:-10000000}*4))

# split in bins of ${binsize}
echo "# splitting ${input} in chuncks of $((${binsize}/4)) reads"

cmd="zcat ${input} \
  | split \
    -a 3 \
    -d \
    -l ${binsize} \
    --numeric-suffixes \
    --additional-suffix ${readn} \
    --filter='pigz -p ${thr} > \$FILE.fq.gz' \
    - ${pref}_"

echo "# ${cmd}"
eval ${cmd}
}
splaisan
źródło