Najwyższa kompresja plików (do przesyłania przez Internet)?

Widziałem kilka wysoce skompresowanych plików, na przykład 700 MB danych skompresowanych do około 30-50 MB.

Ale jak uzyskać takie skompresowane pliki? Próbowałem używać programów takich jak WinRAR i 7Zip, ale nigdy nie osiągnąłem tak wysokiej kompresji.

Jakie techniki / oprogramowanie pozwalają na tak dobrą kompresję plików?

(PS Używam Windows XP)

Jeśli czas kompresji danych nie stanowi problemu, możesz zoptymalizować skompresowany rozmiar, używając kilku różnych narzędzi razem.

Kilka razy kompresuj dane za pomocą różnych narzędzi, takich jak 7zip, winrar (dla zip) i bjwflate.

(Należy pamiętać, że nie oznacza to wielokrotnego kompresowania pliku zip, ale raczej tworzenie wielu alternatywnych plików zip za pomocą różnych narzędzi)

Następnie uruchom deflopt na każdym archiwum, aby nieco zmniejszyć każde archiwum.

Na koniec uruchom zipmix na kolekcji archiwów. Ponieważ różne narzędzia zip są lepsze dla różnych plików, zipmix wybiera najlepszą skompresowaną wersję każdego pliku z każdego archiwum i generuje wynik, który jest mniejszy niż jakiekolwiek, które którekolwiek z narzędzi zip mogłoby wytworzyć indywidualnie.

Należy jednak pamiętać, że nie ma gwarancji działania jakiejkolwiek magii na twoje pliki. Niektóre typy danych po prostu nie kompresują się zbyt dobrze, jak JPEG i MP3. Te pliki są już wewnętrznie skompresowane.

Zależy to całkowicie od kompresji danych.

Tekst bardzo dobrze kompresuje, formaty binarne nie tak dobrze, a skompresowane dane (mp3, jpg, mpeg) wcale nie.

Oto dobra tabela porównawcza kompresji z wikipedii.

Poprzednie odpowiedzi są błędne o rząd wielkości!

Najlepszy algorytm kompresji, z jakim mam osobiste doświadczenia, to paq8o10t (patrz strona zpaq i PDF ).

Wskazówka: polecenie kompresji plików_lub_folderów wyglądałoby następująco:

paq8o10t -5 archive files_or_folders

Źródło: Incremental Journaling Backup Utility and Archiver

Możesz znaleźć kopię lustrzaną kodu źródłowego na GitHub .

Nieco lepszym algorytmem kompresji i zdobywcą nagrody Huttera jest decomp8 (patrz link na stronie z nagrodami). Jednak nie ma żadnego programu do kompresji, którego można by użyć.

W przypadku naprawdę dużych plików lrzip może osiągnąć współczynniki kompresji po prostu komiczne .

Przykład z README.benchmarks:

Rozłóżmy sześć drzew jądra w jednej wersji, jako tarball, linux-2.6.31 do linux-2.6.36. Będą wyświetlać wiele zbędnych informacji, ale setki megabajtów od siebie, co lrzip będzie bardzo dobry w kompresji. Dla uproszczenia porównane zostaną tylko 7z, ponieważ jest to obecnie najlepsza sprężarka ogólnego zastosowania:

Są to testy porównawcze przeprowadzone na dwurdzeniowym procesorze Intel Core2 2,53 GHz z 4 GB pamięci RAM przy użyciu Lrzip v0.5.1. Pamiętaj, że działał z 32-bitową przestrzenią użytkownika, więc możliwe było tylko adresowanie 2 GB. Jednak test został uruchomiony z opcją -U, co pozwoliło traktować cały plik jako jedno duże okno kompresji.

Tarball z 6 kolejnych drzewek jądra.

Compression    Size                 Percentage      Compress    Decompress
None           2373713920           100             [n/a]       [n/a]
7z             344088002            14.5            17m26s      1m22s
lrzip          104874109            4.4             11m37s      56s
lrzip -l       223130711            9.4             05m21s      1m01s
lrzip -U       73356070             3.1             08m53s      43s
lrzip -Ul      158851141            6.7             04m31s      35s
lrzip -Uz      62614573             2.6             24m42s      25m30s

Squeezechart.com zawiera porównania różnych współczynników kompresji. Chociaż, jak stwierdzono w odpowiedzi Nifle'a, jest mało prawdopodobne, aby uzyskać tak wysokie stopnie kompresji dla formatów binarnych.

Większość narzędzi do kompresji ma ustawienia umożliwiające osiągnięcie wyższego stopnia kompresji przy kompromisie wolniejszych czasów kompresji / dekompresji i większego zużycia pamięci RAM.

W przypadku 7-Zip wyszukaj „Okno dialogowe Dodaj do archiwum” we wbudowanej pomocy, aby uzyskać więcej szczegółów.

Możesz wypróbować 7zip z następującymi ultra ustawieniami:

7z a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on big_file.mysql.7z big_file.mysql

Wystarczy sprawdzić Podsumowanie testów testowych kompresji wielu plików, które mają najlepszą listę kompresji, która składa się na pełny test kompresji.

Top 30

Najlepsze wyniki (w oparciu o kompresję) w tym teście to PAQ8 i WinRK (PWCM). Są w stanie skompresować zestaw testowy 300+ Mb do mniej niż 62 Mb (80% zmniejszenie rozmiaru), ale ukończenie testu zajmuje minimum 8,5 godziny. Program numer jeden (PAQ8P) zajmuje prawie 12 godzin, a numer cztery (PAQAR) nawet 17 godzin, aby ukończyć test. WinRK, program z 2. najlepszą kompresją (79,7%) zajmuje około 8,5 godziny. Nic dziwnego, że wszystkie wspomniane programy wykorzystują silnik kompresji PAQ (podobny). Jeśli masz pliki z osadzonymi obrazami (np. Pliki Word DOC), użyj PAQ8, rozpozna je i osobno skompresuje, znacznie zwiększając kompresję. Wszystkie wymienione programy (oprócz WinRK) są bezpłatne.

Twój najlepszy zakład tutaj wydaje się być metodą prób i błędów. Wypróbuj wszystkie dostępne techniki kompresji dla każdego pliku i wybierz najlepsze, które możesz umieścić na swojej stronie. Na szczęście komputery robią takie rzeczy dość szybko i nie nudzą się. Możesz napisać prosty skrypt automatyzujący proces, aby był on „względnie bezbolesny”.

Tylko nie oczekuj cudów - 700 mb do 30 mb po prostu nie zdarza się tak często. Pliki dziennika, jak wspomniano powyżej - tak. „Twój średni plik” - nie ma mowy.

Nanozip wydaje się mieć najwyższą kompresję razem z FreeArc. Ale nie jest jeszcze w ostatecznej wersji. Jest to, jak dobra kompresja osiąga Nanozip . Ma bardzo wysoką kompresję i nie zajmuje dużo czasu, sprawdź Podsumowanie testów porównawczych kompresji wielu plików , ale FreeArc jest szybszy.