Jak kompresja NTFS wpływa na wydajność?

Słyszałem, że kompresja NTFS może zmniejszyć wydajność z powodu dodatkowego użycia procesora, ale przeczytałem raporty, że może to faktycznie zwiększyć wydajność z powodu zmniejszonego odczytu dysku. Jak dokładnie kompresja NTFS wpływa na wydajność systemu?

Uwagi:

• Używam laptopa z dyskiem twardym o prędkości 5400 obr./min i wiele rzeczy, które robię na nim, są związane z operacjami we / wy.
• Procesor to AMD Phenom II z czterema rdzeniami pracującymi z częstotliwością 2,0 GHz.
• System jest regularnie defragmentowany za pomocą UltraDefrag .
• Obciążenie jest mieszane odczyt-zapis, a odczyty występują nieco częściej niż zapisy.
• Pliki do skompresowania obejmują wybrany podzbiór dokumentów osobistych (nie pełny folder domowy) i programy, w tym kilka (mniej wymagających) gier i Visual Studio (które jest zwykle związane z operacjami we / wy częściej niż nie).

Słyszałem, że kompresja NTFS może obniżyć wydajność z powodu dodatkowego użycia procesora, ale przeczytałem raporty, że może to faktycznie zwiększyć wydajność z powodu zmniejszonego odczytu dysku.

Poprawny. Zakładając, że twój procesor, używając jakiegoś algorytmu kompresji, może kompresować przy C MB / si dekompresować przy D MB / s, a twój dysk twardy ma prędkość zapisu W i prędkość odczytu R. Tak długo, jak C> W, zyskujesz wzrost wydajności, gdy pisanie i tak długo, jak D> R, zyskujesz na wydajności podczas czytania. Jest to drastyczne założenie w przypadku zapisu, ponieważ algorytm Lempel-Ziv (zaimplementowany w oprogramowaniu) ma niedeterministyczny współczynnik kompresji (chociaż można go ograniczyć przy ograniczonym rozmiarze słownika).

Jak dokładnie kompresja NTFS wpływa na wydajność systemu?

Cóż, to właśnie przez oparcie się na powyższych nierównościach. Tak długo, jak twój procesor może utrzymać współczynnik kompresji / dekompresji powyżej prędkości zapisu na dysku twardym, powinieneś odczuwać przyspieszenie. Ma to jednak wpływ na duże pliki, które mogą podlegać dużej fragmentacji (z powodu algorytmu) lub wcale nie zostać skompresowane .

Może to wynikać z faktu, że algorytm Lempel-Ziv zwalnia wraz z postępem kompresji (ponieważ słownik ciągle rośnie, co wymaga większej ilości porównań w miarę wchodzenia bitów). W algorytmie Lempel-Ziv dekompresja przebiega prawie zawsze z tą samą szybkością, niezależnie od wielkości pliku (ponieważ słownik można po prostu rozwiązać za pomocą schematu base + offset).

Kompresja ma również wpływ na układ plików na dysku . Domyślnie pojedyncza „jednostka kompresji” jest 16-krotnie większa od wielkości klastra (więc większość systemów plików NTFS klastra o wielkości 4 kB będzie wymagać 64 kB fragmentów do przechowywania plików), ale nie wzrośnie powyżej 64 kB. Może to jednak wpływać na fragmentację i wymagania dotyczące miejsca na dysku.

Na koniec, opóźnienie jest kolejną interesującą wartością dyskusji. Podczas gdy faktyczny czas potrzebny na kompresję danych wprowadza opóźnienie, gdy szybkość zegara procesora jest wyrażona w gigahercach (tj. Każdy cykl zegara jest krótszy niż 1 ns), wprowadzone opóźnienie jest znikome w porównaniu do częstotliwości wyszukiwania dysku twardego (która jest na rząd milisekund lub miliony cykli zegara).

Aby faktycznie sprawdzić, czy nastąpi wzrost prędkości, możesz spróbować kilku rzeczy. Pierwszym z nich jest przetestowanie systemu za pomocą algorytmu kompresji / dekompresji opartego na Lempel-Ziv. Jeśli uzyskasz dobre wyniki (tj. C> W i D> R), powinieneś spróbować włączyć kompresję na swoim dysku.

Stamtąd możesz chcieć wykonać więcej testów porównawczych dotyczących rzeczywistej wydajności dysku twardego. Naprawdę ważnym punktem odniesienia (w twoim przypadku) byłoby sprawdzenie, jak szybko ładują się twoje gry i jak szybko kompilują się twoje projekty Visual Studio.

TL, DR: Kompresja może być opłacalna dla systemu plików wykorzystującego wiele małych plików wymagających dużej przepustowości i niskiego opóźnienia. Duże pliki są (i powinny być) niezmienione z powodu problemów z wydajnością i opóźnieniami.

Masz dość wolny dysk, więc twoje pytanie ma sens. Kompresja NTFS wymaga dużego procesora i jest dostosowana do szybkości, a nie wydajności kompresji.

Spodziewałbym się, że zobaczysz (bardzo) małą poprawę operacji odczytu. Jednak podczas uzyskiwania dostępu do pliku znajdującego się w pamięci podręcznej systemu wystąpi spadek wydajności, ponieważ będzie on musiał być ponownie rozpakowany przy każdym dostępie.

Oczywiście zobaczysz, że operacje zapisu będą wolniejsze z powodu dodatkowej kompresji.

Kopiowanie plików na tym samym dysku NTFS wymaga dekompresji i kompresji, więc ucierpią one najbardziej.

Kompresja NTFS może również znacznie zwiększyć fragmentację, ale nie stanowi to problemu dla większości „typowych” komputerów pod „typowymi” obciążeniami roboczymi.

Wiele typów plików, takich jak obrazy JPEG lub pliki wideo lub .zip, jest w zasadzie nieskompresowalnych, więc pliki te będą wolniejsze w użyciu i nie będą miały miejsca.

Pliki mniejsze niż jeden klaster dyskowy (zwykle 4K) nie są kompresowane, ponieważ nie ma wzmocnienia. Jednak nawet mniejszy rozmiar klastra jest czasami zalecany podczas kompresji całego woluminu.

Kompresja NTFS jest zalecana dla względnie statycznych woluminów lub plików. Nigdy nie jest to zalecane w przypadku plików systemowych lub folderu Użytkownicy.

Ale ponieważ konfiguracja sprzętu różni się w zależności od modelu komputera, w zależności od dysku, magistrali, pamięci RAM i procesora, tylko testy pokażą, jaki dokładnie efekt kompresji będzie mieć na model komputera.

Wyjaśniłem to tutaj we wpisie Wikpedia dla NTFS:

NTFS może kompresować pliki przy użyciu algorytmu LZNT1 (wariant LZ77 [23]). Pliki są kompresowane w 16-klastrowych porcjach. W przypadku klastrów 4 kB pliki są kompresowane w porcjach po 64 kB. Jeśli kompresja zmniejsza 64 kB danych do 60 kB lub mniej, NTFS traktuje niepotrzebne strony o wielkości 4 kB jak puste klastry plików rzadkich - nie są zapisywane. Pozwala to na nieuzasadnione czasy losowego dostępu. Jednak duże pliki kompresowalne ulegają znacznej fragmentacji, ponieważ wówczas każdy fragment o wielkości 64 kB staje się mniejszym fragmentem. [24] [25] Microsoft nie zaleca kompresji plików przekraczających 30 MB z powodu spadku wydajności. [Potrzebne źródło]

Najlepszym zastosowaniem kompresji jest pliki, które są powtarzalne, zapisywane rzadko, zwykle uzyskuje się je sekwencyjnie i same nie są kompresowane. Pliki dziennika są idealnym przykładem. Kompresowanie plików o rozmiarze mniejszym niż 4 kB lub już skompresowanych (takich jak .zip lub .jpg lub .avi) może je powiększać i spowalniać. [Potrzebne źródło] Użytkownicy powinni unikać kompresowania plików wykonywalnych takich jak .exe i .dll (mogą być włączane i wyłączane na stronach o wielkości 4 kB). Kompresowanie plików systemowych używanych podczas uruchamiania, takich jak sterowniki, NTLDR, winload.exe lub BOOTMGR, może uniemożliwić prawidłowe uruchomienie systemu. [26]

Chociaż dostęp do odczytu i zapisu do skompresowanych plików jest często, ale nie zawsze [27] przejrzysty, Microsoft zaleca unikanie kompresji w systemach serwerów i / lub udziałach sieciowych posiadających profile mobilne, ponieważ powoduje to znaczne obciążenie procesora. [28]

Systemy dla jednego użytkownika z ograniczoną ilością miejsca na dysku twardym mogą korzystać z kompresji NTFS dla małych plików, od 4 kB do 64 kB lub więcej, w zależności od kompresji. Pliki mniejsze niż 900 bajtów są przechowywane z wpisem katalogu w MFT. [29]

Najwolniejszym łączem w komputerze nie jest procesor, ale szybkość dysku twardego, więc kompresja NTFS pozwala na lepsze wykorzystanie ograniczonej, wolnej przestrzeni dyskowej, zarówno pod względem miejsca, jak i (często) prędkości. [30] (Zakłada się, że skompresowane fragmenty plików są przechowywane kolejno).

Polecam kompresję tylko dla plików, które kompresują do 64 KB lub mniej (tj. 1 sztuka). W przeciwnym razie plik będzie się składał z wielu ułamków 64 KB lub mniej.

MyDefrag lepiej defragmentuje.

Spowolni to operacje. Niestety nie możemy dokładnie zmierzyć, jak bardzo lub jak mało wpłynie to na twój system. Gdy plik, który jest skompresowany, otwiera się, procesor rozpakowuje plik, aby system mógł go użyć; kiedy skończysz i naciśniesz Save, zużyje więcej mocy procesora, aby go ponownie skompresować. Jednak tylko Ty możesz zmierzyć wydajność.

każdy, kto widzi to dzisiaj, powinien mieć świadomość, że w przypadku gier wideo tak, nawet te regularnie załatane, włączenie kompresji na dysku lub folderze może skrócić czas ładowania, nawet na wolniejszych procesorach dzisiejszych, a nawet na dyskach SSD (innych niż najszybsze, których większość ludzi nie ma), należy jednak regularnie przeprowadzać defragmentację, a ja zdecydowanie zalecam kupowanie idealnego dysku, gdy użyjesz defragmentacji „Smart agresywnej”, PO kompresji, pozostaw włączoną funkcję automatycznej zapobiegania francjacji na aktywność i automatyczną optymalizację, aby uniknąć fragmentacji, przy bardzo niskim lub zerowym trafieniu (przetestowałem to aż do starych quadów pierwszej generacji zarówno amd, jak i wywiadu na nowoczesnych oknach niedawno

wiele plików gier kompresuje się niesamowicie dobrze, niektóre gry mają pliki, które zajmują miejsce na dysku, mimo że są w większości puste ... jedna gra, którą skompresowałem jakiś czas temu, spadła z 6 GB w jednym ze swoich folderów do mniej niż 16 MB ..... żartowałem ... mówię o zmarnowanej przestrzeni i zmarnowanym I / O ....)

Skompresowałem folder Steam znajomego już dawno temu, skompresowanie go zajęło 4 dni (na dysku 4 TB i zaczął się w 3/4 pełny), kiedy to zostało zrobione ... zużywał około 1/3 dysku ogółem, defrag zajął kolejny dzień (ale zaczął się strasznie rozdrobniony, ponieważ nigdy nie zrobił na nim defragmentacji, nigdy .. pomimo wielu MMO na nim ... i cholernych gier na Steam / Uplay / Origin / itp.) ... )

NIE kompresuj folderów ze zdjęciami / obrazami, nie przyniesie to nic dobrego, a jedynie spowolni dostęp do nich w wolnych systemach (choć nie zauważy nawet na 1/2 przyzwoitej platformie ...)

kompresowałem dyski na każdym systemie od NT4, ALE, selektywnie, faktycznie dekompresuję foldery, w których kompresja przynosi więcej szkody niż pożytku, to „najlepsze praktyki”, które wymyśliliśmy dawno temu jako gracze, maniacy, „chłopaki (wcześniej był to termin) i, ​​szczerze mówiąc, pozostało to prawdą, chciałbym, żeby mieli bardziej precyzyjny sposób kompresji dysków / danych, istnieje narzędzie, które nie było darmowe, ale niedrogie, dzięki czemu można było znacznie lepiej wyniki kompresji bez kompresji danych, które nie powinny być kompresowane ...

tak czy inaczej, nawet wiele starszych dwurdzeniowych systemów faktycznie skorzysta ogólnie, jeśli 1. uruchomisz ccleaner 2. uruchom chkdsk / f z wiersza polecenia z podwyższonym poziomem uprawnień (wpisz y, a następnie uruchom ponownie i pozwól, aby uruchomił kontrolę) 3. skompresuj dysk. 4. defragmentuj z mydefrag lub lepszym, idealnym dyskiem, to zajmie trochę czasu. 5. grzywny wszystkie foldery zawierające duże pliki lub zdjęcia / inną zawartość, które nie są dobrze kompresowane / wcale, dekompresuj folder lub tylko pliki, moje exp tutaj jest to, że rzadko trzeba defragmentować po tej części procesu, ale najlepiej to sprawdzić.

Rozumiem, dlaczego niektórzy ludzie są przeciwni kompresji, ale po przetestowaniu go, gdy jest właściwie używany, ssd lub hdd, a szczególnie powolne stare dyski twarde i ssd, kompresja, gdy jest właściwie używana, może poważnie pomóc nie tylko zaoszczędzić miejsce, ale także wydajność, nawet w większości starszych podwójnych rdzenie mogą poradzić sobie ze średnimi cyklami kompresji / dekompresji szybciej niż dysk w tych systemach może się poruszać, po przetestowaniu tego, dyski SSD pierwszej generacji i tańsze starsze konstrukcje, mogą skorzystać z kompresji, nie tyle wolniejsze dyski twarde w większości przypadków, co kolega ma netbooka, który ma BARDZO powolny, trudny do zastąpienia ssd, a także o wiele łatwiejszy do wymiany łatwo dostępny slot ssd, ale głupią rzeczą NIE MOŻNA uruchomić z dodanego ssd bez fizycznego usunięcia drugiego ... (okropne bios, ale ... z racji tego, czym jest jednostka, jest naprawdę ładna, mocniejsza niż się wydaje ...poza powolnym ssd, który jest zainstalowany w taki sposób, że musisz wszystko rozdzielić, aby się do niego dostać ......), kompresując ten dysk i po prostu mając Windows i najbardziej podstawowe aplikacje (takie jak biuro) na wolnym ssd faktycznie przyspieszyło to, nawet w trybie odczytu / zapisu, ponieważ jego procesor faktycznie kończy się czekaniem na cholerny ssd..it dosnt na szybszy, który zainstalował ... zasugerowałem po prostu umieszczenie modułu ładującego rozruch na wewnętrznym ssd i OS na dodanym ale ... ma nadzieję, że w końcu zabije głupią rzecz, używając większości z tego dla pliku strony .... (jej 128 GB, ale bezbożnie wolny, jakbym miał dyski flash USB, które lepiej piszą speads ... które kosztują wszystko w sprzedaży w newegg / amazon ......)kompresowanie tego dysku i posiadanie systemu Windows i najbardziej podstawowych aplikacji (np. pakietu Office) na wolnym ssd faktycznie przyspieszyło go, nawet w trybie odczytu / zapisu, ponieważ jego procesor faktycznie kończy się czekaniem na cholerny ssd .. to dosnt na szybsze jeden, który zainstalował ... zasugerowałem po prostu umieszczenie modułu ładującego rozruch na wewnętrznym ssd i OS na dodanym, ale ... mam nadzieję, że w końcu zabiję głupotę, używając większości z tego dla pliku strony .... (jego 128 GB ale bezbożnie wolno, tak jak mam dyski flash USB, które lepiej zapisują speads .... które kosztują wszystko w sprzedaży w newegg / amazon ......)kompresowanie tego dysku i posiadanie systemu Windows i najbardziej podstawowych aplikacji (np. pakietu Office) na wolnym ssd faktycznie przyspieszyło go, nawet w trybie odczytu / zapisu, ponieważ jego procesor faktycznie kończy się czekaniem na cholerny ssd .. to dosnt na szybsze jeden, który zainstalował ... zasugerowałem po prostu umieszczenie modułu ładującego rozruch na wewnętrznym ssd i OS na dodanym, ale ... mam nadzieję, że w końcu zabiję głupotę, używając większości z tego dla pliku strony .... (jego 128 GB ale bezbożnie wolno, tak jak mam dyski flash USB, które lepiej zapisują speads .... które kosztują wszystko w sprzedaży w newegg / amazon ......)ma nadzieję, że w końcu zabije tę głupią rzecz, wykorzystując większość z niej do pliku strony .... (jej 128 GB, ale bezbożnie wolno, tak jak mam dyski flash USB z lepszym pisaniem ... to wszystko kosztuje w sprzedaży na newegg / amazon ......)ma nadzieję, że w końcu zabije tę głupią rzecz, wykorzystując większość z niej do pliku strony .... (jej 128 GB, ale bezbożnie wolno, tak jak mam dyski flash USB z lepszym pisaniem ... to wszystko kosztuje w sprzedaży na newegg / amazon ......)

MOCNO sugeruję kompresowanie przynajmniej twojego dysku / folderu z grami ... mój Boże, że to może zrobić nawet na szybkich systemach !!!

Windows kompresuje nieużywane ostatnio dane w pamięci RAM, a nawet dyski SSD stanowią ułamek prędkości, ale sądzę, że wydajność nie jest problemem. Bardziej martwię się o skompresowane bloki, które powodują 1-2-bitowy błąd i nie mogą odzyskać części lub wszystkich danych ... lub błąd słownika w najgorszym przypadku. Wszystko, co tworzy dysk, którego nie można odczytać w alternatywnych systemach operacyjnych i potencjalnie obniża niezawodność, nie jest warte dodatkowej prędkości, jaką może (IM) przynieść, IMHO. Pliki pakietów tekstur gier wideo i takie są zwykle już skompresowane, więc nie widzę, jak warstwowanie innego zestawu kompresji poprawi sytuację. Chciałbym zobaczyć system operacyjny, który obsługuje oznaczanie plików jako układ liniowy na geometrii dysku, więc losowe r / w nie jest używane. Przyspiesza to nawet na dyskach SSD w niektórych przypadkach użycia. Mój inny problem z kompresją polega na tym, że ponieważ obrazy i filmy są już skompresowane, podobnie jak dokumenty MS Office i mnóstwo innych formatów, utkniesz oznaczając pliki jako kompresowalne i zarządzając nimi. W przypadku drzewa źródeł linuksa lub dużego projektu open source może to bardzo pomóc, ponieważ kompresja jest zwykle optymalna dla plików tekstowych.

Kompresji NTFS systemu Microsoft Windows nie należy używać do plików innych niż pliki dziennika lub, ogólnie mówiąc, pliki tekstowe lub pliki o wysokim stopniu kompresji.

Zastanów się: historycznie widziałem, że wydajność kompresji plików utknęła przy 20-25 MiB / s. Jest to normalna szybkość kompresji pliku za pomocą jednego procesora 2,4–3,0 GHz. Kompresja NTFS nie jest wielowątkowa. To ogromny problem!

Rozważ przyzwoitą prędkość dysku twardego w dzisiejszych czasach wynosi 100 MiB / s. Jeśli nie uzyskasz około 4-5-krotnej kompresji, znacznie tracisz wydajność zarówno w czytaniu, jak i pisaniu. Oto co się dzieje.