Buforowanie / wstępne ładowanie plików w systemie Linux do pamięci RAM

Mam dość stary serwer, który ma 4 GB pamięci RAM i przez cały dzień obsługuje te same pliki, ale robi to z dysku twardego, podczas gdy 3 GB pamięci RAM jest „wolne”.

Każdy, kto kiedykolwiek próbował uruchomić napęd RAM, może zobaczyć, że jest niesamowity pod względem prędkości. Zużycie pamięci przez ten system zwykle nie przekracza 1 GB / 4 GB, więc chcę wiedzieć, czy istnieje sposób na wykorzystanie tej dodatkowej pamięci do czegoś dobrego.

• Czy można powiedzieć systemowi plików, aby zawsze obsługiwał określone pliki poza pamięcią RAM?
• Czy są jakieś inne metody, których można użyć do poprawy możliwości odczytu plików przy użyciu pamięci RAM?

Mówiąc dokładniej, nie szukam tutaj „hacka”. Chcę, aby wywołania systemu plików obsługiwały pliki z pamięci RAM bez potrzeby tworzenia napędu RAM i kopiowania tam plików ręcznie. A przynajmniej skrypt, który to dla mnie robi.

Możliwe zastosowania to:

• Serwery WWW z plikami statycznymi, które są odczytywane dużo
• Serwery aplikacji z dużymi bibliotekami
• Komputery stacjonarne ze zbyt dużą pamięcią RAM

Jakieś pomysły?

Edytować:

• Znalazłem to bardzo pouczające: pamięć podręczna stron Linux i pdflush
• Jak zauważył Zan, pamięć nie jest tak naprawdę wolna. Mam na myśli to, że nie są używane przez aplikacje i chcę kontrolować, co powinno być buforowane w pamięci.

vmtouch wydaje się dobrym narzędziem do pracy.

Najważniejsze:

• zapytać, ile części katalogu jest buforowane
• zapytaj, ile plików jest buforowanych (także które strony, reprezentacja graficzna)
• załaduj plik do pamięci podręcznej
• usuń plik z pamięci podręcznej
• blokuj pliki w pamięci podręcznej
• działać jako demon

Instrukcja vmtouch

EDYCJA: Wykorzystanie zadane w pytaniu jest wymienione w przykładzie 5 na vmtouch Hompage

Example 5

Daemonise and lock all files in a directory into physical memory:

vmtouch -dl /var/www/htdocs/critical/

EDYCJA 2: Jak zauważono w komentarzach, dostępne jest teraz repozytorium git .

Jest to również możliwe przy użyciu vmtouch Wirtualna Toucher pamięci narzędzia .

Narzędzie pozwala kontrolować pamięć podręczną systemu plików w systemie Linux. Można wymusić lub zablokować określony plik lub katalog w podsystemie pamięci podręcznej maszyny wirtualnej lub użyć go do sprawdzenia, które części pliku / katalogu znajdują się w maszynie wirtualnej.

How much of the /bin/ directory is currently in cache?

$ vmtouch /bin/
           Files: 92
     Directories: 1
  Resident Pages: 348/1307  1M/5M  26.6%
         Elapsed: 0.003426 seconds

Lub...

Let's bring the rest of big-dataset.txt into memory...

$ vmtouch -vt big-dataset.txt
big-dataset.txt
[OOo                                                 oOOOOOOO] 6887/42116
[OOOOOOOOo                                           oOOOOOOO] 10631/42116
[OOOOOOOOOOOOOOo                                     oOOOOOOO] 15351/42116
[OOOOOOOOOOOOOOOOOOOOOo                              oOOOOOOO] 19719/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOo                        oOOOOOOO] 24183/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo                  oOOOOOOO] 28615/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo              oOOOOOOO] 31415/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo      oOOOOOOO] 36775/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOo  oOOOOOOO] 39431/42116
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOO] 42116/42116

           Files: 1
     Directories: 0
   Touched Pages: 42116 (164M)
         Elapsed: 12.107 seconds

Sztuczka biedaka polegająca na wrzuceniu rzeczy do pamięci podręcznej systemu plików polega na tym, że po prostu ją przechwycisz i przekierujesz do / dev / null.

Linux buforuje tyle pamięci IO dysku w pamięci, ile może. Takie są statystyki pamięci podręcznej i bufora. Prawdopodobnie wykona lepszą pracę niż przechowywanie odpowiednich rzeczy.

Jeśli jednak nalegasz na przechowywanie danych w pamięci, możesz utworzyć napęd RAM za pomocą tmpfs lub ramfs. Różnica polega na tym, że ramfs przydzieli całą pamięć, o którą prosisz, ponieważ tmpfs wykorzysta tylko pamięć używaną przez twoje urządzenie blokowe. Moja pamięć jest trochę zardzewiała, ale powinieneś być w stanie zrobić:

 # mount -t ramfs ram /mnt/ram 

lub

 # mount -t tmpfs tmp /mnt/tmp

a następnie skopiuj swoje dane do katalogu. Oczywiście, kiedy wyłączysz maszynę lub odmontujesz tę partycję, twoje dane zostaną utracone.

Po obszernym przeczytaniu na temat zamiany jądra 2.6 i funkcji buforowania stron znalazłem „narzędzia fcoretools”. Który składa się z dwóch narzędzi;

• fincore: pokaże, ile stron aplikacja zapisała w pamięci podstawowej
• fadvise: Umożliwia manipulowanie pamięcią podstawową (cache strony).

(Jeśli ktoś inny uzna to za interesujące, zamieszczam to tutaj)

Istnieją dwa ustawienia jądra, które mogą znacznie pomóc nawet bez użycia innych narzędzi:

zamiana

informuje jądro Linuksa, jak agresywnie powinien używać swap. Cytując artykuł w Wikipedii:

Swappiness to właściwość jądra systemu Linux, która zmienia równowagę między zamianą pamięci środowiska wykonawczego, a nie usuwanie stron z pamięci podręcznej stron systemowych. Swappiness można ustawić na wartości od 0 do 100 włącznie. Niska wartość oznacza, że ​​jądro będzie starało się unikać zamiany tak bardzo, jak to możliwe, a wyższa wartość spowoduje, że jądro będzie agresywnie próbowało używać przestrzeni wymiany. Domyślną wartością jest 60, a dla większości systemów stacjonarnych ustawienie jej na 100 może wpłynąć na ogólną wydajność, natomiast ustawienie jej na niższą wartość (nawet 0) może poprawić interaktywność (zmniejszając opóźnienie odpowiedzi).

vfs_cache_pressure

Cytowanie z vm.txt :

Kontroluje tendencję jądra do odzyskiwania pamięci używanej do buforowania obiektów katalogów i i-węzłów.

Przy domyślnej wartości vfs_cache_pressure = 100 jądro będzie próbowało odzyskać dentries i i-węzły z „uczciwą” szybkością w odniesieniu do odzyskiwania pagecache i swapcache. Zmniejszenie vfs_cache_pressure powoduje, że jądro woli zachować pamięć podręczną dentysty i i-węzła. ...

Ustawiając swappinesswysoką wartość (np. 100), jądro przenosi wszystko, czego nie trzeba zamieniać, zwalniając pamięć RAM do buforowania plików. A poprzez ustawienie vfs_cache_pressureniższej (powiedzmy na 50, a nie na 0!), Faworyzuje buforowanie plików zamiast przechowywania danych aplikacji w pamięci RAM.

(Pracuję nad dużym projektem Java i za każdym razem, gdy go uruchamiam, wymagało to dużo pamięci RAM i opróżniłem pamięć podręczną dysku, więc przy następnym kompilowaniu projektu wszystko zostało ponownie odczytane z dysku. Dostosowując te dwa ustawienia, zarządzam aby zachować źródła i skompilowane dane w pamięci podręcznej w pamięci RAM, co znacznie przyspiesza proces).

Bardzo wątpię, czy faktycznie obsługuje pliki z dysku z 3 GB wolnej pamięci RAM. Buforowanie plików systemu Linux jest bardzo dobre.

Jeśli widzisz dyskowe operacje we / wy, zajrzałbym do twoich konfiguracji rejestrowania. Wiele dzienników jest ustawianych jako niebuforowanych, aby zagwarantować dostępność najnowszych informacji dziennika w razie awarii. W systemach, które muszą być szybkie niezależnie od tego, używaj buforowanego dziennika operacji we / wy lub zdalnego serwera dziennika.

Jeśli masz dużo pamięci, możesz po prostu wczytać pliki, które chcesz buforować za pomocą cat lub podobnego. Linux wykona dobrą robotę, utrzymując go przy sobie.

Możesz mieć program, który po prostu mmaps twoje pliki, a następnie nadal działa.

Istnieją różne systemy ramfs, z których możesz korzystać (np. Ramfs, tmpfs), ale ogólnie, jeśli pliki są tak często odczytywane, to znajdują się w pamięci podręcznej systemu plików. Jeśli twój roboczy zestaw plików jest większy niż twój darmowy RAM, pliki zostaną z niego usunięte - ale jeśli twój roboczy zestaw jest większy niż twój darmowy RAM, nie ma możliwości, abyś zmieścił to wszystko w ramdysku.

Sprawdź dane wyjściowe polecenia „free” w powłoce - wartość w ostatniej kolumnie pod „Cached” określa, ile wolnej pamięci RAM zużywa pamięć podręczna systemu plików.

Jeśli chodzi o twoje ostatnie pytanie, upewnij się, że pamięć RAM znajduje się w różnych kanałach pamięci, aby procesor mógł pobierać dane równolegle.

Myślę, że można to lepiej rozwiązać na poziomie aplikacji. Na przykład są do tego prawdopodobnie wyspecjalizowane serwery sieciowe lub możesz rozważyć mod_cache z Apache. Jeśli masz konkretny cel, np. Szybsze udostępnianie treści internetowych, możesz uzyskać ulepszenia z tego rodzaju rzeczy.

Ale twoje pytanie ma charakter ogólny, podsystem pamięci Linux został zaprojektowany w celu zapewnienia najlepszego ogólnego wykorzystania pamięci RAM. Jeśli chcesz kierować reklamy na określone typy wydajności, zastanów się nad sprawdzeniem wszystkiego w / proc / sys / vm.

Pakiet fcoretools jest interesujący, zainteresowałbym się wszelkimi artykułami na temat jego aplikacji ... Ten link mówi o rzeczywistych wywołaniach systemowych używanych w aplikacji.

Komputery stacjonarne (np. Ubuntu) już korzystają z plików wstępnego ładowania (przynajmniej popularnych bibliotek współdzielonych) do pamięci podczas uruchamiania. Służy do przyspieszenia uruchamiania i uruchamiania różnych programów typu bloarware, takich jak FF, OO, KDE i GNOME (z ewolucją programu typu bloat-mailer).

Narzędzie nazywa się readahead http://packages.ubuntu.com/dapper/admin/readahead

Istnieje również odpowiednie wywołanie systemowe: readahead (2) http://linux.die.net/man/2/readahead

Istnieje również projekt demona wstępnego ładowania: http://linux.die.net/man/8/preload

http://www.coker.com.au/memlockd/ robi to

chociaż tak naprawdę nie jest to potrzebne, Linux wykona całkiem niezłą robotę buforując pliki, których używasz samodzielnie.

właśnie próbowałem dd if = / dev / yourrootpartition of = / dev / null \ bs = 1Mcount = howmuchmemoryyouwanttofill

nie daje mi kontroli, której pragniesz, ale przynajmniej próbuje wykorzystać zmarnowaną pamięć

Używam find / -name stringofrandomcharacter to pomaga dużo

Nie do końca o to pytano, ale używam

znajdź BASE_DIRECTORY -typ f -exec cat {}> / dev / null \;

aby uruchomić inicjalizację plików w woluminie AWS utworzonym z migawki. Jest bardziej skoncentrowany niż oficjalne zalecenie używania dd, jeśli chcesz po prostu przeczytać niektóre pliki.

Czasami mogę chcieć buforować pliki w określonym folderze i jego podfolderach. Po prostu przechodzę do tego folderu i wykonuję następujące czynności:

odnaleźć . -exec cp {} / dev / null \;

Te pliki są buforowane