Czy duża pamięć RAM poprawi system plików zapisu we / wy?

1

Na naszym serwerze mamy setki milionów małych plików, w sumie około 500 GB. Szukam sposobu na przyspieszenie ich tworzenia. Czy byłaby jakaś różnica, jeśli otrzymam więcej pamięci RAM do tego celu? Powiedz 32 GB zamiast 8 GB. Wiem, że system operacyjny wykorzystuje trochę pamięci RAM jako pamięć podręczną FS (domyślnie 50%), ale czy zwiększy liczbę zapisów na sekundę?

Linux, EXT4.

Dzięki!

linux memory filesystems cache Astronauta
źródło

Odpowiedzi:

0
  1. Uporządkuj swoje pliki, jeśli znajdują się w tym samym folderze lub jest ich wiele w tym samym folderze (spróbuj ograniczyć do 4-5 000 plików / folderu).
  2. Staraj się unikać wypełniania dysków HD (mieć ~ 20% wolnego miejsca na dysku), aby uniknąć fragmentacji
  3. Pamięć RAM pomaga w obliczeniach, pracując jednocześnie z dużą porcją danych, więc jeśli więcej pamięci RAM pomaga, naprawdę zależy to od sposobu korzystania z tych plików ... W operacjach we / wy i plikach należy bardziej skoncentrować się na szybkości FSB i HDD ( „RPM”), a także rozmiar bufora dysku twardego i szybkość dostępu.

źródło
dzięki @Mark. Więc prosta odpowiedź brzmi „nie”? Jeśli inne szczegóły są takie same, pliki uporządkowane w podfoldery, nie ma dużych plików (największy to 50 MB) - wtedy dodatkowa pamięć RAM jest bezużyteczna, prawda?
Spaceman
@Spaceman rzeczywiście. Nie pomoże, poza tym, że aplikacja, o której wspominasz „tworzenie plików”, nie jest zbyt dobrze napisana, a więcej pamięci RAM pomaga jej działać szybciej. Ale jeśli wszystko jest w porządku, a tak naprawdę dzieje się tylko operacja na plikach / IO i nic więcej, jedyne, co pomaga, to to, co napisałem powyżej
0

Prosta odpowiedź brzmi NIE, pamięć RAM nie wpłynie na szybkość zapisywania małych plików.

Złożona odpowiedź brzmi: ZALEŻY od ilości danych zapisywanych w danym momencie. Jeśli więcej niż ~ 4 GB ? (oszacowanie na podstawie zajmowania przez system 4 GB) w dowolnym momencie (wysoka liczba operacji we / wy), wówczas zyskasz na zwiększonej pamięci RAM z powodu intensywniejszego użycia bufora zapisu. http://en.wikipedia.org/wiki/Data_buffer

Informatyka: dane są zapisywane w pamięci RAM podczas żądania zapisu na dysk. Kopiowanie pliku może się zakończyć, ale system operacyjny będzie nadal opróżniał dane z pamięci RAM na dysk.

Ta odpowiedź została napisana z myślą o systemie Linux.

W twoim przypadku zostanie osiągnięta większa prędkość dzięki:

  • Połączenie płyty głównej SATA III lub SATA II z dyskiem SSD, dysk twardy nie przyniesie większych korzyści, jeśli nie przekroczy 7200 obr / min (prędkość + 150 MB / s) (jest to aktualizacja płyty głównej)
  • Lepszy procesor, a zatem proces zapisu we / wy szybciej
  • SSD + co najmniej SATA II. Najbardziej wpływowy czynnik w szybkości zapisu pliku.

Jak zawsze, najsłabsze łącze w systemie będzie utrudniać każdą aktualizację, pamiętaj o tym, jeśli kupujesz dysk SSD, ale masz procesor Intel Pentium.

Pionier
źródło