Zarządzanie pamięcią R / nie można przydzielić wektora o rozmiarze n Mb

Mam problemy z używaniem dużych obiektów w R. Na przykład:

> memory.limit(4000)
> a = matrix(NA, 1500000, 60)
> a = matrix(NA, 2500000, 60)
> a = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb
> a = matrix(NA, 2500000, 60)
Error: cannot allocate vector of size 572.2 Mb # Can't go smaller anymore
> rm(list=ls(all=TRUE))
> a = matrix(NA, 3500000, 60) # Now it works
> b = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb # But that is all there is room for

Rozumiem, że jest to związane z trudnością uzyskania ciągłych bloków pamięci ( stąd ):

Komunikaty o błędach rozpoczynające się nie mogą przydzielić wektora rozmiaru wskazują na niepowodzenie w uzyskaniu pamięci, ponieważ rozmiar przekracza limit przestrzeni adresowej dla procesu lub, co bardziej prawdopodobne, ponieważ system nie był w stanie zapewnić pamięci. Należy zauważyć, że w przypadku kompilacji 32-bitowej może być wystarczająco dużo dostępnej pamięci, ale nie wystarczająco duży ciągły blok przestrzeni adresowej, na który można by go zmapować.

Jak mogę to obejść? Moją główną trudnością jest to, że docieram do pewnego punktu w moim skrypcie, a R nie może przydzielić 200-300 Mb dla obiektu ... Tak naprawdę nie mogę wstępnie przydzielić bloku, ponieważ potrzebuję pamięci do innego przetwarzania. Dzieje się tak nawet wtedy, gdy skrupulatnie usuwam niepotrzebne przedmioty.

EDYCJA: Tak, przepraszam: Windows XP SP3, 4 Gb RAM, R 2.12.0:

> sessionInfo()
R version 2.12.0 (2010-10-15)
Platform: i386-pc-mingw32/i386 (32-bit)

locale:
[1] LC_COLLATE=English_Caribbean.1252  LC_CTYPE=English_Caribbean.1252   
[3] LC_MONETARY=English_Caribbean.1252 LC_NUMERIC=C                      
[5] LC_TIME=English_Caribbean.1252    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base

Zastanów się, czy naprawdę potrzebujesz wszystkich tych danych bezpośrednio, czy też macierz może być rzadka? Jest dobre wsparcie w R (zobacz Matrixnp. Pakiet) dla rzadkich macierzy.

Ogranicz wszystkie inne procesy i obiekty w R do minimum, gdy musisz tworzyć obiekty o tym rozmiarze. Użyj, gc()aby wyczyścić nieużywaną pamięć lub lepiej utworzyć obiekt, którego potrzebujesz, w jednej sesji .

Jeśli powyższe nie pomoże, zdobądź 64-bitową maszynę z taką ilością pamięci RAM, na jaką Cię stać, i zainstaluj 64-bitową wersję R.

Jeśli nie możesz tego zrobić, istnieje wiele usług online do zdalnego przetwarzania.

Jeśli nie możesz tego zrobić, narzędzia do mapowania pamięci, takie jak pakiet ff(lub bigmemoryjak wspomina Sascha), pomogą ci zbudować nowe rozwiązanie. Z mojego ograniczonego doświadczenia ffwynika, że ​​pakiet jest bardziej zaawansowany, ale należy przeczytać High Performance Computingtemat dotyczący widoków zadań CRAN.

W przypadku użytkowników systemu Windows następujące informacje bardzo pomogły mi w zrozumieniu niektórych ograniczeń pamięci:

• przed otwarciem R otwórz Monitor zasobów systemu Windows (Ctrl-Alt-Delete / Uruchom Menedżera zadań / karta Wydajność / kliknij dolny przycisk `` Monitor zasobów '' / karta Pamięć)
• zobaczysz, ile pamięci RAM wykorzystaliśmy już przed otwarciem R i przez które aplikacje. W moim przypadku zużyto 1,6 GB z całości 4 GB. Więc będę mógł zdobyć tylko 2,4 GB za R, ale teraz jest gorzej ...
• otwórz R i utwórz zestaw danych o wielkości 1,5 GB, a następnie zmniejsz jego rozmiar do 0,5 GB, Monitor zasobów pokazuje, że moja pamięć RAM jest używana w prawie 95%.
• użyj gc()do zbierania śmieci => działa, widzę, że użycie pamięci spada do 2 GB

Dodatkowe porady, które działają na moim komputerze:

• przygotuj funkcje, zapisz jako plik RData, zamknij R, ponownie otwórz R i załaduj funkcje pociągu. Menedżer zasobów zwykle pokazuje mniejsze użycie pamięci, co oznacza, że nawet gc () nie odzyskuje całej możliwej pamięci, a zamykanie / ponowne otwieranie języka R działa najlepiej, aby rozpocząć z maksymalną dostępną pamięcią .
• druga sztuczka polega na załadowaniu zestawu pociągów tylko do szkolenia (nie ładuj zestawu testowego, który zazwyczaj może być o połowę mniejszy od zestawu). Faza treningowa może maksymalnie wykorzystywać pamięć (100%), więc wszystko, co jest dostępne, jest przydatne. Wszystko to należy potraktować z przymrużeniem oka, ponieważ eksperymentuję z limitami pamięci R.

Oto prezentacja na ten temat, która może Cię zainteresować:

http://www.bytemining.com/2010/08/taking-r-to-the-limit-part-ii-large-datasets-in-r/

Sam nie próbowałem omawianych rzeczy, ale bigmemorypakiet wydaje się bardzo przydatny

Najprostszym sposobem ominięcia tego ograniczenia jest przełączenie na 64-bitowy R.

Napotkałem podobny problem i użyłem 2 dysków flash jako „ReadyBoost”. Dwa dyski dały dodatkowe 8 GB pamięci (dla pamięci podręcznej) i rozwiązały problem, a także zwiększyły szybkość całego systemu. Aby użyć Readyboost, kliknij prawym przyciskiem myszy dysk, przejdź do właściwości i wybierz „ReadyBoost” i wybierz przycisk opcji „użyj tego urządzenia” i kliknij zastosuj lub ok, aby skonfigurować.

Poszedłem na stronę pomocy memor.limit i dowiedziałem się, że na moim komputerze R domyślnie może używać do ~ 1,5 GB pamięci RAM i że użytkownik może zwiększyć ten limit. Używając poniższego kodu,

>memory.limit()
[1] 1535.875
> memory.limit(size=1800)

pomógł mi rozwiązać mój problem.

Jeśli uruchamiasz skrypt w środowisku linux, możesz użyć tego polecenia:

bsub -q server_name -R "rusage[mem=requested_memory]" "Rscript script_name.R"

a serwer przydzieli Ci żądaną pamięć (zgodnie z limitami serwera, ale z dobrym serwerem - można użyć wielkich plików)

Wspomniana powyżej metoda zapisywania / ładowania działa dla mnie. Nie jestem pewien, jak / czy gc()rozszarpuje pamięć, ale wydaje się, że działa.

# defrag memory 
save.image(file="temp.RData")
rm(list=ls())
load(file="temp.RData")