Sposoby usuwania lub izolowania całych wierszy w ogromnym zbiorze danych

-1

Pracuję z ogromnym plikiem danych (około 400 000 wierszy i 8 kolumn) w pakiecie Libre Office. Muszę pozbyć się pewnych wierszy, więc wybrałem wszystkie komórki o pożądanej wartości (za pomocą Find & Replace ) i próbowałem Edit > Delete Cells > Delete entire row(s). Ekran zanika i nadal, po około 15 minutach nigdzie mnie nie dostanie (ekran zanika na szaro, program nie odpowiada). Wybranie „tylko” kilku tysięcy wierszy spowodowało to samo.

Czy istnieje alternatywny sposób pozbycia się tysięcy wierszy w tym samym czasie? Rozwiązania w Libre Office, Gnumeric lub R lub innym otwartym oprogramowaniu są mile widziane.


Dane są zorganizowane w ten sposób (mała próbka):

Region, czas, itd., Wartości

Cypr, JanDec 2000, gdzieś, 0
Cypr, JanDec 2001, kody, 74.2
Cypr, JanDec 2002, kody, 68,7
Cypr, JanDec 2003, kody, 59.1
Cypr, JanDec 2004, kody, 50.3
Cypr, JanDec 2005, somecodes, 71.1
Cypr, styczeń 2006, kody, 45,7
Cypr, JanDec 2007, somecodes, 45,7
Cypr, JanDec 2008, kody, 50,4
Cypr, JanDec 2009, somecodes, 80
Cypr, JanDec 2010, kody, 47.2
Cypr, JanDec 2011, somecodes, 44.1
Hiszpania, JanDec 2000, gdzieś, 5
...

Okres czasu wynosi od 2000 do 2011 roku. Muszę pozbyć się wszystkich wierszy zawierających lata 2000–2005 i 2011.

spreadsheet libreoffice-calc Stockfisch
źródło
1
w jakim formacie znajduje się plik? csv?
RJ-
Zapomniałem to dodać. Mogę go zapisać w .csv, jeśli to pomoże. W tej chwili jest to plik .ods.
Stockfisch
jeśli masz wystarczającą ilość pamięci RAM, możesz ją łatwo odczytać za pomocą R read.csv i stamtąd filtrować. jeśli nie masz wystarczającej ilości pamięci RAM, możesz nadal korzystać sqldf pakiet, aby zrobić to samo
RJ-
Ile jest pozostałych wierszy? Może łatwiej byłoby po prostu skopiować pozostałe wiersze do innego pliku niż usunąć zbyt wiele wierszy?
spapakons
Jeśli chcesz uzyskać więcej pomocy, spróbuj opublikować segment swoich danych i to, co chcesz filtrować. ułatwia to innym pomoc.
RJ-

Odpowiedzi:

0

Spróbuj tego:

1. Zapisz go jako CSV.

  1. Zmień nazwę na TXT (jeśli w systemie Windows usuń zaznaczenie pola wyboru, aby ukryć znane rozszerzenia, na narzędziach & gt; opcje pokazywania rozszerzeń), tylko LibreOffice nie próbuje go otwierać za pomocą Calc.

  2. Otwórz go za pomocą Write. Aby zrobić to bardziej czysto dla oczu, wybierz Dysplay & gt; Układ sieciowy.

  3. Wybierz linie, które chcesz wymazać i zrób to. Od pierwszej linii, umieść kursor przed pierwszym znakiem, następnie przytrzymaj shift i użyj klawiszy strzałek w dół / w górę, aby wybrać linie do usunięcia.

  4. Po zakończeniu usuwania nieistotnych linii zapisz plik (jako TXT) i zmień jego nazwę na CSV.

Uwaga: usuniesz wszystkie formuły, jeśli istnieją.

kokbira
źródło