Powiedzmy, że mam ogromny plik tekstowy (> 2 GB) i chcę tylko catwiersze Xdo Y(np. 57890000 do 57890010). Z tego, co rozumiem, mogę to zrobić przez pipingowanie headdo taillub odwrotnie, tj head -A /path/to/file | tail -B lub alternatywnie tail -C /path/to/file | head -D gdzie A, B, Ci...
Mój ogromny plik tekstowy (do 2 GiB) zawiera około 100 dokładnych duplikatów każdego wiersza w nim (w moim przypadku jest to bezużyteczne, ponieważ jest to tabela danych podobna do CSV). To, czego potrzebuję, to usunięcie wszystkich powtórzeń, podczas gdy (najlepiej, ale można to poświęcić w celu...
Mam ogromny (70 GB), jeden wiersz , plik tekstowy i chcę w nim zastąpić ciąg (token). Chcę zastąpić token <unk>innym tokenem zastępczym ( problem z rękawiczkami ). Próbowałem sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new ale plik wyjściowy corpus.txt.newma...
Mam dość duży plik (35 GB) i chciałbym filtrować ten plik in situ (tzn. Nie mam wystarczającej ilości miejsca na inny plik), a konkretnie chcę grepować i ignorować niektóre wzorce - czy istnieje sposób na zrobić to bez użycia innego pliku? Powiedzmy, że chcę odfiltrować wszystkie wiersze...
Mam dwa duże pliki (po 6 GB). Są nieposortowane, z \nseparatorami linii ( ). Jak mogę je odróżnić? Powinno to zająć mniej niż 24
Próbowałem z SCP, ale napis „Negatywny rozmiar pliku”. >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size Próbowałem także przy użyciu SFTP, działało dobrze do momentu przesłania 2 GB pliku, a następnie przestało działać: sftp> put matlab.iso Uploading matlab.iso to...
Mam plik tekstowy o pojemności 25 GB, który wymaga zastąpienia ciągu tylko w kilku wierszach. Mogę używać z sedpowodzeniem, ale uruchomienie zajmuje bardzo dużo czasu. sed -i 's|old text|new text|g' gigantic_file.sql Czy jest na to szybszy
Mam katalog z około 100 000 małych plików (każdy plik jest z 1-3 linii, każdy plik jest plikiem tekstowym). Rozmiar katalogu nie jest bardzo duży (<2 GB). Te dane znajdują się na profesjonalnie administrowanym serwerze NFS. Serwer działa pod Linuksem. Myślę, że systemem plików jest ext3, ale nie...
Mam ext4partycję 900 GB na (magnetycznym) dysku twardym, który nie ma wad i nie ma uszkodzonych sektorów. Partycja jest całkowicie pusta, z wyjątkiem pustego lost+foundkatalogu. Partycja została sformatowana przy użyciu domyślnych parametrów, tyle że ustawiłem liczbę zarezerwowanych bloków systemu...
Mam kilka plików o rozmiarze> 1 GB każdy. Muszę usunąć kilka ostatnich bajtów z plików. Jak mogę to zrobić? Wolę edytować plik w miejscu, aby zaoszczędzić miejsce na dysku. Jestem na
Czy przydatne jest użycie opcji -T duży plik przy tworzeniu systemu plików dla partycji z dużymi plikami, takimi jak wideo i audio w formacie flac? Przetestowałem tę samą partycję z tą flagą i bez niej, i używając tune2fs -l [partycja] , sprawdziłem w „Funkcjach systemu plików”, które mają...
W tym samym duchu, co inne pytanie: linia kota X do linii Y dużego pliku : Czy istnieje sposób na otwarcie z poziomu Emacsa (i wyświetlenie w buforze) danego zestawu linii (np. Wszystkich linii między linią Xa Y) z dużego pliku tekstowego? Np. Otwórz i pokaż w buforze wszystkie linie między...
Mam plik tekstowy 250 MB, wszystko w jednym wierszu. W tym pliku chcę zastąpić aznaki bznakami: sed -e "s/a/b/g" < one-line-250-mb.txt Nie działa z: sed: couldn't re-allocate memory Wydaje mi się, że tego rodzaju zadanie można wykonać w jednej linii bez przydzielania dużej ilości pamięci....