Czytaj tylko wybrane kolumny

138

Czy ktoś może mi powiedzieć, jak odczytać tylko pierwsze 6 miesięcy (7 kolumn) dla każdego roku z poniższych danych, na przykład za pomocą read.table()?

Year   Jan  Feb  Mar  Apr  May  Jun  Jul  Aug  Sep  Oct  Nov  Dec   
2009   -41  -27  -25  -31  -31  -39  -25  -15  -30  -27  -21  -25
2010   -41  -27  -25  -31  -31  -39  -25  -15  -30  -27  -21  -25 
2011   -21  -27   -2   -6  -10  -32  -13  -12  -27  -30  -38  -29
StarCub
źródło
5
To duplikat sposobów, aby czytać tylko wybrane kolumny z pliku do R? , Dirk wspomniał o NULLklasie w swojej odpowiedzi .
Marek
stats.stackexchange.com/questions/16796/…
Ciro Santilli 郝海东 冠状 病 六四 事件 法轮功
3
@CiroSantilli 包子 露 宪 六四 事件 法轮功 jasne, ale ... zapytałem najpierw?
StarCub
Nie sugerowałem lepszej / gorszej relacji. Co więcej, nie ma duplikatów z różnych witryn, na to pozwala niespójna sieć wymiany stosów, chyba że sam
przekażesz

Odpowiedzi:

158

Powiedzmy, że dane są w pliku data.txt, możesz użyć colClassesargumentu, read.table()aby pominąć kolumny. Tutaj znajdują się dane w pierwszych 7 kolumnach, "integer"a pozostałe 6 kolumn ustawiamy tak, aby "NULL"wskazywały, że należy je pominąć

> read.table("data.txt", colClasses = c(rep("integer", 7), rep("NULL", 6)), 
+            header = TRUE)
  Year Jan Feb Mar Apr May Jun
1 2009 -41 -27 -25 -31 -31 -39
2 2010 -41 -27 -25 -31 -31 -39
3 2011 -21 -27  -2  -6 -10 -32

Zmień "integer"na jeden z akceptowanych typów zgodnie z opisem w ?read.tablezależności od rzeczywistego typu danych.

data.txt wygląda tak:

$ cat data.txt 
"Year" "Jan" "Feb" "Mar" "Apr" "May" "Jun" "Jul" "Aug" "Sep" "Oct" "Nov" "Dec"
2009 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2010 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2011 -21 -27 -2 -6 -10 -32 -13 -12 -27 -30 -38 -29

i został utworzony przy użyciu

write.table(dat, file = "data.txt", row.names = FALSE)

gdzie datjest

dat <- structure(list(Year = 2009:2011, Jan = c(-41L, -41L, -21L), Feb = c(-27L, 
-27L, -27L), Mar = c(-25L, -25L, -2L), Apr = c(-31L, -31L, -6L
), May = c(-31L, -31L, -10L), Jun = c(-39L, -39L, -32L), Jul = c(-25L, 
-25L, -13L), Aug = c(-15L, -15L, -12L), Sep = c(-30L, -30L, -27L
), Oct = c(-27L, -27L, -30L), Nov = c(-21L, -21L, -38L), Dec = c(-25L, 
-25L, -29L)), .Names = c("Year", "Jan", "Feb", "Mar", "Apr", 
"May", "Jun", "Jul", "Aug", "Sep", "Oct", "Nov", "Dec"), class = "data.frame",
row.names = c(NA, -3L))

Jeśli liczba kolumn nie jest wcześniej znana, funkcja programu narzędziowego count.fieldsodczyta plik i policzy liczbę pól w każdym wierszu.

## returns a vector equal to the number of lines in the file
count.fields("data.txt", sep = "\t")
## returns the maximum to set colClasses
max(count.fields("data.txt", sep = "\t"))
Gavin Simpson
źródło
1
@Benjamin Przeczytaj kilka pierwszych wierszy z pliku używając argumentu nrows. Następnie sprawdź, ile kolumn jest używanych ncol(), lub w inny sposób chcesz obliczyć liczbę kolumn do odczytania / zignorowania. Następnie przeczytaj cały plik, korzystając z tych informacji.
Gavin Simpson
1
?? Jeśli nie znasz liczby kolumn, jak inaczej zamierzasz ją określić bez czytania jej fragmentu, aby wywnioskować, ile ich jest?
Gavin Simpson
1
@BlueMagister Dzięki za edycję i wzmiankę o count.fields()automatyzacji procesu, który zasugerowałem w komentarzach.
Gavin Simpson
1
@ LéoLéopoldHertz 준영 Nie, i nie jestem pewien, jak to działałoby dla klas wierszy , takich jak ramka danych, podczas gdy każda kolumna może być innego typu, każdy wiersz jest z definicji i w rezultacie nieograniczony. Po zaimportowaniu musisz odfiltrować puste wiersze itp.
Gavin Simpson
1
@rmf możesz przekazać count.fields()połączenie tekstowe, więc przeczytaj jakiś podzbiór wierszy za pomocą txt <- readLines(....), a następnie utwórz połączenie z czytanymi wierszami con <- textConnection(txt), a następnie wykonaj count.fields(txt). Pamiętaj, aby użyć skipin, count.fields()aby pominąć wiersz nagłówka, jeśli taki istnieje; nie możesz pominąć wierszy w pliku za pomocą readLines().
Gavin Simpson
88

Aby odczytać określony zestaw kolumn ze zbioru danych, istnieje kilka innych opcji:

1) W freadz data.table-package:

Można określić żądane kolumny z selectparametru z freadod data.tablepakietu. Możesz określić kolumny za pomocą wektora nazw kolumn lub numerów kolumn.

Na przykład zbiór danych:

library(data.table)
dat <- fread("data.txt", select = c("Year","Jan","Feb","Mar","Apr","May","Jun"))
dat <- fread("data.txt", select = c(1:7))

Alternatywnie możesz użyć dropparametru, aby wskazać, które kolumny nie powinny być czytane:

dat <- fread("data.txt", drop = c("Jul","Aug","Sep","Oct","Nov","Dec"))
dat <- fread("data.txt", drop = c(8:13))

Wszystkie skutkują:

> data
  Year Jan Feb Mar Apr May Jun
1 2009 -41 -27 -25 -31 -31 -39
2 2010 -41 -27 -25 -31 -31 -39
3 2011 -21 -27  -2  -6 -10 -32

UPDATE: Jeśli nie chcesz freadzwracać danych.table , użyj data.table = FALSEparametru -parameter , np .:fread("data.txt", select = c(1:7), data.table = FALSE)

2) Z read.csv.sqlz sqldf-package:

Inną alternatywą jest read.csv.sqlfunkcja z sqldfpakietu:

library(sqldf)
dat <- read.csv.sql("data.txt",
                    sql = "select Year,Jan,Feb,Mar,Apr,May,Jun from file",
                    sep = "\t")

3) Z funkcjami read_*z readrpakietu:

library(readr)
dat <- read_table("data.txt",
                  col_types = cols_only(Year = 'i', Jan = 'i', Feb = 'i', Mar = 'i',
                                        Apr = 'i', May = 'i', Jun = 'i'))
dat <- read_table("data.txt",
                  col_types = list(Jul = col_skip(), Aug = col_skip(), Sep = col_skip(),
                                   Oct = col_skip(), Nov = col_skip(), Dec = col_skip()))
dat <- read_table("data.txt", col_types = 'iiiiiii______')

Z dokumentacji wyjaśnienie używanych znaków z col_types:

każdy znak reprezentuje jedną kolumnę: c = znak, i = liczba całkowita, n = liczba, d = podwójne, l = logiczne, D = data, T = data i godzina, t = godzina,? = zgadnij lub _ / -, aby pominąć kolumnę

Jaap
źródło
freadnie obsługuje jednak plików skompresowanych. Duże pliki są zwykle kompresowane.
CoderGuy123
Pojawiła się prośba o włączenie tej funkcji w programie fread. Warto zauważyć, że freadprawdopodobnie odczyta nieskompresowany plik znacznie szybciej niż read.tableplik skompresowany. Zobacz tutaj przykład .
Jaap
Niektóre nieskompresowane pliki są zbyt duże. Np. Pracuję z plikami 1000 Genomes. Mogą być nieskompresowane do 60 GB.
CoderGuy123
1
Jak zapewne wiesz, R czyta dane w pamięci. To, czy czytasz spakowany plik, czy rozpakowany plik, nie ma wpływu na rozmiar danych wynikowych w pamięci. Jeśli masz 60 GB w plikach, read.tablenie uratuje Cię. W takim przypadku możesz spojrzeć na ff-package.
Jaap
2
@Deleet Można użyć freaddo odczytu dużych skompresowanych plików jak to: fread("gunzip -c data.txt.gz", drop = c(8:13)).
arekolek
8

Aby to osiągnąć, możesz również użyć JDBC. Utwórzmy przykładowy plik CSV.

write.table(x=mtcars, file="mtcars.csv", sep=",", row.names=F, col.names=T) # create example csv file

Pobierz i zapisz sterownik CSV JDBC z tego łącza: http://sourceforge.net/projects/csvjdbc/files/latest/download

> library(RJDBC)

> path.to.jdbc.driver <- "jdbc//csvjdbc-1.0-18.jar"
> drv <- JDBC("org.relique.jdbc.csv.CsvDriver", path.to.jdbc.driver)
> conn <- dbConnect(drv, sprintf("jdbc:relique:csv:%s", getwd()))

> head(dbGetQuery(conn, "select * from mtcars"), 3)
   mpg cyl disp  hp drat    wt  qsec vs am gear carb
1   21   6  160 110  3.9  2.62 16.46  0  1    4    4
2   21   6  160 110  3.9 2.875 17.02  0  1    4    4
3 22.8   4  108  93 3.85  2.32 18.61  1  1    4    1

> head(dbGetQuery(conn, "select mpg, gear from mtcars"), 3)
   MPG GEAR
1   21    4
2   21    4
3 22.8    4
Rahul Premraj
źródło
0

Robisz to tak:

df = read.table("file.txt", nrows=1, header=TRUE, sep="\t", stringsAsFactors=FALSE)
colClasses = as.list(apply(df, 2, class))
needCols = c("Year", "Jan", "Feb", "Mar", "Apr", "May", "Jun")
colClasses[!names(colClasses) %in% needCols] = list(NULL)
df = read.table("file.txt", header=TRUE, colClasses=colClasses, sep="\t", stringsAsFactors=FALSE)
tedtoal
źródło