Czy ktoś może mi powiedzieć, jak odczytać tylko pierwsze 6 miesięcy (7 kolumn) dla każdego roku z poniższych danych, na przykład za pomocą read.table()
?
Year Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec
2009 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2010 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25
2011 -21 -27 -2 -6 -10 -32 -13 -12 -27 -30 -38 -29
NULL
klasie w swojej odpowiedzi .Odpowiedzi:
Powiedzmy, że dane są w pliku
data.txt
, możesz użyćcolClasses
argumentu,read.table()
aby pominąć kolumny. Tutaj znajdują się dane w pierwszych 7 kolumnach,"integer"
a pozostałe 6 kolumn ustawiamy tak, aby"NULL"
wskazywały, że należy je pominąć> read.table("data.txt", colClasses = c(rep("integer", 7), rep("NULL", 6)), + header = TRUE) Year Jan Feb Mar Apr May Jun 1 2009 -41 -27 -25 -31 -31 -39 2 2010 -41 -27 -25 -31 -31 -39 3 2011 -21 -27 -2 -6 -10 -32
Zmień
"integer"
na jeden z akceptowanych typów zgodnie z opisem w?read.table
zależności od rzeczywistego typu danych.data.txt
wygląda tak:$ cat data.txt "Year" "Jan" "Feb" "Mar" "Apr" "May" "Jun" "Jul" "Aug" "Sep" "Oct" "Nov" "Dec" 2009 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25 2010 -41 -27 -25 -31 -31 -39 -25 -15 -30 -27 -21 -25 2011 -21 -27 -2 -6 -10 -32 -13 -12 -27 -30 -38 -29
i został utworzony przy użyciu
write.table(dat, file = "data.txt", row.names = FALSE)
gdzie
dat
jestdat <- structure(list(Year = 2009:2011, Jan = c(-41L, -41L, -21L), Feb = c(-27L, -27L, -27L), Mar = c(-25L, -25L, -2L), Apr = c(-31L, -31L, -6L ), May = c(-31L, -31L, -10L), Jun = c(-39L, -39L, -32L), Jul = c(-25L, -25L, -13L), Aug = c(-15L, -15L, -12L), Sep = c(-30L, -30L, -27L ), Oct = c(-27L, -27L, -30L), Nov = c(-21L, -21L, -38L), Dec = c(-25L, -25L, -29L)), .Names = c("Year", "Jan", "Feb", "Mar", "Apr", "May", "Jun", "Jul", "Aug", "Sep", "Oct", "Nov", "Dec"), class = "data.frame", row.names = c(NA, -3L))
Jeśli liczba kolumn nie jest wcześniej znana, funkcja programu narzędziowego
count.fields
odczyta plik i policzy liczbę pól w każdym wierszu.## returns a vector equal to the number of lines in the file count.fields("data.txt", sep = "\t") ## returns the maximum to set colClasses max(count.fields("data.txt", sep = "\t"))
źródło
nrows
. Następnie sprawdź, ile kolumn jest używanychncol()
, lub w inny sposób chcesz obliczyć liczbę kolumn do odczytania / zignorowania. Następnie przeczytaj cały plik, korzystając z tych informacji.count.fields()
automatyzacji procesu, który zasugerowałem w komentarzach.count.fields()
połączenie tekstowe, więc przeczytaj jakiś podzbiór wierszy za pomocątxt <- readLines(....)
, a następnie utwórz połączenie z czytanymi wierszamicon <- textConnection(txt)
, a następnie wykonajcount.fields(txt)
. Pamiętaj, aby użyćskip
in,count.fields()
aby pominąć wiersz nagłówka, jeśli taki istnieje; nie możesz pominąć wierszy w pliku za pomocąreadLines()
.Aby odczytać określony zestaw kolumn ze zbioru danych, istnieje kilka innych opcji:
1) W
fread
zdata.table
-package:Można określić żądane kolumny z
select
parametru zfread
oddata.table
pakietu. Możesz określić kolumny za pomocą wektora nazw kolumn lub numerów kolumn.Na przykład zbiór danych:
library(data.table) dat <- fread("data.txt", select = c("Year","Jan","Feb","Mar","Apr","May","Jun")) dat <- fread("data.txt", select = c(1:7))
Alternatywnie możesz użyć
drop
parametru, aby wskazać, które kolumny nie powinny być czytane:dat <- fread("data.txt", drop = c("Jul","Aug","Sep","Oct","Nov","Dec")) dat <- fread("data.txt", drop = c(8:13))
Wszystkie skutkują:
> data Year Jan Feb Mar Apr May Jun 1 2009 -41 -27 -25 -31 -31 -39 2 2010 -41 -27 -25 -31 -31 -39 3 2011 -21 -27 -2 -6 -10 -32
UPDATE: Jeśli nie chcesz
fread
zwracać danych.table , użyjdata.table = FALSE
parametru -parameter , np .:fread("data.txt", select = c(1:7), data.table = FALSE)
2) Z
read.csv.sql
zsqldf
-package:Inną alternatywą jest
read.csv.sql
funkcja zsqldf
pakietu:library(sqldf) dat <- read.csv.sql("data.txt", sql = "select Year,Jan,Feb,Mar,Apr,May,Jun from file", sep = "\t")
3) Z funkcjami
read_*
zreadr
pakietu:library(readr) dat <- read_table("data.txt", col_types = cols_only(Year = 'i', Jan = 'i', Feb = 'i', Mar = 'i', Apr = 'i', May = 'i', Jun = 'i')) dat <- read_table("data.txt", col_types = list(Jul = col_skip(), Aug = col_skip(), Sep = col_skip(), Oct = col_skip(), Nov = col_skip(), Dec = col_skip())) dat <- read_table("data.txt", col_types = 'iiiiiii______')
Z dokumentacji wyjaśnienie używanych znaków z
col_types
:źródło
fread
nie obsługuje jednak plików skompresowanych. Duże pliki są zwykle kompresowane.fread
. Warto zauważyć, żefread
prawdopodobnie odczyta nieskompresowany plik znacznie szybciej niżread.table
plik skompresowany. Zobacz tutaj przykład .read.table
nie uratuje Cię. W takim przypadku możesz spojrzeć naff
-package.fread
do odczytu dużych skompresowanych plików jak to:fread("gunzip -c data.txt.gz", drop = c(8:13))
.Aby to osiągnąć, możesz również użyć JDBC. Utwórzmy przykładowy plik CSV.
write.table(x=mtcars, file="mtcars.csv", sep=",", row.names=F, col.names=T) # create example csv file
Pobierz i zapisz sterownik CSV JDBC z tego łącza: http://sourceforge.net/projects/csvjdbc/files/latest/download
> library(RJDBC) > path.to.jdbc.driver <- "jdbc//csvjdbc-1.0-18.jar" > drv <- JDBC("org.relique.jdbc.csv.CsvDriver", path.to.jdbc.driver) > conn <- dbConnect(drv, sprintf("jdbc:relique:csv:%s", getwd())) > head(dbGetQuery(conn, "select * from mtcars"), 3) mpg cyl disp hp drat wt qsec vs am gear carb 1 21 6 160 110 3.9 2.62 16.46 0 1 4 4 2 21 6 160 110 3.9 2.875 17.02 0 1 4 4 3 22.8 4 108 93 3.85 2.32 18.61 1 1 4 1 > head(dbGetQuery(conn, "select mpg, gear from mtcars"), 3) MPG GEAR 1 21 4 2 21 4 3 22.8 4
źródło
Robisz to tak:
df = read.table("file.txt", nrows=1, header=TRUE, sep="\t", stringsAsFactors=FALSE) colClasses = as.list(apply(df, 2, class)) needCols = c("Year", "Jan", "Feb", "Mar", "Apr", "May", "Jun") colClasses[!names(colClasses) %in% needCols] = list(NULL) df = read.table("file.txt", header=TRUE, colClasses=colClasses, sep="\t", stringsAsFactors=FALSE)
źródło