Czytaj plik tekstowy o stałej szerokości

Question 1

Próbuję załadować ten brzydko sformatowany zestaw danych do mojej sesji R: http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for

Weekly SST data starts week centered on 3Jan1990

Nino1+2      Nino3        Nino34        Nino4
Week          SST SSTA     SST SSTA     SST SSTA     SST SSTA 
03JAN1990     23.4-0.4     25.1-0.3     26.6 0.0     28.6 0.3 
10JAN1990     23.4-0.8     25.2-0.3     26.6 0.1     28.6 0.3 
17JAN1990     24.2-0.3     25.3-0.3     26.5-0.1     28.6 0.3

Do tej pory mogę czytać wiersze za pomocą

  x = readLines(path)

Ale plik miesza „białe spacje” z „-” jako separatory, a ja nie jestem ekspertem w zakresie wyrażeń regularnych. Doceniam każdą pomoc dotyczącą przekształcenia tego w ładną i czystą ramkę danych R. dzięki!

Question 2

To jest plik o stałej szerokości. Użyj, read.fwf()aby to przeczytać:

x <- read.fwf(
  file=url("http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for"),
  skip=4,
  widths=c(12, 7, 4, 9, 4, 9, 4, 9, 4))

head(x)

            V1   V2   V3   V4   V5   V6   V7   V8  V9
1  03JAN1990   23.4 -0.4 25.1 -0.3 26.6  0.0 28.6 0.3
2  10JAN1990   23.4 -0.8 25.2 -0.3 26.6  0.1 28.6 0.3
3  17JAN1990   24.2 -0.3 25.3 -0.3 26.5 -0.1 28.6 0.3
4  24JAN1990   24.4 -0.5 25.5 -0.4 26.5 -0.1 28.4 0.2
5  31JAN1990   25.1 -0.2 25.8 -0.2 26.7  0.1 28.4 0.2
6  07FEB1990   25.8  0.2 26.1 -0.1 26.8  0.1 28.4 0.3

Aktualizacja

Pakiet readr(wydany w kwietniu 2015 r.) Stanowi prostą i szybką alternatywę.

library(readr)

x <- read_fwf(
  file="http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for",   
  skip=4,
  fwf_widths(c(12, 7, 4, 9, 4, 9, 4, 9, 4)))

Porównanie prędkości: readr::read_fwf()było ~ 2x szybsze niż utils::read.fwf ().

Question 3

Inny sposób określania szerokości ...

df <- read.fwf(
  file=url("http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for"),
  widths=c(-1, 9, -5, 4, 4, -5, 4, 4, -5, 4, 4, -5, 4, 4),
  skip=4
)

Wartość -1 w argumencie szerokości mówi, że istnieje jednoznakowa kolumna, którą należy zignorować, a -5 w argumencie szerokości mówi, że istnieje kolumna pięcioznakowa, którą należy zignorować, podobnie ...

ref: https://www.inkling.com/read/r-cookbook-paul-teetor-1st/chapter-4/recipe-4-6

Question 4

Po pierwsze, to pytanie pochodzi bezpośrednio z kursu Coursera „Pobierz dane i wyczyść to” firmy Leeks. Chociaż istnieje inna część pytania, najtrudniejsza część polega na odczytaniu pliku.

To powiedziawszy, kurs jest głównie przeznaczony do nauki.

Nienawidzę procedury stałej szerokości R. Jest powolny i dla dużej liczby zmiennych bardzo szybko staje się trudny do zanegowania niektórych kolumn itp.

Myślę, że jest łatwiejszy w użyciu, readLines()a następnie z tego użycia substr()do tworzenia zmiennych

x <- readLines(con=url("http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for"))

# Skip 4 lines
x <- x[-(1:4)]

mydata <- data.frame(var1 = substr(x, 1, 10),
                     var2 = substr(x, 16, 19),
                     var3 = substr(x, 20, 23),
                     var4 = substr(x, 29, 32)  # and so on and so on
                     )

Question 5

Możesz teraz użyć read_fwf()funkcji w readrpakiecie Hadley Wickham .

Ogłoszenie: http://blog.rstudio.org/2015/04/09/readr-0-1-0/
Strona rozwojowa: https://github.com/hadley/readr
Strona CRAN: http://cran.r-project.org/web/packages/readr/index.html

Należy spodziewać się ogromnej poprawy wydajności w porównaniu do bazy read.fwf().

Question 6

Dokumentuję tutaj listę alternatyw dla odczytu plików o stałej szerokości w R, a także podam kilka testów porównawczych, dla których jest najszybszy.

Moje preferowane podejście to połączenie freadz stringi; jest konkurencyjny jako najszybsze podejście i ma dodatkową zaletę (IMO) przechowywania danych jako data.table:

library(data.table)
library(stringi)

col_ends <- 
  list(beg = c(1, 10, 15, 19, 23, 28, 32, 36,
               41, 45, 49, 54, 58),
       end = c(9, 14, 18, 22, 27, 31, 35,
               40, 44, 48, 53, 57, 61))

data = fread(
  "http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for", 
  header = FALSE, skip = 4L, sep = NULL
  )[, lapply(1:(length(col_ends$beg)),
             function(ii) 
               stri_sub(V1, col_ends$beg[ii], col_ends$end[ii]))
    ][ , paste0("V", c(2, 5, 8, 11)) := NULL]
#              V1   V3   V4   V6   V7   V9  V10  V12  V13
#    1: 03JAN1990 23.4 -0.4 25.1 -0.3 26.6  0.0 28.6  0.3
#    2: 10JAN1990 23.4 -0.8 25.2 -0.3 26.6  0.1 28.6  0.3
#    3: 17JAN1990 24.2 -0.3 25.3 -0.3 26.5 -0.1 28.6  0.3
#    4: 24JAN1990 24.4 -0.5 25.5 -0.4 26.5 -0.1 28.4  0.2
#    5: 31JAN1990 25.1 -0.2 25.8 -0.2 26.7  0.1 28.4  0.2
#   ---                                                  
# 1365: 24FEB2016 27.1  0.9 28.4  1.8 29.0  2.1 29.5  1.4
# 1366: 02MAR2016 27.3  1.0 28.6  1.8 28.9  1.9 29.5  1.4
# 1367: 09MAR2016 27.7  1.2 28.6  1.6 28.9  1.8 29.6  1.5
# 1368: 16MAR2016 27.5  1.0 28.8  1.7 28.9  1.7 29.6  1.4
# 1369: 23MAR2016 27.2  0.9 28.6  1.4 28.8  1.5 29.5  1.2

Zwróć uwagę, że freadautomatycznie usuwa początkowe i końcowe spacje - czasami jest to niepożądane, w takim przypadku ustawione strip.white = FALSE.

Mogliśmy również zacząć od wektora szerokości kolumn ww, wykonując:

ww <- c(9, 5, 4, 4, 5, 4, 4, 5, 4, 4, 5, 4, 4)
nd <- cumsum(ww)

col_ends <-
  list(beg = c(1, nd[-length(nd)]+1L),
       end = nd)

Mogliśmy wybrać, które kolumny wykluczyć bardziej solidnie, używając ujemnych indeksów, takich jak:

col_ends <- 
  list(beg = c(1, -10, 15, 19, -23, 28, 32, -36,
               41, 45, -49, 54, 58),
       end = c(9, 14, 18, 22, 27, 31, 35,
               40, 44, 48, 53, 57, 61))

Następnie wymień col_ends$beg[ii]ze abs(col_ends$beg[ii])w następnym wierszu:

paste0("V", which(col_ends$beg < 0))

Na koniec, jeśli chcesz, aby nazwy kolumn były również odczytywane programowo, możesz wyczyścić za pomocą readLines:

cols <-
  gsub("\\s", "", 
       sapply(1:(length(col_ends$beg)),
              function(ii) 
                stri_sub(readLines(URL, n = 4L)[4L], 
                         col_ends$beg[ii]+1L,
                         col_ends$end[ii]+1L)))

cols <- cols[cols != ""]

(zwróć uwagę, że połączenie tego kroku z freadwymagałoby utworzenia kopii tabeli w celu usunięcia wiersza nagłówka, a zatem byłoby nieefektywne w przypadku dużych zestawów danych)

Question 7

Nie wiem nic o R, ale mogę podać wyrażenie regularne, które będzie pasowało do takich wierszy:

\s[0-9]{2}[A-Z]{3}[0-9]{4}(\s{5}[0-9]+\.[0-9]+[ -][0-9]+\.[0-9]+){4}

Answer 1

90

Próbuję załadować ten brzydko sformatowany zestaw danych do mojej sesji R: http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for

Weekly SST data starts week centered on 3Jan1990

Nino1+2      Nino3        Nino34        Nino4
Week          SST SSTA     SST SSTA     SST SSTA     SST SSTA 
03JAN1990     23.4-0.4     25.1-0.3     26.6 0.0     28.6 0.3 
10JAN1990     23.4-0.8     25.2-0.3     26.6 0.1     28.6 0.3 
17JAN1990     24.2-0.3     25.3-0.3     26.5-0.1     28.6 0.3

Do tej pory mogę czytać wiersze za pomocą

  x = readLines(path)

Ale plik miesza „białe spacje” z „-” jako separatory, a ja nie jestem ekspertem w zakresie wyrażeń regularnych. Doceniam każdą pomoc dotyczącą przekształcenia tego w ładną i czystą ramkę danych R. dzięki!

r fixed-width Fernando
źródło

5

Spójrz na, read.fwfaby przeczytać sformatowane dane o stałej szerokości.

Paul Hiemstra,

1

Myślę, że lepszym pomysłem jest przetworzenie każdego wiersza. Miesza znaki „-” ze znakami „”.

Fernando

Alternatywnie możesz powiedzieć, że spacja lub - to tylko jeden znak, więc najpierw zamień wszystkie wielokrotne wystąpienia spacji na znak tabulacji, a następnie podziel wszystkie wpisy rozdzielane tabulatorami na - lub spację.

GitaarLAB,

Stała szerokość = bez separatorów. Oznacza to, że „-” jest znakiem minus, a pomieszczenia nie są separatory albo, po prostu pojawić się, gdy liczba nie wypełnia całą dostępną szerokość

Eusebio Rufian-Zilbermann

Answer 2

5

Spójrz na, read.fwfaby przeczytać sformatowane dane o stałej szerokości.

Paul Hiemstra,

Answer 3

1

Myślę, że lepszym pomysłem jest przetworzenie każdego wiersza. Miesza znaki „-” ze znakami „”.

Fernando

Answer 4

Alternatywnie możesz powiedzieć, że spacja lub - to tylko jeden znak, więc najpierw zamień wszystkie wielokrotne wystąpienia spacji na znak tabulacji, a następnie podziel wszystkie wpisy rozdzielane tabulatorami na - lub spację.

GitaarLAB,

Answer 5

Stała szerokość = bez separatorów. Oznacza to, że „-” jest znakiem minus, a pomieszczenia nie są separatory albo, po prostu pojawić się, gdy liczba nie wypełnia całą dostępną szerokość

Eusebio Rufian-Zilbermann

Answer 6

183

To jest plik o stałej szerokości. Użyj, read.fwf()aby to przeczytać:

x <- read.fwf(
  file=url("http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for"),
  skip=4,
  widths=c(12, 7, 4, 9, 4, 9, 4, 9, 4))

head(x)

            V1   V2   V3   V4   V5   V6   V7   V8  V9
1  03JAN1990   23.4 -0.4 25.1 -0.3 26.6  0.0 28.6 0.3
2  10JAN1990   23.4 -0.8 25.2 -0.3 26.6  0.1 28.6 0.3
3  17JAN1990   24.2 -0.3 25.3 -0.3 26.5 -0.1 28.6 0.3
4  24JAN1990   24.4 -0.5 25.5 -0.4 26.5 -0.1 28.4 0.2
5  31JAN1990   25.1 -0.2 25.8 -0.2 26.7  0.1 28.4 0.2
6  07FEB1990   25.8  0.2 26.1 -0.1 26.8  0.1 28.4 0.3

Aktualizacja

Pakiet readr(wydany w kwietniu 2015 r.) Stanowi prostą i szybką alternatywę.

library(readr)

x <- read_fwf(
  file="http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for",   
  skip=4,
  fwf_widths(c(12, 7, 4, 9, 4, 9, 4, 9, 4)))

Porównanie prędkości: readr::read_fwf()było ~ 2x szybsze niż utils::read.fwf ().

Andrie
źródło

8

@Andrie skąd wiedziałeś, jakie były szerokości i przeskoki?

Koba

12

@Koba: Skopiowałem i wkleiłem jedną z linii do edytora tekstu, który miał liczbę kolumn i ręcznie policzyłem szerokości każdej kolumny (w tym spacje, jeśli było to wymagane). Możesz także powiedzieć, że musisz pominąć 4 całe linie, zanim dojdziesz do surowych danych.

rayryeng

5

Odpowiedź @ Pavithra poniżej z ujemnymi szerokościami kolumn do pominięcia niechcianych białych znaków może być lepiej dopasowana do zaakceptowanej odpowiedzi.

Marius Butuc

1

@Andrie Skąd masz wartości fwf_widths?

BICube

3

@Ala, wierzę, readr::fwf_emptyże spróbuje odgadnąć dla Ciebie szerokości. Przykłady dla readr::read_fwfpokazują użycie dla readr::fwf_empty.

Jake Fisher,

Answer 7

8

@Andrie skąd wiedziałeś, jakie były szerokości i przeskoki?

Koba

Answer 8

12

@Koba: Skopiowałem i wkleiłem jedną z linii do edytora tekstu, który miał liczbę kolumn i ręcznie policzyłem szerokości każdej kolumny (w tym spacje, jeśli było to wymagane). Możesz także powiedzieć, że musisz pominąć 4 całe linie, zanim dojdziesz do surowych danych.

rayryeng

Answer 9

5

Odpowiedź @ Pavithra poniżej z ujemnymi szerokościami kolumn do pominięcia niechcianych białych znaków może być lepiej dopasowana do zaakceptowanej odpowiedzi.

Marius Butuc

Answer 10

1

@Andrie Skąd masz wartości fwf_widths?

BICube

Answer 11

3

@Ala, wierzę, readr::fwf_emptyże spróbuje odgadnąć dla Ciebie szerokości. Przykłady dla readr::read_fwfpokazują użycie dla readr::fwf_empty.

Jake Fisher,

Answer 12

Inny sposób określania szerokości ...

df <- read.fwf(
  file=url("http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for"),
  widths=c(-1, 9, -5, 4, 4, -5, 4, 4, -5, 4, 4, -5, 4, 4),
  skip=4
)

Wartość -1 w argumencie szerokości mówi, że istnieje jednoznakowa kolumna, którą należy zignorować, a -5 w argumencie szerokości mówi, że istnieje kolumna pięcioznakowa, którą należy zignorować, podobnie ...

ref: https://www.inkling.com/read/r-cookbook-paul-teetor-1st/chapter-4/recipe-4-6

Answer 13

Po pierwsze, to pytanie pochodzi bezpośrednio z kursu Coursera „Pobierz dane i wyczyść to” firmy Leeks. Chociaż istnieje inna część pytania, najtrudniejsza część polega na odczytaniu pliku.

To powiedziawszy, kurs jest głównie przeznaczony do nauki.

Nienawidzę procedury stałej szerokości R. Jest powolny i dla dużej liczby zmiennych bardzo szybko staje się trudny do zanegowania niektórych kolumn itp.

Myślę, że jest łatwiejszy w użyciu, readLines()a następnie z tego użycia substr()do tworzenia zmiennych

x <- readLines(con=url("http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for"))

# Skip 4 lines
x <- x[-(1:4)]

mydata <- data.frame(var1 = substr(x, 1, 10),
                     var2 = substr(x, 16, 19),
                     var3 = substr(x, 20, 23),
                     var4 = substr(x, 29, 32)  # and so on and so on
                     )

Answer 14

2

To podejście zadziałało dla mnie. Dwie dodatkowe wskazówki: 1) możesz zdefiniować moje dane jako tylko te, których potrzebujesz. Może to być tak proste mydata <- data.frame(var4 = substr(x,29,32)), jakbyś potrzebował tylko czwartej kolumny danych. Ponadto dla użytkowników systemu Windows Notepad ++ z wtyczką TextFX zapewni prostą i prostą, liczoną linijkę znaków, dzięki czemu możesz dowiedzieć się, co wpisać w wartości początkowe i końcowe substr. Zwróć jednak uwagę, że wartość stop jest o jeden więcej niż pozycja ostatniego znaku, który chcesz zachować.

globalSchmidt

Answer 15

Możesz teraz użyć read_fwf()funkcji w readrpakiecie Hadley Wickham .

Ogłoszenie: http://blog.rstudio.org/2015/04/09/readr-0-1-0/
Strona rozwojowa: https://github.com/hadley/readr
Strona CRAN: http://cran.r-project.org/web/packages/readr/index.html

Należy spodziewać się ogromnej poprawy wydajności w porównaniu do bazy read.fwf().

Answer 16

Dokumentuję tutaj listę alternatyw dla odczytu plików o stałej szerokości w R, a także podam kilka testów porównawczych, dla których jest najszybszy.

Moje preferowane podejście to połączenie freadz stringi; jest konkurencyjny jako najszybsze podejście i ma dodatkową zaletę (IMO) przechowywania danych jako data.table:

library(data.table)
library(stringi)

col_ends <- 
  list(beg = c(1, 10, 15, 19, 23, 28, 32, 36,
               41, 45, 49, 54, 58),
       end = c(9, 14, 18, 22, 27, 31, 35,
               40, 44, 48, 53, 57, 61))

data = fread(
  "http://www.cpc.ncep.noaa.gov/data/indices/wksst8110.for", 
  header = FALSE, skip = 4L, sep = NULL
  )[, lapply(1:(length(col_ends$beg)),
             function(ii) 
               stri_sub(V1, col_ends$beg[ii], col_ends$end[ii]))
    ][ , paste0("V", c(2, 5, 8, 11)) := NULL]
#              V1   V3   V4   V6   V7   V9  V10  V12  V13
#    1: 03JAN1990 23.4 -0.4 25.1 -0.3 26.6  0.0 28.6  0.3
#    2: 10JAN1990 23.4 -0.8 25.2 -0.3 26.6  0.1 28.6  0.3
#    3: 17JAN1990 24.2 -0.3 25.3 -0.3 26.5 -0.1 28.6  0.3
#    4: 24JAN1990 24.4 -0.5 25.5 -0.4 26.5 -0.1 28.4  0.2
#    5: 31JAN1990 25.1 -0.2 25.8 -0.2 26.7  0.1 28.4  0.2
#   ---                                                  
# 1365: 24FEB2016 27.1  0.9 28.4  1.8 29.0  2.1 29.5  1.4
# 1366: 02MAR2016 27.3  1.0 28.6  1.8 28.9  1.9 29.5  1.4
# 1367: 09MAR2016 27.7  1.2 28.6  1.6 28.9  1.8 29.6  1.5
# 1368: 16MAR2016 27.5  1.0 28.8  1.7 28.9  1.7 29.6  1.4
# 1369: 23MAR2016 27.2  0.9 28.6  1.4 28.8  1.5 29.5  1.2

Zwróć uwagę, że freadautomatycznie usuwa początkowe i końcowe spacje - czasami jest to niepożądane, w takim przypadku ustawione strip.white = FALSE.

Mogliśmy również zacząć od wektora szerokości kolumn ww, wykonując:

ww <- c(9, 5, 4, 4, 5, 4, 4, 5, 4, 4, 5, 4, 4)
nd <- cumsum(ww)

col_ends <-
  list(beg = c(1, nd[-length(nd)]+1L),
       end = nd)

Mogliśmy wybrać, które kolumny wykluczyć bardziej solidnie, używając ujemnych indeksów, takich jak:

col_ends <- 
  list(beg = c(1, -10, 15, 19, -23, 28, 32, -36,
               41, 45, -49, 54, 58),
       end = c(9, 14, 18, 22, 27, 31, 35,
               40, 44, 48, 53, 57, 61))

Następnie wymień col_ends$beg[ii]ze abs(col_ends$beg[ii])w następnym wierszu:

paste0("V", which(col_ends$beg < 0))

Na koniec, jeśli chcesz, aby nazwy kolumn były również odczytywane programowo, możesz wyczyścić za pomocą readLines:

cols <-
  gsub("\\s", "", 
       sapply(1:(length(col_ends$beg)),
              function(ii) 
                stri_sub(readLines(URL, n = 4L)[4L], 
                         col_ends$beg[ii]+1L,
                         col_ends$end[ii]+1L)))

cols <- cols[cols != ""]

(zwróć uwagę, że połączenie tego kroku z freadwymagałoby utworzenia kopii tabeli w celu usunięcia wiersza nagłówka, a zatem byłoby nieefektywne w przypadku dużych zestawów danych)

Answer 17

4

Nie wiem nic o R, ale mogę podać wyrażenie regularne, które będzie pasowało do takich wierszy:

\s[0-9]{2}[A-Z]{3}[0-9]{4}(\s{5}[0-9]+\.[0-9]+[ -][0-9]+\.[0-9]+){4}

11684
źródło

Czytaj plik tekstowy o stałej szerokości

Odpowiedzi: