Plik CSV napisany w Pythonie ma puste wiersze między każdym wierszem

import csv

with open('thefile.csv', 'rb') as f:
  data = list(csv.reader(f))
  import collections
  counter = collections.defaultdict(int)

  for row in data:
        counter[row[10]] += 1


with open('/pythonwork/thefile_subset11.csv', 'w') as outfile:
    writer = csv.writer(outfile)
    for row in data:
        if counter[row[10]] >= 504:
           writer.writerow(row)

Ten kod czyta thefile.csv, wprowadza zmiany i zapisuje wyniki thefile_subset1.

Jednak gdy otwieram wynikowy plik csv w programie Microsoft Excel, po każdym rekordzie jest dodatkowy pusty wiersz!

Czy istnieje sposób, aby nie wstawiać dodatkowej pustej linii?

W Pythonie 2 otwórz outfilew trybie 'wb'zamiast 'w'. csv.writerZapisuje \r\ndo pliku bezpośrednio. Jeśli nie otworzysz pliku w trybie binarnym , zapisze, \r\r\nponieważ w systemie Windows tryb tekstowy przetłumaczy każdy \nna \r\n.

W Pythonie 3 wymagana składnia uległa zmianie (patrz łącza do dokumentacji poniżej), więc zamiast tego otwórz outfileza pomocą dodatkowego parametru newline=''(pusty ciąg).

Przykłady:

# Python 2
with open('/pythonwork/thefile_subset11.csv', 'wb') as outfile:
    writer = csv.writer(outfile)

# Python 3
with open('/pythonwork/thefile_subset11.csv', 'w', newline='') as outfile:
    writer = csv.writer(outfile)

Linki do dokumentacji

• https://docs.python.org/2/library/csv.html#csv.writer
• https://docs.python.org/3/library/csv.html#csv.writer

Otwarcie pliku w trybie binarnym „wb” nie będzie działać w Pythonie 3+. A raczej trzeba będzie przekonwertować dane na dane binarne przed ich zapisaniem. To tylko kłopot.

Zamiast tego powinieneś zachować go w trybie tekstowym, ale zastąpić nowy wiersz jako pusty. Tak jak:

with open('/pythonwork/thefile_subset11.csv', 'w', newline='') as outfile:

Prosta odpowiedź jest taka, że pliki csv powinny zawsze być otwierane w trybie binarnym, zarówno na wejściu, jak i na wyjściu, ponieważ w przeciwnym razie w systemie Windows występują problemy z zakończeniem linii. Konkretnie na wyjściu modułu CSV napisze \r\n(standardowy terminator wiersza CSV), a następnie (w trybie tekstowym) runtime zastępujący \nprzez \r\n(standardowej linii terminatora systemie Windows) daje wynik \r\r\n.

Grzebanie w lineterminatorNIE jest rozwiązaniem.

Uwaga: Wydaje się, że nie jest to preferowane rozwiązanie ze względu na sposób dodawania dodatkowej linii w systemie Windows. Jak stwierdzono w dokumencie python :

Jeśli plik csv jest obiektem pliku, należy go otworzyć flagą „b” na platformach, na których ma to znaczenie.

Windows to jedna z takich platform, na której to robi różnicę. Chociaż zmiana terminatora linii, jak opisano poniżej, mogła rozwiązać problem, problemu można całkowicie uniknąć, otwierając plik w trybie binarnym. Można powiedzieć, że to rozwiązanie jest bardziej „eleganckie”. „Błąkanie się” za pomocą terminatora linii prawdopodobnie spowodowałoby w tym przypadku niemożliwy do przeniesienia kod między systemami, w którym otwarcie pliku w trybie binarnym w systemie uniksowym nie daje żadnego efektu. to znaczy. powoduje kod kompatybilny z wieloma systemami.

Z Python Docs :

W systemie Windows „b” dołączony do trybu otwiera plik w trybie binarnym, więc istnieją również tryby takie jak „rb”, „wb” i „r + b”. Python w systemie Windows rozróżnia pliki tekstowe i binarne; znaki końca wiersza w plikach tekstowych są automatycznie nieznacznie zmieniane podczas odczytu lub zapisu danych. Ta zakulisowa modyfikacja danych pliku jest odpowiednia dla plików tekstowych ASCII, ale spowoduje uszkodzenie takich danych binarnych w plikach JPEG lub EXE. Podczas odczytu i zapisu takich plików należy bardzo uważać na tryb binarny. W systemie Unix dodanie „b” do trybu nie boli, więc możesz używać go niezależnie od platformy dla wszystkich plików binarnych.

Oryginał :

Jako część opcjonalnych parametrów dla csv.writer, jeśli otrzymujesz dodatkowe puste linie, być może będziesz musiał zmienić lineterminator (informacje tutaj ). Przykład poniżej dostosowany ze strony csv docs strony python . Zmień to z „\ n” na cokolwiek powinno być. Ponieważ jest to po prostu kłótnia w ciemności na problem, to może, ale nie musi działać, ale to moje najlepsze przypuszczenie.

>>> import csv
>>> spamWriter = csv.writer(open('eggs.csv', 'w'), lineterminator='\n')
>>> spamWriter.writerow(['Spam'] * 5 + ['Baked Beans'])
>>> spamWriter.writerow(['Spam', 'Lovely Spam', 'Wonderful Spam'])

Piszę tę odpowiedź wrt do Pythona 3, ponieważ początkowo mam ten sam problem.

Miałem pobrać dane z arduino PySeriali zapisać je w pliku .csv. Każde czytanie w moim przypadku kończyło się '\r\n', więc nowa linia zawsze oddzielała każdą linię.

W moim przypadku newline=''opcja nie działała. Ponieważ pokazał błąd:

with open('op.csv', 'a',newline=' ') as csv_file:

ValueError: illegal newline value: ''

Wydawało się więc, że nie akceptują tutaj pominięcia nowej linii.

Widząc tylko jedną z odpowiedzi tutaj, wspomniałem terminator linii w obiekcie piszącym, np .:

writer = csv.writer(csv_file, delimiter=' ',lineterminator='\r')

i to zadziałało dla mnie, pomijając dodatkowe nowe linie.

with open(destPath+'\\'+csvXML, 'a+') as csvFile:
    writer = csv.writer(csvFile, delimiter=';', lineterminator='\r')
    writer.writerows(xmlList)

„Lineterminator = '\ r” ”pozwala przejść do następnego wiersza bez pustego wiersza między dwoma.

Pożyczanie od tej odpowiedzi , wydaje się, że najczystszym rozwiązaniem jest użycie io.TextIOWrapper. Udało mi się rozwiązać ten problem dla siebie w następujący sposób:

from io import TextIOWrapper

...

with open(filename, 'wb') as csvfile, TextIOWrapper(csvfile, encoding='utf-8', newline='') as wrapper:
    csvwriter = csv.writer(wrapper)
    for data_row in data:
        csvwriter.writerow(data_row)

Powyższa odpowiedź nie jest kompatybilna z Pythonem 2. Aby mieć kompatybilność, przypuszczam, że wystarczy po prostu zawrzeć całą logikę pisania w ifbloku:

if sys.version_info < (3,):
    # Python 2 way of handling CSVs
else:
    # The above logic

Użyj metody zdefiniowanej poniżej, aby zapisać dane do pliku CSV.

open('outputFile.csv', 'a',newline='')

Wystarczy dodać dodatkowy newline=''parametr w openmetodzie:

def writePhoneSpecsToCSV():
    rowData=["field1", "field2"]
    with open('outputFile.csv', 'a',newline='') as csv_file:
        writer = csv.writer(csv_file)
        writer.writerow(rowData)

Spowoduje to zapisanie wierszy CSV bez tworzenia dodatkowych wierszy!

Korzystając z Python 3, można uniknąć pustych linii za pomocą modułu kodeków . Jak stwierdzono w dokumentacji, pliki są otwierane w trybie binarnym, więc żadna zmiana kwarg nowej linii nie jest konieczna. Ostatnio miałem ten sam problem i to działało dla mnie:

with codecs.open( csv_file,  mode='w', encoding='utf-8') as out_csv:
     csv_out_file = csv.DictWriter(out_csv)