MySQL ładuje wartości NULL z danych CSV

Mam plik, który może zawierać od 3 do 4 kolumn wartości liczbowych oddzielonych przecinkami. Puste pola są definiowane z wyjątkiem sytuacji, gdy znajdują się na końcu wiersza:

1,2,3,4,5
1,2,3,,5
1,2,3

Poniższa tabela została utworzona w MySQL:

+ ------- + -------- + ------ + ----- + --------- + ------- +
| Pole | Wpisz | Null | Klucz | Domyślnie | Extra |
+ ------- + -------- + ------ + ----- + --------- + ------- +
| jeden | int (1) | TAK | | NULL | |
| dwa | int (1) | TAK | | NULL | |
| trzy | int (1) | TAK | | NULL | |
| cztery | int (1) | TAK | | NULL | |
| pięć | int (1) | TAK | | NULL | |
+ ------- + -------- + ------ + ----- + --------- + ------- +

Próbuję załadować dane za pomocą polecenia MySQL LOAD:

LOAD DATA INFILE '/tmp/testdata.txt' INTO TABLE moo FIELDS 
TERMINATED BY "," LINES TERMINATED BY "\n";

Wynikowa tabela:

+ ------ + ------ + ------- + ------ + ------ +
| jeden | dwa | trzy | cztery | pięć |
+ ------ + ------ + ------- + ------ + ------ +
| 1 | 2 | 3 | 4 | 5 |
| 1 | 2 | 3 | 0 | 5 |
| 1 | 2 | 3 | NULL | NULL |
+ ------ + ------ + ------- + ------ + ------ +

Problem polega na tym, że gdy pole jest puste w danych surowych i nie jest zdefiniowane, MySQL z jakiegoś powodu nie używa domyślnej wartości kolumny (która jest równa NULL) i używa zera. NULL jest używane poprawnie, gdy brakuje całego pola.

Niestety na tym etapie muszę umieć odróżnić NULL od 0, więc każda pomoc będzie mile widziana.

Dzięki S.

edytować

Wyjście POKAŻ OSTRZEŻENIA:

+ --------- + ------ + -------------------------------- ------------------------ +
| Poziom | Kod | Wiadomość |
+ --------- + ------ + -------------------------------- ------------------------ +
| Ostrzeżenie | 1366 | Nieprawidłowa liczba całkowita: „” dla kolumny „cztery” w wierszu 2 |
| Ostrzeżenie | 1261 | Wiersz 3 nie zawiera danych dla wszystkich kolumn |
| Ostrzeżenie | 1261 | Wiersz 3 nie zawiera danych dla wszystkich kolumn |
+ --------- + ------ + -------------------------------- ------------------------ +

To zrobi, co chcesz. Wczytuje czwarte pole do zmiennej lokalnej, a następnie ustawia rzeczywistą wartość pola na NULL, jeśli zmienna lokalna zawiera pusty ciąg:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(one, two, three, @vfour, five)
SET four = NULLIF(@vfour,'')
;

Jeśli wszystkie są prawdopodobnie puste, wczytujesz je wszystkie do zmiennych i masz wiele instrukcji SET, na przykład:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(@vone, @vtwo, @vthree, @vfour, @vfive)
SET
one = NULLIF(@vone,''),
two = NULLIF(@vtwo,''),
three = NULLIF(@vthree,''),
four = NULLIF(@vfour,'')
;

Podręcznik MySQL mówi:

Podczas odczytu danych za pomocą LOAD DATA INFILE puste lub brakujące kolumny są aktualizowane za pomocą „”. Jeśli chcesz mieć wartość NULL w kolumnie, powinieneś użyć \ N w pliku danych. W pewnych okolicznościach można również użyć dosłownego słowa „NULL”.

Więc musisz zamienić puste miejsca na \ N w ten sposób:

1,2,3,4,5
1,2,3,\N,5
1,2,3

Zachowanie jest różne w zależności od konfiguracji bazy danych. W trybie ścisłym spowodowałoby to błąd, w przeciwnym razie ostrzeżenie. Poniższe zapytanie może posłużyć do określenia konfiguracji bazy danych.

mysql> show variables like 'sql_mode';

Przetwórz wstępnie wprowadzony plik CSV, aby zastąpić puste wpisy znakiem \ N.

Spróbuj na wyrażeniu regularnym: s / ,, /, \ n, / g i s /, $ /, \ N / g

Powodzenia.

(zmienna1, @ zmienna2, ..) SET zmienna2 = nullif (@ zmienna2, '' lub '') >> możesz wstawić dowolny warunek

pokaż zmienne

Show variables like "`secure_file_priv`";

Uwaga: zachowaj plik csv w lokalizacji podanej przez powyższe polecenie.

create table assessments (course_code varchar(5),batch_code varchar(7),id_assessment int, assessment_type varchar(10), date int , weight int);

Uwaga: tutaj datekolumna „ ” zawiera puste wartości w pliku csv.

LOAD DATA INFILE 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/assessments.csv' 
INTO TABLE assessments
FIELDS TERMINATED BY ',' 
OPTIONALLY ENCLOSED BY '' 
LINES TERMINATED BY '\n' 
IGNORE 1 ROWS 
(course_code,batch_code,id_assessment,assessment_type,@date,weight)
SET date = IF(@date = '', NULL, @date);