Jak mogę monitorować postęp importu dużego pliku .sql?

Importuję 7 GB, foobar.sqlaby przywrócić tabelę w lokalnej bazie danych.

$ mysql -h localhost -u root 'my_data' < foobar.sql

$ mysql --version
/usr/local/mysql/bin/mysql  Ver 14.12 Distrib 5.0.96, for apple-darwin9.8.0 (i386) using readline 5.1

Jak mogę monitorować jego postęp?

Jeśli tylko importujesz z pliku zrzutu z CLI na * nix, np

mysql -uxxx -pxxx dbname < /sqlfile.sql

następnie najpierw zainstaluj przeglądarkę potoków w systemie operacyjnym, a następnie spróbuj czegoś takiego:

pv sqlfile.sql | mysql -uxxx -pxxxx dbname

który pokaże pasek postępu podczas działania programu.

Jest to bardzo przydatne i można go również użyć do oszacowania postępu mysqldump.

pv zrzuca sqlfile.sqli przekazuje je do mysql (z powodu operatora potoku). Podczas dumpingu pokazuje postęp. Fajne jest to, że mysql pobiera dane tylko tak szybko, jak to możliwe, aby pv mógł pokazać postęp importu. Nie mam żadnego dowodu. Ale wydaje się, że tak. Wydaje mi się, że używany jest bufor, ale w pewnym momencie myślę, że mysqlnie czyta więcej danych, gdy jest nadal zajęty przetwarzaniem.

Jeśli już rozpocząłeś import, możesz wykonać to polecenie w innym oknie, aby zobaczyć aktualny rozmiar baz danych. Może to być pomocne, jeśli znasz całkowity rozmiar importowanego pliku .sql.

SELECT table_schema "Data Base Name", sum( data_length + index_length ) / 1024 / 1024 "Data Base Size in MiB" 
FROM information_schema.TABLES GROUP BY table_schema;  

Źródło : http://forums.mysql.com/read.php?108,201578,201578

Dokumentacja MySQL 8.0 zawiera następujące informacje na temat dokładności:

DATA_LENGTH

W przypadku MyISAM DATA_LENGTH to długość pliku danych w bajtach.

W przypadku InnoDB DATA_LENGTH jest przybliżoną ilością pamięci przydzielonej dla indeksu klastrowego w bajtach. W szczególności jest to rozmiar indeksu klastrowego na stronach pomnożony przez rozmiar strony InnoDB.

INDEX_LENGTH

W przypadku MyISAM INDEX_LENGTH to długość pliku indeksu w bajtach.

W przypadku InnoDB, INDEX_LENGTH jest przybliżoną ilością pamięci przydzielonej dla indeksów nieklastrowanych, w bajtach. W szczególności jest to suma rozmiarów indeksów nieklastrowanych na stronach pomnożonych przez rozmiar strony InnoDB.

Gdy wykonujesz mysqldump pojedynczej bazy danych, wszystkie tabele są zrzucane w kolejności alfabetycznej.

Oczywiście ponowne ładowanie mysqldump do bazy danych odbywałoby się również w kolejności alfabetycznej.

Możesz po prostu zrobić POKAŻ PROCESLISTĘ; i sprawdź połączenie DB z uruchomionym programem mysqldump. Po ponownym załadowaniu zrzutu połączenie DB zniknie.

Jeśli chcesz wiedzieć, jakie tabele znajdują się w pliku zrzutu, uruchom to dla foobar.sql

cat foobar.sql | grep "^CREATE TABLE" | awk '{print $3}'

AKTUALIZACJA 2012-05-02 13:53 EDT

Przepraszamy za niedostrzeganie, że jest tylko jedna tabela.

Jeśli tabelą jest MyISAM, jedynym sposobem monitorowania jest z punktu widzenia systemu operacyjnego. Powód? Tabela jest blokowana przed zapisem podczas ponownego ładowania. Czego szukasz? Rozmiar plików .MYDi .MYI. Oczywiście należy porównać to z wielkością tabeli wcześniej na innym serwerze DB, z którego importowano.

Jeśli tabelą jest InnoDB i masz włączoną opcję innodb_file_per_table , jedynym sposobem monitorowania jest z punktu widzenia systemu operacyjnego. Powód? Tabela jest blokowana przed zapisem podczas ponownego ładowania. Czego szukasz? Rozmiar .ibdpliku Oczywiście należy porównać to z wielkością tabeli wcześniej na innym serwerze DB, z którego importowano.

Jeśli tabelą jest InnoDB i masz wyłączoną tabelę pliku_wnodb_per_table , nawet punkt widzenia systemu operacyjnego nie może pomóc.

AKTUALIZACJA 2012-05-02 13:56 EDT

W ubiegłym roku poruszyłem coś takiego: Jak uzyskać% postępu dla „type db.sql | mysql”

AKTUALIZACJA 2012-05-02 14:09 EDT

Ponieważ standardowy skrypt mysqldump blokuje tabelę w następujący sposób:

LOCK TABLES `a` WRITE;
/*!40000 ALTER TABLE `a` DISABLE KEYS */;
INSERT INTO `a` VALUES (123),(451),(199),(0),(23);
/*!40000 ALTER TABLE `a` ENABLE KEYS */;
UNLOCK TABLES;

wtedy nie ma sposobu, aby uzyskać postęp z mysql, dopóki blokada tabeli nie zostanie zwolniona.

Jeśli możesz uzyskać LOCK TABLESi UNLOCK TABLESskomentować z pliku zrzutu ...

• jeśli tabela to MyISAM, SELECT COUNT (*) będzie działać
• jeśli tabelą jest InnoDB, WYBIERZ LICZBĘ (*) prawdopodobnie spowolni / zatrzyma ładunek, aż do zakończenia liczenia

Co 2 sekundy zobaczysz uruchomione procesy.

watch 'echo "show processlist;" | mysql -uuser -ppassword';

Jeśli chcesz, aby rzadziej, to dodaj -n xgdzie x oznacza liczbę sekund. 5 sekund to:

watch -n 5 'echo "show processlist;" | mysql -uuser -ppassword';

Jeśli chcesz tylko sprawdzić, czy jest zablokowany, możesz wykonać zapytanie

show processlist; 

i zobacz, co jest wykonywane.

Jako rozwiązanie dla kogoś, kto nie może zmusić PV do pracy lub dla którego PV kłamie. Możesz monitorować rozmiar pliku ibdata1 w / var / lib / mysql, który zawiera dane. Skończy się to tym samym rozmiarem (lub około) rozmiaru pliku na serwerze źródłowym.

Jeśli istnieje wiele tabel, możesz także zobaczyć, jak pojawiają się one kolejno w / var / lib / mysql / <nazwa bazy danych>.

Zdarzyło mi się korzystać z tego faktu niedawno, gdy długoterminowa baza danych utworzyła plik dziennika o wielkości około 20G przez okres trzech lub czterech lat. Zauważyłem, że przeniesienie trwało wieki i wykorzystałem tę technikę do monitorowania postępów.

Myślę, że jest mało prawdopodobne, aby nadejdzie dzień, kiedy baza danych nie będzie zawierać żadnego pliku. Tymczasem możesz monitorować plik, aby zobaczyć, jak przebiega transfer. Metoda, którą zasugerowałem, była czymś, co można zrobić w takiej czy innej formie od czasu napisania pierwszej bazy danych SQL. Nigdy nie zamierzałem sugerować, że jest to jakaś „oficjalna” technika, na której mógłby polegać ręczny dżokej. Zakłada ogólny poziom biegłości w posługiwaniu się komputerami w ogóle, a w szczególności Uniksem.

Jeśli twoja baza danych jest cicha (tzn. Nie ma innych użytkowników) i chcesz po prostu zobaczyć aktywność odczytu / zapisu, dlaczego po prostu nie zrobić czegoś takiego:

mysqladmin -h<host>-uroot -p<yourpass> extended -r -i 10 |grep 'row'

Zobaczysz liczbę odczytów / zapisów / wstawień / oczekiwań / aktualizacji.

Jeśli wstawiasz na przykład, zobaczysz coś takiego:

Innodb_rows_inserted                          | 28958 

Gdzie 28958 to liczba wierszy wstawionych dla twojego interwału (w moim przypadku 10 sekund).

Dla kogoś, kto szuka przykładowego podglądu potoku przy użyciu mysqldumpCiebie, zrobiłbyś coś takiego:

mysqldump -hxxx -uxxx -p dbname | pv -W > dump.sql

-WFlaga tylko mówi pv czekać na pierwszy bajt przyjść przed pokazujący postęp (po wierszu)

Możesz monitorować import w folderze \ Msql \ Data [nazwa bazy danych]

Ok, kolejne obejście. Ale to może być najgorsza i niedokładna opcja.

To powiedziawszy, oto moje rozwiązanie dla systemu Windows:

Otwórz Menedżera zadań naciskając

CTRL + SHIFT + ESC

Skopiuj wartość prędkości dysku „mysqld.exe”

e.g. 11mb/s

Umieść to w kalkulatorze takim jak ten: https://techinternets.com/copy_calc?do

Oszacuj ETA. Moja sprawa była:

Speed: 8 MB/s
Size: 4.9 GB
0 Hours, 11 Minutes and 29 Seconds

Wyniki:

Beg -> 11:19
ETA -> 11:31
End -> 11:39

Jestem zaskoczony, że nikt nie napisał „mysql -v” jako opcji. Jeśli utknie, wyjście zatrzyma się.