Optymalizacja wydajności BCP dla danych BLOB

Jestem w trakcie planowania migracji na żywo bazy danych 2 TB do tabel partycjonowanych. System jest ogólnie magazynem dokumentów, większość miejsca jest przeznaczona na LOBy od 50 kb do 500 kb, z niewielkim odsetkiem w zakresie od 500 kb do 1 MB. Część migracji będzie obejmować dane BCPing ze starej do nowej bazy danych.

Preferowanym podejściem jest BCP, ponieważ obecny / historyczny podział danych pozwala na ekstrakcję starszych danych etapami (w spokojniejszych okresach) przed ostatecznym przełączeniem, minimalizując wpływ na system na żywo. Ilość danych i dostępność pamięci wykluczają przebudowę na miejscu do schematu partycji .

Podejrzewam, że być może przyniosłoby to pewne zwiększenie wydajności poprzez eksperymentowanie z KILOBYTES_PER_BATCH zamiast ROWS_PER_BATCH z powodu zawartości BLOB. W dokumentacji BCP sugeruje się, że SQL może zoptymalizować operacje na podstawie tej wartości.

Nie mogę znaleźć żadnych wskazówek na temat natury tych optymalizacji ani tego, od czego zacząć testowanie. W absurcji sugestii spróbuję rozpocząć krótkie serie na granicach 4/8/16/32 / 64mb, aby rozpocząć.

Prawdopodobnie niektóre korzyści wynikają ze zmiany rozmiaru pakietu (parametr BCP -a, a nie ustawienie na poziomie serwera), ale jestem skłonny podnieść to do maksimum 65535, chyba że ktoś ma bardziej formalne podejście.

To nie jest bezpośrednia odpowiedź na twoje pytanie, ale są artykuły, które warto przeczytać (na wypadek, gdyby ich najpierw nie znalazłeś :-)). Chodzi o ładowanie dużej ilości danych za pomocą bcp / kopii zbiorczej. Przeczytałem je wszystkie i nie znalazłem nic szczegółowego dotyczącego KILOBYTES_PER_BATCH, wszyscy używają ROWS_PER_BATCH, ale jestem pewien, że znajdziesz inne przydatne informacje.

• Załaduj 1 TB w mniej niż 1 godzinę (od zespołu SQL CAT) - lista porad tutaj (cytat):

  • Uruchom tyle procesów ładowania, ile masz dostępnych procesorów. Jeśli masz 32 procesory, uruchom 32 równoległe obciążenia. Jeśli masz 8 procesorów, uruchom 8 równoległych obciążeń.
  • Jeśli masz kontrolę nad tworzeniem plików wejściowych, ustaw rozmiar, który jest równomiernie podzielny przez liczbę wątków ładowania, które chcesz uruchomić równolegle. Upewnij się także, że wszystkie rekordy należą do jednej partycji, jeśli chcesz użyć strategii partycji przełącznika.
  • Użyj BULK insert zamiast BCP, jeśli uruchamiasz proces na komputerze z programem SQL Server.
  • Użyj partycjonowania tabel, aby uzyskać kolejne 8-10%, ale tylko wtedy, gdy twoje pliki wejściowe są GWARANTOWANE tak, aby pasowały do ​​twojej funkcji partycjonowania, co oznacza, że ​​wszystkie rekordy w jednym pliku muszą znajdować się na tej samej partycji.
  • Użyj TABLOCK, aby uniknąć blokowania wiersza na raz.
  • Użyj opcji ROWS PER BATCH = 2500 lub czegoś podobnego, jeśli importujesz wiele strumieni do jednej tabeli.

• 10 najlepszych praktyk budowania hurtowni relacyjnych danych na dużą skalę (od zespołu SQL CAT) - porady (cytat):

  • Użyj modelu odzyskiwania SIMPLE lub BULK LOGGED podczas początkowego ładowania danych.
  • Utwórz partycjonowaną tabelę faktów z indeksem klastrowym.
  • Utwórz nieindeksowane tabele pomostowe dla każdej partycji i osobne pliki danych źródłowych do zapełniania każdej partycji.
  • Równolegle wypełniaj tabele pomostowe (użyj wielu zadań BULK INSERT, BCP lub SSIS)
  • Zbuduj indeks klastrowy na każdej tabeli pomostowej, a następnie utwórz odpowiednie ograniczenia SPRAWDŹ.
  • PRZEŁĄCZ wszystkie partycje do tabeli podzielonej na partycje.
  • Zbuduj nieklastrowane indeksy na partycjonowanej tabeli.

• Przewodnik po wydajności ładowania danych (od zespołu SQL CAT)

• Ładowanie danych zbiorczych do tabeli podzielonej na partycje - artykuł na temat najlepszych praktyk SQL Server (artykuł Technet)

• Studium przypadku przyrostowego masowego ładowania programu SQL Server 2000 (artykuł w witrynie Technet)

• Wyciągnięte wnioski i ustalenia z dużego szybkiego POC (od zespołu SQL CAT)

• Wskazówki dotyczące dostrajania wydajności dla SQL Server BCP (autor: Brad McGehee)

• Wpływ na wydajność: znajdowanie najbardziej optymalnego rozmiaru partii (autor: Linchi Shea)

i oczywiste referencje MSDN:

• Zarządzanie partiami dla masowego importu
• Zarządzanie zbiorczymi rozmiarami partii
• Uwagi dotyczące wydajności kopiowania zbiorczego
• Wytyczne dotyczące optymalizacji importu luzem
• Optymalizacja wydajności importu zbiorczego

Z mojego osobistego doświadczenia udało mi się szybko załadować dane przy użyciu ładowania równoległego i testowania z kilkoma wielkościami partii. Myślę, że tylko osobiste testy będą ci odpowiadać. Mam nadzieję, że znajdziesz kilka dobrych porad w referencjach.