„Wyodrębnij, przekształć i załaduj”: przetwarzanie ładowania danych, zwykle w kontekście systemów hurtowni danych.
Używam PostgreSQL 9.1 na Ubuntu. Czy harmonogram jest VACUUM ANALYZEnadal zalecany, czy też autovacuum wystarcza, aby zaspokoić wszystkie potrzeby? Jeśli odpowiedź brzmi „to zależy”, to: Mam obszerną bazę danych (rozmiar zrzutu skompresowanego 30 GiB, katalog danych 200 GiB) Wykonuję ETL do bazy...
W ramach naszego procesu ETL porównujemy wiersze z przemieszczania z bazą danych raportowania, aby dowiedzieć się, czy któraś z kolumn faktycznie się zmieniła od czasu ostatniego załadowania danych. Porównanie opiera się na unikalnym kluczu tabeli i pewnego rodzaju skrócie wszystkich pozostałych...
Pytanie: Mam skrypt z około 45 tysiącami wstawek z wybranych instrukcji. Podczas próby uruchomienia pojawia się komunikat o błędzie informujący, że zabrakło mi pamięci. Jak mogę uruchomić ten skrypt? Kontekst: Dodano nowe pola danych, aby aplikacja działała przyjemnie z inną aplikacją, z której...
Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było ono tematem na temat wymiany stosu administratorów bazy danych. Zamknięte 4 lata temu . Korzystałem z Pentaho Data...
Uświadomiłem sobie, że moja firma stosuje proces ELT (ekstrakcja-transformacja-ładowanie) zamiast ETL (ekstrakcja-transformacja-ładowanie). Jakie są różnice między tymi dwoma podejściami i w jakich sytuacjach jedno byłoby „lepsze” od drugiego? Byłoby wspaniale, gdybyś mógł podać kilka...
Wykonujemy proces ETL. Kiedy wszystko jest już powiedziane i zrobione, jest kilka tabel, które powinny być identyczne. Jaki jest najszybszy sposób sprawdzenia, czy te tabele (na dwóch różnych serwerach) są w rzeczywistości identyczne. Mówię zarówno o schemacie, jak i danych. Czy mogę zrobić skrót...
Na podstawie mojej analizy kompletny model wymiarowy dla naszej hurtowni danych będzie wymagał ekstrakcji z ponad 200 tabel źródłowych. Niektóre z tych tabel zostaną wyodrębnione w ramach obciążenia przyrostowego, a inne będą obciążeniem pełnym. Należy zauważyć, że mamy około 225 źródłowych baz...
Jestem całkiem nowy w PostgreSQL, nigdy wcześniej nie przeprowadzałem dużego wdrożenia, używając go. Ale mam duże doświadczenie w rozwiązaniach dla przedsiębiorstw i chcę spróbować zastosować część tego, czego się nauczyłem, korzystając z PostgreSQL. Mam witrynę dostosowaną do obsługi dużej liczby...
Obecnie jestem w trakcie tworzenia ETL dla naszej hurtowni danych. Używamy SSIS 2008, ale napotykamy problemy, z których największą jest trudność w ponownym użyciu komponentów. Mamy osobne pakiety dla każdej tabeli i każdy pakiet przyjmuje jako dane wejściowe pewną liczbę zmiennych z pakietu...