System baz danych zoptymalizowany pod kątem raportowania, zwłaszcza zbiorczego. Często, ale nie zawsze, implementowane przy użyciu schematu gwiazdy.
Dominujące topologie modelowania hurtowni danych (Star, Snowflake) są zaprojektowane z myślą o relacjach jeden do wielu. Czytelność, wydajność i struktura zapytań znacznie się pogarsza w obliczu relacji wiele do wielu w tych schematach modelowania. Jakie są sposoby implementacji relacji wiele do...
Uświadomiłem sobie, że moja firma stosuje proces ELT (ekstrakcja-transformacja-ładowanie) zamiast ETL (ekstrakcja-transformacja-ładowanie). Jakie są różnice między tymi dwoma podejściami i w jakich sytuacjach jedno byłoby „lepsze” od drugiego? Byłoby wspaniale, gdybyś mógł podać kilka...
Strojenie wydajności hurtowni danych za pomocą indeksów. Jestem dość nowy w SQL Server 2014. Microsoft opisuje następujące kwestie: „Uważamy indeks klastrowanego magazynu kolumn za standard do przechowywania tabel faktów hurtowni dużych danych i oczekujemy, że będzie on używany w większości...
W przypadku korzystania z tabeli czasowej z wersją systemową (nowość w SQL Server 2016), jakie są skutki tworzenia zapytań i wydajności, gdy ta funkcja jest używana do obsługi powolnej zmiany wymiarów w dużej relacyjnej hurtowni danych? Załóżmy na przykład, że mam Customerwymiar 100 000 wierszy z...
Zamknięte. To pytanie jest nie na temat . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było ono tematem na temat wymiany stosu administratorów bazy danych. Zamknięte 5 lat temu . Zastanawiam się, czy to pytanie...
Od czasu do czasu pobieram publicznie dostępne zestawy danych w postaci dB Postgres. Te zestawy danych są z czasem aktualizowane / modyfikowane / rozszerzane przez host repozytorium. Czy istnieje polecenie lub narzędzie Postgres (najlepiej FOSS), które może pokazywać różnice między STARYM a NOWYM...
Potrzebuję obsługiwać dynamiczne pola i wartości w dużej przechowalni danych do przechowywania dziennika żądań API, moim przypadkiem użytkownika jest to, że muszę przechowywać wszystkie ciągi zapytań API i móc wykonywać zapytania przeciwko nim w przyszłości (więc nie jest to tylko przechowywanie,...
Na podstawie mojej analizy kompletny model wymiarowy dla naszej hurtowni danych będzie wymagał ekstrakcji z ponad 200 tabel źródłowych. Niektóre z tych tabel zostaną wyodrębnione w ramach obciążenia przyrostowego, a inne będą obciążeniem pełnym. Należy zauważyć, że mamy około 225 źródłowych baz...
Zaczynamy projektować elementy składowe hurtowni danych i musimy być w stanie obsługiwać wszystkie strefy czasowe (nasi klienci pochodzą z całego świata). Po przeczytaniu dyskusji online (i książek) powszechnym rozwiązaniem wydaje się mieć osobny wymiar daty i godziny oraz znacznik czasu w tabelach...
Mam 200 GB hurtowni danych w SQL Server. Występują naprawdę powolne czasy wykonywania niektórych zapytań; na przykład 12 godzin na proste deletezapytanie z inner join. Po przeprowadzeniu badań z planami wykonania zaktualizowałem statystyki 2 tabel biorących udział w zapytaniu, korzystając z tej...
Na Oracle Exadata (11gR2) mamy stosunkowo rozbudowaną bazę danych. cpu_count to 24 równoległe_serwery_instancji to 2 parallel_threads_per_cpu to 2 Zauważyliśmy, obserwując w Oracle Enterprise Manager (OEM), że wydajność była okropna z powodu seryjnego wykonywania zapytań. Aby rozwiązać ten...
Jestem całkiem nowy w PostgreSQL, nigdy wcześniej nie przeprowadzałem dużego wdrożenia, używając go. Ale mam duże doświadczenie w rozwiązaniach dla przedsiębiorstw i chcę spróbować zastosować część tego, czego się nauczyłem, korzystając z PostgreSQL. Mam witrynę dostosowaną do obsługi dużej liczby...
Część literatury na temat kompresji danych SQL Server, którą czytam, stwierdza, że koszt zapisu wzrasta około czterokrotnie, co byłoby normalnie wymagane. Wydaje się również sugerować, że jest to główny minus kompresji danych, silnie sugerując, że w przypadku bazy danych archiwum tylko do odczytu...
Po przeczytaniu pytań i odpowiedzi z tej witryny na temat indeksów przyszło mi do głowy pytanie. Co, jeśli używa się tabeli wymiarów czasowych, przy czym niższy poziom szczegółowości to dzień. Gdzie należy umieścić indeksy? Randy Melder w pytaniu: Co oznacza „indeks” w RDBMS? powiedział:...
Staramy się zoptymalizować projekt hurtowni danych, który będzie obsługiwał raportowanie danych w wielu strefach czasowych. Na przykład, możemy mieć raport dotyczący aktywności z miesiąca (miliony wierszy), która musi pokazywać aktywność pogrupowaną według pory dnia. I oczywiście ta godzina dnia...
Pracuję nad obliczeniem „tylnej części koperty” dla konfiguracji bazy danych raportowania 100 TB. Szukam tutaj myśli od ekspertów. Proponowane środowisko: Pojemność ~ 100 TB Tabele ~ 200, rozmiary od 1 GB do 5 TB. średni rozmiar może wynosić od 100 GB do 200 GB ETL - zadania mogą wymagać łączenia...
Właśnie rozpoczynamy projektowanie nowej hurtowni danych i staramy się zaprojektować, jak będą działać nasze wymiary daty i godziny. Musimy być w stanie obsługiwać wiele stref czasowych (prawdopodobnie przynajmniej GMT, IST, PST i EST). Początkowo myśleliśmy, że będziemy mieli jeden szeroki łączny...
Nie mogę znaleźć żadnych jasnych definicji ani wyjaśnień żadnego z nich. Oba wydają się zdecentralizowane. Wygląda na to, że w Federated DWH dane są dystrybuowane i nie są zintegrowane w jednym repozytorium i są dostępne z rozproszonych źródeł. Podczas gdy w zdecentralizowanej implementacji DWH...