Czy jest jakiś powód, dla którego ktoś miałby używać BigTable zamiast BigQuery? Wydaje się, że oba obsługują operacje odczytu i zapisu, a ta ostatnia oferuje również zaawansowane operacje „zapytań”.

Muszę rozwinąć sieć afiliacyjną (dlatego muszę śledzić kliknięcia i 'sprzedaż'), więc jestem dość zdezorientowany różnicą, ponieważ bigQuery wydaje się być po prostu bigTable z lepszym API.

Różnica jest zasadniczo taka:

BigQuery to mechanizm zapytań do zbiorów danych, które niewiele się zmieniają lub zmieniają się przez dołączanie. Jest to doskonały wybór, gdy zapytania wymagają „skanowania tabeli” lub konieczności przejrzenia całej bazy danych. Pomyśl o sumach, średnich, zliczeniach, grupach. BigQuery jest tym, czego używasz, gdy zbierzesz duże ilości danych i musisz zadawać pytania na ich temat.

BigTable to baza danych. Został zaprojektowany jako podstawa dla dużej, skalowalnej aplikacji. Użyj BigTable, gdy tworzysz dowolną aplikację, która musi odczytywać i zapisywać dane, a skalowanie jest potencjalnym problemem.

Może to nieco pomóc w wyborze między różnymi magazynami danych, które oferuje Google Cloud (wyłączenie odpowiedzialności! Skopiowano ze strony Google Cloud)

Jeśli Twoim wymaganiem jest działająca baza danych, BigTable jest tym, czego potrzebujesz (jednak nie jest to system OLTP ). Jeśli jest to bardziej cel analityczny, to BigQuery jest tym, czego potrzebujesz!

Pomyśl o OLTP vs OLAP ; Lub jeśli znasz rozwiązania Cassandra vs Hadoop, BigTable z grubsza równa się Cassandrze, BigQuery z grubsza równa się Hadoop (zgadzam się, to nie jest uczciwe porównanie, ale masz pomysł)

https://cloud.google.com/images/storage-options/flowchart.svg

Uwaga

Należy pamiętać, że Bigtable nie jest relacyjną bazą danych i nie obsługuje zapytań SQL JOINani nie obsługuje transakcji wielowierszowych. Nie jest to również dobre rozwiązanie dla małych ilości danych. Jeśli chcesz RDBMS OLTP, możesz potrzebować spojrzeć na cloudSQL (mysql / postgres) lub klucz.

Perspektywa kosztów

https://stackoverflow.com/a/34845073/6785908 . Cytując tutaj odpowiednie części.

Całkowity koszt sprowadza się do tego, jak często będziesz „sprawdzać” dane. Jeśli jest to kopia zapasowa i nie odtwarzasz wydarzeń zbyt często, będzie to tanie jak barszcz. Jeśli jednak chcesz go powtarzać raz dziennie, bardzo łatwo zaczniesz uruchamiać skanowanie 5 $ / TB. Byliśmy też zaskoczeni, jak tanie były wstawki i przechowywanie, ale dzieje się tak często, ponieważ Google oczekuje, że w pewnym momencie będziesz uruchamiać na nich kosztowne zapytania. Będziesz jednak musiał zaprojektować kilka rzeczy. Np. Wstawki strumieniowe AFAIK nie mają gwarancji, że zostaną zapisane do tabeli i musisz często sondować ogon listy, aby sprawdzić, czy rzeczywiście został napisany. Śledzenie można jednak przeprowadzić efektywnie za pomocą dekoratora tabeli przedziałów czasowych (bez płacenia za skanowanie całego zbioru danych).

Jeśli nie zależy Ci na porządku, możesz nawet bezpłatnie wystawić stolik. Nie ma wtedy potrzeby uruchamiania „zapytania”.

Edytuj 1

Klucz chmurowy jest stosunkowo młody, ale jest potężny i obiecujący (i skandalicznie drogi). Przynajmniej marketing Google twierdzi, że jego funkcje są najlepsze z obu światów (tradycyjny RDBMS i noSQL)

BigQuery i Cloud Bigtable to nie to samo. Bigtable to baza danych NoSQL oparta na Hadoop, a BigQuery to magazyn danych oparty na SQL. Mają określone scenariusze użytkowania.

W bardzo krótkich i prostych słowach;

• Jeśli nie potrzebujesz obsługi transakcji ACID lub jeśli Twoje dane nie są wysoce ustrukturyzowane, rozważ Cloud Bigtable.
• Jeśli potrzebujesz interaktywnych zapytań w systemie przetwarzania analitycznego online (OLAP), rozważ rozwiązanie BigQuery.