Jaki jest zalecany sposób usuwania dużej liczby elementów z DynamoDB?

Piszę prostą usługę logowania w DynamoDB.

Mam tabelę dzienników, która jest kluczowana przez hash user_id i zakres datownika (int w epoce systemu Unix).

Kiedy użytkownik serwisu zamyka swoje konto, muszę usunąć wszystkie pozycje z tabeli, niezależnie od wartości zakresu.

Jaki jest zalecany sposób wykonywania tego rodzaju operacji (pamiętaj, że mogą istnieć miliony elementów do usunięcia)?

Moje opcje, o ile widzę, to:

Odp .: Wykonaj operację skanowania, wywołując usuwanie dla każdego zwróconego elementu, dopóki nie zostaną żadne elementy

B: Wykonaj operację BatchGet, ponownie wywołując usuwanie dla każdego elementu, dopóki żaden nie zostanie

Oba te wyglądają dla mnie okropnie, ponieważ zajmą dużo czasu.

To, co chciałbym zrobić, to wywołać LogTable.DeleteItem (user_id) - bez podawania zakresu i usunąć wszystko za mnie.

Najlepiej byłoby, gdybyśmy wywołali LogTable.DeleteItem (user_id) - bez podawania zakresu i usunęli wszystko za mnie.

Rzeczywiście zrozumiała prośba; Mogę sobie wyobrazić, że zaawansowane operacje, takie jak te, mogą być dodawane z czasem przez zespół AWS (mają historię zaczynania od ograniczonego zestawu funkcji i oceniania rozszerzeń na podstawie opinii klientów), ale oto, co należy zrobić, aby uniknąć kosztów pełny skan co najmniej:

1. Użyj zapytania zamiast skanowania, aby pobrać wszystkie elementy user_id- działa to niezależnie od używanego połączonego klucza podstawowego hash / range, ponieważ HashKeyValue i RangeKeyCondition są oddzielnymi parametrami w tym interfejsie API, a ten pierwszy dotyczy tylko wartości atrybutu składnika skrótu złożonego klucz podstawowy. .

   • Pamiętaj, że będziesz musiał jak zwykle poradzić sobie ze stronicowaniem interfejsu API zapytań tutaj, jak zwykle, zobacz parametr ExclusiveStartKey :

     Klucz podstawowy elementu, z którego należy kontynuować wcześniejsze zapytanie. Wcześniejsze zapytanie może dostarczyć tę wartość jako LastEvaluatedKey, jeśli operacja zapytania została przerwana przed zakończeniem zapytania; ze względu na rozmiar zestawu wyników lub parametr Limit. LastEvaluatedKey można przekazać z powrotem w nowym żądaniu zapytania, aby kontynuować operację od tego momentu.

2. Zapętlaj wszystkie zwrócone elementy i albo jak zwykle ułatwiaj DeleteItem

   • Aktualizacja : Najprawdopodobniej BatchWriteItem jest bardziej odpowiedni dla takiego przypadku użycia (szczegóły poniżej).

Aktualizacja

Jak podkreślił ivant , operacja BatchWriteItem umożliwia umieszczanie lub usuwanie kilku elementów w wielu tabelach w jednym wywołaniu interfejsu API [podkreślenie moje] :

Aby przesłać jeden element, możesz użyć interfejsu API PutItem, a aby usunąć jeden element, możesz użyć interfejsu API DeleteItem. Jeśli jednak chcesz przesłać lub usunąć duże ilości danych, na przykład przesłać duże ilości danych z Amazon Elastic MapReduce (EMR) lub przenieść dane z innej bazy danych do Amazon DynamoDB, ten interfejs API stanowi wydajną alternatywę.

Należy pamiętać, że nadal ma to pewne istotne ograniczenia, w szczególności:

• Maksymalna liczba operacji w jednym żądaniu - można określić łącznie do 25 operacji wstawiania lub usuwania; jednak łączny rozmiar żądania nie może przekraczać 1 MB (ładunek HTTP).

• Nie jest to niepodzielna operacja - poszczególne operacje określone w BatchWriteItem są niepodzielne; jednak BatchWriteItem jako całość jest operacją „najlepszego wysiłku”, a nie operacją atomową. Oznacza to, że w żądaniu BatchWriteItem niektóre operacje mogą się powieść, a inne mogą zakończyć się niepowodzeniem. […]

Niemniej jednak w oczywisty sposób oferuje to potencjalnie znaczące korzyści w przypadkach użycia, takich jak niniejszy.

Zgodnie z dokumentacją DynamoDB można po prostu usunąć całą tabelę.

Zobacz poniżej:

„Usunięcie całej tabeli jest znacznie bardziej wydajne niż usuwanie elementów pojedynczo, co zasadniczo podwaja przepustowość zapisu, ponieważ wykonujesz tyle operacji usuwania, ile operacji put”

Jeśli chcesz usunąć tylko podzbiór danych, możesz utworzyć osobne tabele dla każdego miesiąca, roku lub podobnego. W ten sposób możesz usunąć „ostatni miesiąc” i zachować resztę danych w stanie nienaruszonym.

Oto jak usunąć tabelę w Javie za pomocą AWS SDK:

DeleteTableRequest deleteTableRequest = new DeleteTableRequest()
  .withTableName(tableName);
DeleteTableResult result = client.deleteTable(deleteTableRequest);

Jeśli chcesz usunąć pozycje po jakimś czasie, np. Po miesiącu, wystarczy skorzystać z opcji Time To Live. To będzie nie liczyć jednostki zapisu.

W twoim przypadku dodałbym ttl, gdy logi wygasną i zostawiłem je po usunięciu użytkownika. TTL zapewni, że dzienniki zostaną ostatecznie usunięte.

Gdy w tabeli włączona jest funkcja Time To Live, zadanie w tle sprawdza atrybut TTL elementów, aby sprawdzić, czy wygasły.

DynamoDB zazwyczaj usuwa wygasłe elementy w ciągu 48 godzin od wygaśnięcia. Dokładny czas, w którym element zostanie rzeczywiście usunięty po wygaśnięciu, zależy od rodzaju obciążenia pracą i rozmiaru tabeli. Elementy, które wygasły i nie zostały usunięte, nadal będą pojawiać się w odczytach, zapytaniach i skanach. Te elementy można nadal aktualizować, a pomyślne aktualizacje w celu zmiany lub usunięcia atrybutu wygaśnięcia będą honorowane.

https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/TTL.html https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/howitworks-ttl.html

Odpowiedź na to pytanie zależy od liczby pozycji i ich wielkości oraz budżetu. Zależy od tego, że mamy 3 przypadki:

1- Liczba pozycji i rozmiar pozycji w tabeli nie są zbyt duże. następnie, jak powiedział Steffen Opel, możesz użyć zapytania zamiast skanowania, aby pobrać wszystkie elementy dla user_id, a następnie przejrzeć wszystkie zwrócone elementy i albo ułatwić, DeleteItemalboBatchWriteItem. Pamiętaj jednak, że możesz tutaj spalić dużą przepustowość. Na przykład rozważmy sytuację, w której trzeba usunąć 1000 pozycji z tabeli DynamoDB. Załóżmy, że każdy element ma rozmiar 1 KB, co daje około 1 MB danych. To zadanie usuwania zbiorczego będzie wymagało łącznie 2000 jednostek pojemności zapisu do wykonywania zapytań i usuwania. Aby wykonać to ładowanie danych w ciągu 10 sekund (co w niektórych aplikacjach nie jest nawet uważane za tak szybkie), należałoby ustawić udostępnioną przepustowość zapisu tabeli na 200 jednostek pojemności zapisu. Jak widać, można go użyć w ten sposób, jeśli jest to dla mniejszej liczby przedmiotów lub przedmiotów o małych rozmiarach.

2- Mamy w tabeli wiele pozycji lub bardzo duże pozycje i możemy je przechowywać według czasu w różnych tabelach. Wtedy, jak powiedział Jonathan, możesz po prostu usunąć tabelę. to jest o wiele lepsze, ale nie sądzę, aby pasowało do twojego przypadku. Ponieważ chcesz usunąć wszystkie dane użytkowników bez względu na czas tworzenia logów, w tym przypadku nie możesz usunąć konkretnej tabeli. jeśli chcesz mieć osobną tabelę dla każdego użytkownika, myślę, że jeśli liczba użytkowników jest duża, jest to tak drogie i nie jest praktyczne w twoim przypadku.

3- Jeśli masz dużo danych i nie możesz podzielić swoich gorących i zimnych danych na różne tabele i musisz często usuwać na dużą skalę, to niestety DynamoDB wcale nie jest dla Ciebie dobrą opcją. Może stać się droższy lub bardzo powolny (w zależności od budżetu). W takich przypadkach radzę poszukać innej bazy danych.

Moje podejście do usuwania wszystkich wierszy z tabeli i DynamoDb polega po prostu na wyciągnięciu wszystkich wierszy z tabeli za pomocą DynamoDbs ScanAsync, a następnie przesłaniu listy wyników do DynamoDbs AddDeleteItems. Poniższy kod w C # u mnie działa dobrze.

        public async Task DeleteAllReadModelEntitiesInTable()
    {
        List<ReadModelEntity> readModels;

        var conditions = new List<ScanCondition>();
        readModels = await _context.ScanAsync<ReadModelEntity>(conditions).GetRemainingAsync();

        var batchWork = _context.CreateBatchWrite<ReadModelEntity>();
        batchWork.AddDeleteItems(readModels);
        await batchWork.ExecuteAsync();
    }

Uwaga: Usunięcie tabeli, a następnie ponowne utworzenie jej z konsoli internetowej może spowodować problemy, jeśli do tworzenia tabeli używasz YAML / CloudFront.

Nie mamy możliwości obcinania tablic dynamo. musimy porzucić tabelę i ponownie stworzyć. Opłaty za DynamoDB są oparte na ReadCapacityUnits i WriteCapacityUnits. Jeśli usuniemy wszystkie elementy za pomocą funkcji BatchWriteItem, użyje ona WriteCapacityUnits, więc lepiej usunąć określone rekordy lub usunąć tabelę i zacząć od nowa.