Geoserver z wiadrem Amazon s3

13

Mam Apache z uruchomioną Geoserver na mojej wirtualnej instancji i zastanawiam się, czy katalog danych Geoserver może wskazywać na segment Amazon S3. czy to możliwe? Jak to wpływa na wydajność?

Jeśli S3 jest kiepską konfiguracją katalogu danych Geoserver, czy są jakieś sugestie dotyczące dodawania dużych ilości danych do mojego katalogu danych Geoserver? Katalog danych może sięgać nawet 100 GB, być może nawet więcej. Czy powinienem po prostu dostać serwer z dużym dyskiem twardym, czy połączyć się z bardziej skalowalnym rozwiązaniem, takim jak wiadro Amazon S3?

modulitos
źródło
Jakie są dane? Sądzę, że zdjęcia, ale kafelki? Może jakaś baza danych wygranych rastrowych :-)
BradHards
1
Jeśli dane są rastrowe i będą odczytywane i przetwarzane dla interaktywnego WMS, S3 może być bardzo powolny. Wskazówki z poprzednich doświadczeń, możesz spojrzeć na glusterfs + EBS.
simogeo
1
Interesuje mnie wykorzystanie S3 jako współdzielonego zasobnika danych dla elastycznie skalowalnej floty GeoServers. Obecnie badam użycie S3Fuse do zamontowania systemu plików w tym celu. Byłoby wspaniale usłyszeć o innych sukcesach / porażkach w tej dziedzinie.
8bitjunkie
Jakieś doświadczenia w tym temacie?
geogeek

Odpowiedzi:

10

Wskazanie „bezpośrednio” do segmentu S3 (np. Przy użyciu s3fs) jest „prawdopodobnie” złym pomysłem. np. /programming/10801158/how-stable-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

EBS jest prawie na pewno właściwym miejscem do przechowywania danych w celu uzyskania dostępu przez GeoServer.

100 GB jest bardzo łatwe do zarządzania według standardów EBS. (Maksymalny rozmiar woluminu to 16 terabajtów!)

Mogę zasugerować, aby zapisać oryginalne dane w S3, a następnie replikować je w razie potrzeby za pomocą narzędzi interfejsu AWS CLI do synchronizacji zawartości folderu S3 z lokalną instancją za pomocą jednego polecenia. http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html ). S3 jest prawdopodobnie redundantny, ale uważam, że zapewnia elastyczność i wygodę.

Uwaga dodatkowa: Jeśli mimo wszystko planujesz używać dużych instancji wielordzeniowych ORAZ wiesz, że wolumen danych prawdopodobnie nie wzrośnie nieoczekiwanie ORAZ jesteś w stanie automatycznie budować swoje instancje, możesz rozważyć użycie magazynu instancji („magazyn efemeryczny” ), ponieważ Twoje oryginalne dane będą bezpieczne w S3, możesz zaoszczędzić na opłatach EBS, a przechowywanie instancji może być nieco szybsze niż EBS w niektórych przypadkach.

python1981
źródło
1
To wyczerpująca odpowiedź. Bezgraniczni mają tutaj trochę informacji: boundlessgeo.com/2013/04/…
Alex Leith
Czego używasz do uruchamiania poleceń AWS z pyQGIS? Processing.call? boto3 nie działa. Działa w powłoce Osgeo z python2, ale nie 3 ...
Leo
0

Czy jest to możliwe: Można to łatwo osiągnąć dla danych, które są dostosowane do formatu GeoTIFF za pomocą modułu Geoserver s3 for Geotiff Community - https://docs.geoserver.org/latest/en/user/community/s3-geotiff/index .html

Jak to wpływa na wydajność? Trudno jest na to odpowiedzieć, jednak znalazłem wydajność mniej więcej równoważną pamięci EBS / EFS za ułamek ceny.

nstillwell
źródło