Interesują mnie zalety i wady różnych przestrzennych narzędzi ETL (ekstrakcja, transformacja, ładowanie). Jeśli korzystałeś z wymienionych tutaj przedmiotów (lub dodaj własne), szukam twoich opinii i doświadczeń. W szczególności chciałbym zobaczyć porównania użyteczności:
- Bezpieczne oprogramowanie FME (zastrzeżone)
- Rozszerzenie interoperacyjności danych ArcGIS (zastrzeżone, podzbiór funkcji FME)
- Talend Spatial extension (wcześniej Spatial Data Integrator) (open source)
- GeoKettle (open source)
- ogr2ogr (nie wiem, czy to naprawdę ETL, ale raczej zestaw narzędzi do tłumaczenia plików)
- Każda dodatkowa partia na liście
Nie ma potrzeby recenzowania WSZYSTKIEGO wspomnianego oprogramowania. Jeśli masz doświadczenie nawet z jednym, będzie to bardzo korzystne przy podejmowaniu decyzji, w którym kierunku pójść.
Przykład: Chcę utworzyć funkcję konwersji schematu, która pozwoli mi wybrać warstwę wejściową, utworzyć tłumaczenie i wygenerować nowy, wstępnie zdefiniowany schemat. Optymalnie, po utworzeniu skryptu tłumaczenia, chciałbym mieć interaktywną formę, w której mogę „mapować” pola w mojej warstwie wejściowej na warstwę wyjściową (tj. - Warstwa wyjściowa będzie miała pole o nazwie „Adres”, jak to się nazywa w warstwie wejściowej?)
Niektóre zostały wymienione w pytaniach i odpowiedziach na stronie Jakie narzędzia są dostępne do przesyłania danych gis do bazy danych?
A oto kilka powiązanych artykułów, które znalazłem.
źródło
Większość prostych operacji można wykonać za pomocą tych narzędzi typu open source
Pobierz FWtools http://fwtools.maptools.org/ i wypróbuj.
źródło
Zrobiłem porównanie różnych narzędzi o rok tyłu, który zawiera również większość z wymienionych w tym wątku opcji.
Jako bardziej bezpośrednią odpowiedź, często używam FME ze względu na jego wszechstronność. Jednak gdy pracuję ze złożonymi strukturami danych, takimi jak CityGML, INSPIRE GML lub większe modele baz danych, używam HALE , aplikacji open source opracowanej dla ETL, a szczególnie harmonizacji.
Obecnie (od wersji 2.9.0) porównuje się z FME (2014 SP1) w następujący sposób:
Pamiętaj, że jestem w zespole HALE od kilku lat.
źródło
Jeśli spojrzysz na duplikat blah238s, znajdziesz więcej informacji. Powiedziałbym, że Talend Open Studio i Pentaho GeoKettle to najbardziej znane rozwiązania open source, jakie można wybrać. Z tych dwóch celów Talend więcej niż tylko ETL i GeoKettle są nieco łatwiejsze w użyciu, o ile czytałem.
Moja gmina ma zamiar dać GeoKettle napisanie dialektu GML opracowanego przez szwedzkie stowarzyszenie lokalnych władz i regionów (SALAR) i potrzebujemy tego formatu, aby dostarczyć geodane do różnych komercyjnych interesów.
Wierzę, że GeoKettle ma wsparcie dla OGR / GDAL od wersji 2.0.
źródło
FME jest prawdopodobnie najlepszym produktem do zastosowania w tej przestrzeni. Potem jest GDAL / OGR. Innym produktem open source w tej przestrzeni jest geokettle - http://www.spatialytics.org/projects/geokettle/, chociaż nigdy nie użyłem go w gniewie (mając szczęście, że wymieniono oba pozostałe produkty).
Jeśli żadna z tych ogólnych opcji nie działa, prawdopodobnie chcesz użyć określonego narzędzia do konwersji.
źródło
Użyłem Geokettle religijnie dla małego projektu wysokiego poziomu uczenia się, chyba że przyzwyczaiłeś się do interfejsu użytkownika Eclipse ... Naprawdę potężny, ponieważ skompilowany z GDAL1.10 obsługuje wszystkie typy geo ... Podobało mi się jego wsparcie zarówno dla przechowywanych danych, jak i danych za pośrednictwem usług ... użyłem go do odtworzenia i zsynchronizowania zbiorów danych ArcGIS na lokalnej instancji Postgis za pośrednictwem jsona ESRI z GeoJSON ... Przepływ pracy można budować w warunkach i sprawdzanie poprawności ustawia go w celu zapytania o # objectid i na podstawie tej kompilacji predefiniowany plik csv aby iterować zapytanie o 500 funkcji na raz, w zależności od pierwszego zapytania, udało się skonsolidować wszystkie żądania w jednym pliku geojson, uruchomić ogr2ogr, aby załadować do postgis nawet skryptuję postgis, aby uruchomić próżnię i zindeksować z nim ... Nie związany tylko fan
Możesz go uruchomić i zmapować przepływ pracy w graficznym interfejsie użytkownika oraz użyć narzędzi serwera pentahos, aby skonfigurować go na Hadoop i uruchomić jako skrypt lub zadanie CRON.
źródło
QGIS (przynajmniej od obecnej wersji 2.6) ma teraz również zintegrowany konstruktor modeli. Za pomocą tego zestawu narzędzi można uzyskać dostęp do setek algorytmów (GDAL, GRASS, SAGA, vectortools itp.). Możesz także dodać własny skrypt.
Muszę przyznać, że nie korzystałem z niego zbyt często, ale gdybym szukał konstruktora modeli, uznałbym to za warte zbadania.
źródło
[OSTRZEŻENIE: bezpłatna promocja produktu, w który jestem zaangażowana]
Pracowaliśmy nad narzędziem do wykonywania ETL. Ma podobny smak do FME, ale jest przeznaczony do prostszych zadań i wymaga mniejszej wiedzy specjalistycznej. Niektóre szczegóły można znaleźć na https://www.geoactive.it po prostu szukać informacji o Data Dragon. Ta aplikacja używa GDAL / OGR w back-endie i przesuwamy wszelkie dodatki, które wprowadzamy z powrotem do GDAL / OGR.
Wykorzystanie komercyjne wymaga zakupu, ale mamy dostępne licencje akademickie za darmo, więc jeśli chcesz go użyć do nauki, wyślij mi wiadomość, a ja przedstawię ci więcej szczegółów.
To jest w fazie wczesnego wydania, więc wciąż jest kilka drobnych błędów, więc proszę, bądź z nami delikatny.
źródło