Jak najłatwiej zrobić jednorazowy geokod masy? (580 000 adresów w USA)

13

Pracuję nad projektem związanym z obywatelstwem i muszę być w stanie wyświetlić wszystkie właściwości w mieście Filadelfia na mapie, więc muszę uzyskać szerokość i długość geograficzną dla wszystkich 580 000 nieruchomości. (Tylko raz)

Większość interfejsów API, takich jak Google / Yahoo, ma limity 5000 dziennie, a nawet BatchGeo ma podobny limit.

Czy istnieje sposób na jednorazowe geokodowanie wszystkich tych adresów?

geocoding Tobias Fünke
źródło
4
Najłatwiej jest znaleźć dobrego dostawcę komercyjnego.
Matthew Snape
1
Uwielbiam swoją nazwę użytkownika!
nmpeterson

Odpowiedzi:

14

Możesz wypróbować narzędzie Adres do współrzędnych z zestawu narzędzi Data Science Toolkit.

This API takes either a single string representing a postal address, or a JSON-encoded  
array of addresses, and returns a JSON object with a key for every address. The value 
for each key is either null if no information was found for the address, or an object 
containing location information, including country, region, city and latitude/longitude 
coordinates. Here's an example:

Nie jestem pewien, jakie są ograniczenia API dla hostowanej kopii Pete Warden, ale możesz sam uruchomić zestaw narzędzi i wykonać przetwarzanie offline, jak sugeruje @Devdatta. Istnieje maszyna wirtualna do pobrania , która zawiera wszystkie narzędzia w witrynie. Powodzenia :)

RK
źródło
Wielkie dzięki! Spróbuję i dam znać, czy zadziałało.
Tobias Fünke
Jak dotąd działa świetnie! Korzystam z VM, więc mam nadzieję, że nie ma żadnych ograniczeń. Czy pobiera z lokalnej bazy danych, czy sprawdza interfejs WWW?
Tobias Fünke
1
VM używa pochodzi z bazą miejsc, więc tak, bez ograniczeń. Zasięg jest świetny dla Stanów Zjednoczonych, jeśli się nie mylę. Możesz zainteresować się źródłem, jeśli jesteś zainteresowany :) github.com/petewarden/dstk and github.com/petewarden/dstkdata
RK
1
Zajęło to osiem dni
Tobias Fünke
1
Dziękujemy za odniesienie @RK Zastanawiam się, dlaczego datasciencetoolkit nie jest bardziej popularny. Nie pojawili się w moich badaniach w ciągu ostatnich kilku dni, musieli kopać głębiej. Twoje zdrowie!
dchhetri
3

Przy tej ilości danych sugerowałbym, że wykonujesz geokodowanie offline. Tylko żądania HTTP dla tych wielu rekordów zostałyby zaklasyfikowane jako atak DoS przez dowolny serwer.

Devdatta Tengshe
źródło
4
Nie do końca prawda. Jeśli korzystasz z usługi zaprojektowanej do obsługi tylu żądań geokodowania, to nie będzie problem. Interfejs API LiveAddress może z łatwością obsłużyć 1000 żądań adresu na sekundę. To wybiłoby 598 tys. W około 10 minut. (Cały dzień pracuję nad weryfikacją adresu i geokodowaniem - pracuję w SmartyStreets)
Jeffrey
3

Geokodowanie da punkty - 580 000 z nich. Czy na pewno chcesz wyświetlić je wszystkie na mapie? Tak wiele skupionych punktów prawdopodobnie spowoduje, że mapa będzie nieczytelna. Problemy te zakładają, że znajdziesz sposób na geokodowanie tak wielu rekordów.

Dokumenty paczkowe miasta Filadelfii są dostępne jako warstwa wielokąta. Co więcej, te wielokąty są już dostępne jako usługa map. Jeśli dane / usługa są odpowiednie dla twoich potrzeb, nie musisz się martwić geokodowaniem tak wielu punktów, a wielokąty najprawdopodobniej będą wyglądać lepiej niż tyle punktów na mapie.

Informacje na temat danych (w tym metadanych i pobierania) oraz usługi mapowej:

http://www.pasda.psu.edu/uci/MapService.aspx?Dataset=462

Podgląd usługi mapy (powiększ, aby uzyskać lepszy widok)

http://maps.psiee.psu.edu/preview/map.ashx?layer=462


źródło
2

Możesz wypróbować Geocoda: https://geocoda.com dla JSON API. Geocoda ma interfejs API, który pozwala uzyskać adres Lat / Lon dla adresu, który odpowiada Twoim wymaganiom. Geocoda nie ma dziennego limitu zapytań, ale ma początkowy limit konta 10 zapytań na sekundę.

Uwaga: Pracuję w Geocoda. Daj mi znać, jeśli potrzebujesz pomocy na początku lub chcesz przejrzeć nasz interfejs API partii.

runako
źródło
1

Możesz wypróbować SVB Mapper, który można pobrać stąd i działa bardzo dobrze z programami Excel i Bing Maps. Możesz uruchomić mapowanie i analizę bezpośrednio w programie Excel. Być może będziesz musiał sprawdzić limit i limity.

Bob Julian
źródło