Prowadzimy działalność głównie w Stanach Zjednoczonych i staramy się poprawić komfort użytkowania, łącząc wszystkie pola adresowe w jeden obszar tekstowy. Ale jest kilka problemów:
- Adres, który wpisuje użytkownik, może być nieprawidłowy lub w standardowym formacie
- Adres musi być podzielony na części (ulica, miasto, województwo itp.), Aby przetwarzać płatności kartą kredytową
- Użytkownicy mogą podać więcej niż tylko swój adres (na przykład imię i nazwisko lub firmę)
- Google może to zrobić, ale Warunki korzystania z usługi i limity zapytań są zaporowe, zwłaszcza przy napiętym budżecie
Najwyraźniej jest to częste pytanie:
- Skrypt PHP do analizowania adresu?
- Jak przeanalizować adres w dowolnym formacie, aby zapisać go w bazie danych
- parser adresu pocztowego java
- Bardziej efektywny sposób wyodrębniania składników adresu
- Jak mogę wyświetlić wstępnie wypełniony adres pocztowy na ekranie kontaktów z ulicą, miastem i kodem pocztowym na Androidzie
- Adres PHP regexp w USA
Czy istnieje sposób na oddzielenie adresu od otaczającego go tekstu i rozbicie go na kawałki? Czy istnieje wyrażenie regularne do analizowania adresów?
api
parsing
street-address
Matt
źródło
źródło
Odpowiedzi:
Często widziałem to pytanie, gdy pracowałem dla firmy weryfikującej adresy. Umieszczam tutaj odpowiedź, aby była bardziej dostępna dla programistów, którzy szukają tego samego pytania. Firma, w której byłem, przetwarzała miliardy adresów i przy okazji wiele się nauczyliśmy.
Najpierw musimy zrozumieć kilka rzeczy dotyczących adresów.
Adresy nie są regularne
Oznacza to, że wyrażenia regularne są wyłączone. Widziałem to wszystko, od prostych wyrażeń regularnych, które dopasowują adresy w bardzo specyficznym formacie, do tego:
... do tego, w którym plik klasy liniowej 900+ generuje supermasywne wyrażenie regularne w locie, aby dopasować jeszcze więcej. Nie polecam ich (na przykład tutaj jest skrzypce powyższego wyrażenia regularnego, które popełnia wiele błędów ). Nie ma łatwej magicznej formuły, aby to zadziałało. W teorii i przez teorię, to nie jest możliwe, aby dopasować adresy z wyrażenia regularnego.
Publikacja USPS 28 dokumentuje wiele możliwych formatów adresów wraz ze wszystkimi ich słowami kluczowymi i odmianami. Co najgorsze, adresy są często niejednoznaczne. Słowa mogą oznaczać więcej niż jedną rzecz („Święty” może oznaczać „Święty” lub „Ulica”), a są słowa, które z pewnością wymyślili. (Kto wiedział, że „Stravenue” to sufiks ulicy?)
Potrzebowałbyś kodu, który naprawdę rozumie adresy, a jeśli ten kod istnieje, jest to tajemnica handlowa. Ale prawdopodobnie mógłbyś rzucić własne, jeśli naprawdę się tym interesujesz.
Adresy mają nieoczekiwane kształty i rozmiary
Oto kilka wymyślonych (ale kompletnych) adresów:
Nawet te są prawdopodobnie ważne:
Oczywiście nie są one znormalizowane. Nie gwarantuje się stosowania znaków interpunkcyjnych ani podziałów wierszy. Oto, co się dzieje:
Numer 1 jest kompletny, ponieważ zawiera adres oraz miasto i województwo. Dzięki tym informacjom wystarczy zidentyfikować adres i można go uznać za „dostarczalny” (przy pewnej standaryzacji).
Numer 2 jest kompletny, ponieważ zawiera również adres (z numerem dodatkowym / jednostki) i 5-cyfrowy kod pocztowy, który jest wystarczający do zidentyfikowania adresu.
Numer 3 to pełny format skrytki pocztowej, ponieważ zawiera kod pocztowy.
Numer 4 jest również kompletny, ponieważ kod pocztowy jest unikalny , co oznacza, że podmiot prywatny lub korporacja zakupiła tę przestrzeń adresową. Unikalny kod pocztowy jest przeznaczony dla dużych lub skoncentrowanych miejsc dostawczych. Wszystko zaadresowane na kod pocztowy 12345 trafia do General Electric w Schenectady w stanie Nowy Jork. Ten przykład nie dotrze do nikogo w szczególności, ale USPS nadal byłby w stanie go dostarczyć.
Numer 5 jest również kompletny, wierz lub nie. Mając tylko te liczby, pełny adres można znaleźć, analizując go w bazie danych zawierającej wszystkie możliwe adresy. Wypełnienie brakujących kierunków, dodatkowego oznaczenia i kodu ZIP + 4 jest trywialne, gdy widzisz każdą liczbę jako składnik. Oto, jak to wygląda, w pełni rozwinięte i ustandaryzowane:
Dane adresowe nie należą do Ciebie
W większości krajów, które udostępniają licencjonowanym dostawcom oficjalne dane adresowe, same dane adresowe należą do agencji zarządzającej. W USA adresy są własnością USPS. To samo dotyczy Canada Post, Royal Mail i innych, chociaż każdy kraj egzekwuje lub definiuje własność nieco inaczej. Wiedza o tym jest ważna, ponieważ zwykle zabrania inżynierii wstecznej bazy danych adresów. Musisz uważać, jak pozyskiwać, przechowywać i wykorzystywać dane.
Mapy Google są popularnym miejscem do szybkiego poprawiania adresów, ale TOS są raczej zaporowe; na przykład nie możesz korzystać z ich danych lub interfejsów API bez pokazania mapy Google i tylko do celów niekomercyjnych (chyba że płacisz) i nie możesz przechowywać danych (z wyjątkiem tymczasowego buforowania). Ma sens. Dane Google należą do najlepszych na świecie. Jednak Google Maps nie weryfikuje adresu. Jeśli adres nie istnieje, to jeszcze pokazać, gdzie adres byłoby , gdyby to zrobił istnieje (spróbuj go na swojej własnej ulicy, korzystać z numer domu, które znasz, nie istnieje). Czasami jest to przydatne, ale pamiętaj o tym.
Polityka użytkowania Nominatim jest podobnie ograniczająca, szczególnie w przypadku dużych wolumenów i zastosowań komercyjnych, a dane pochodzą głównie z bezpłatnych źródeł, więc nie są tak dobrze utrzymywane (taki jest charakter otwartych projektów) - jednak może to nadal pasować Twoje potrzeby. Jest wspierany przez wspaniałą społeczność.
Sam USPS ma interfejs API, ale bardzo się obniża i nie ma żadnych gwarancji ani wsparcia. Może być również trudny w użyciu. Niektórzy używają go oszczędnie i bez problemów. Ale łatwo przeoczyć, że USPS wymaga, abyś używał ich API tylko do potwierdzania adresów do wysyłki za ich pośrednictwem.
Ludzie oczekują, że adresy będą trudne
Niestety, uwarunkowaliśmy nasze społeczeństwo, aby oczekiwało, że adresy będą skomplikowane. W całym Internecie można znaleźć dziesiątki dobrych artykułów UX na ten temat, ale faktem jest, że jeśli masz formularz adresowy z pojedynczymi polami, tego oczekują użytkownicy, mimo że utrudnia to w przypadku adresów skrajnych, które nie pasują do format, jakiego oczekuje formularz, a może formularz wymaga pola, którego nie powinien. Lub użytkownicy nie wiedzą, gdzie umieścić określoną część swojego adresu.
W dzisiejszych czasach mógłbym ciągle mówić o złym UX formularzy płatności, ale zamiast tego powiem tylko, że połączenie adresów w jedno pole będzie mile widzianą zmianą - ludzie będą mogli wpisać swój adres tak, jak uważają za stosowny , zamiast próbować wymyślić długi formularz. Jednak ta zmiana będzie nieoczekiwana i początkowo użytkownicy mogą uznać ją za nieco irytującą. Po prostu bądź tego świadomy.
Część tego bólu można złagodzić, umieszczając pole kraju z przodu, przed adresem. Kiedy najpierw wypełnią pole kraju, wiesz, jak wyświetlić formularz. Być może masz dobry sposób radzenia sobie z adresami w USA z jednym polem, więc jeśli wybierzesz Stany Zjednoczone, możesz zredukować formularz do jednego pola, w przeciwnym razie pokaż pola składowe. Tylko rzeczy do przemyślenia!
Teraz wiemy, dlaczego jest to trudne; co możesz z tym zrobić?
USPS udziela dostawcom licencji w ramach procesu zwanego CASS ™ Certification, aby zapewnić klientom zweryfikowane adresy. Dostawcy ci mają dostęp do bazy danych USPS, aktualizowanej co miesiąc. Ich oprogramowanie musi być zgodne z rygorystycznymi standardami, aby uzyskać certyfikat, i często nie wymagają zgody na takie ograniczające warunki, jak omówiono powyżej.
Istnieje wiele firm z certyfikatem CASS, które mogą przetwarzać listy lub mieć interfejsy API: Melissa Data, Experian QAS i SmartyStreets, aby wymienić tylko kilka.
(W związku z tym, że nie mogę się doczekać „reklamy”, skróciłem w tym miejscu swoją odpowiedź. To do Ciebie należy znalezienie rozwiązania, które będzie dla Ciebie odpowiednie).
Prawda: Naprawdę, ludzie, nie pracuję w żadnej z tych firm. To nie jest reklama.
źródło
libpostal: biblioteka open source do analizowania adresów, szkolenia z danymi z OpenStreetMap, OpenAddresses i OpenCage.
https://github.com/openvagues/libpostal ( więcej informacji na ten temat )
Inne narzędzia / usługi:
http://www.gisgraphy.com Bezpłatne, otwarte i gotowe do użycia usługi sieciowe geokodera i geolokalizacji, integrujące OpenStreetMap, GeoNames i Quattroshapes.
https://github.com/kodapan/osm-common Biblioteka do uzyskiwania dostępu do usług OpenStreetMap, analizowania i przetwarzania danych.
http://wiki.openstreetmap.org/wiki/Nominatim
http://address-parser.net/
http://geoservices.tamu.edu/Services/AddressNormalization/
źródło
Istnieje wiele analizatorów adresów ulic. Występują w dwóch podstawowych smakach - takich, które mają bazy danych nazw miejsc i nazw ulic oraz takich, które ich nie mają.
Parser adresów ulicznych wyrażeń regularnych może bez większych problemów uzyskać do około 95% wskaźnika sukcesu. Wtedy zaczynasz trafiać w nietypowe przypadki. Perl w CPAN, „Geo :: StreetAddress :: US”, jest prawie taki dobry. Istnieją porty Python i Javascript, wszystkie open source. Mam ulepszoną wersję w Pythonie, która nieznacznie podnosi wskaźnik sukcesu, obsługując więcej przypadków. Aby jednak uzyskać prawidłowe 3%, potrzebujesz baz danych, które pomogą w ujednoznacznieniu.
Baza danych zawierająca 3-cyfrowe kody pocztowe oraz nazwy stanów i skróty w Stanach Zjednoczonych jest bardzo pomocna. Gdy parser zobaczy spójny kod pocztowy i nazwę stanu, może zacząć blokować format. Działa to bardzo dobrze w Stanach Zjednoczonych i Wielkiej Brytanii.
Prawidłowe analizowanie adresu ulicy zaczyna się od końca i działa wstecz. Tak to robią systemy USPS. Adresy są najmniej niejednoznaczne na końcu, gdzie nazwy krajów, nazwy miast i kody pocztowe są stosunkowo łatwe do rozpoznania. Nazwy ulic można zwykle wyodrębnić. Lokalizacje na ulicach są najtrudniejsze do przeanalizowania; napotkasz tam takie rzeczy jak „Fifth Floor” i „Staples Pavillion”. Wtedy baza danych jest bardzo pomocna.
źródło
UPDATE: Geocode.xyz działa teraz na całym świecie. Przykłady można znaleźć pod adresem https://geocode.xyz
W przypadku USA, Meksyku i Kanady odwiedź stronę geocoder.ca .
Na przykład:
Możesz również sprawdzić wyniki w interfejsie internetowym lub uzyskać dane wyjściowe jako Json lub Jsonp. na przykład. Szukam restauracji w okolicach 123 Main Street w Nowym Jorku
źródło
geocode.xyz
„sscantext
metody zawiodły większość czasu. Zawsze wybierał „Genewa, USA” zamiast „Genewa, Szwajcaria” i był ogólnie nastawiony na Stany Zjednoczone.Brak kodu? Wstyd!
Oto prosty parser adresów JavaScript. To dość okropne z każdego powodu, który Matt podaje w swojej powyższej rozprawie (z którą prawie w 100% się zgadzam: adresy są złożonymi typami, a ludzie popełniają błędy; lepiej zlecić to na zewnątrz i zautomatyzować - kiedy możesz sobie na to pozwolić).
Ale zamiast płakać, postanowiłem spróbować:
Ten kod działa poprawnie w przypadku analizowania większości wyników Esri dla
findAddressCandidate
a także z niektórymi innymi (odwrotnymi) geokoderami, które zwracają jednowierszowy adres, w którym ulica / miasto / stan są oddzielone przecinkami. Możesz rozszerzyć, jeśli chcesz, lub napisać parsery specyficzne dla kraju. Lub użyj tego jako studium przypadku, jak trudne może być to ćwiczenie lub jak kiepski jestem w JavaScript. Przyznaję, że spędziłem na tym tylko około trzydziestu minut (przyszłe iteracje mogą dodawać pamięci podręczne, sprawdzanie poprawności zip i wyszukiwania stanu, a także kontekst lokalizacji użytkownika), ale zadziałało w moim przypadku użycia: użytkownik końcowy widzi formularz, który analizuje odpowiedź wyszukiwania geokodu na 4 pola tekstowe. Jeśli parsowanie adresu wyjdzie nieprawidłowo (co jest rzadkością, chyba że dane źródłowe są słabe), to nic wielkiego - użytkownik może to zweryfikować i naprawić! (Ale w przypadku zautomatyzowanych rozwiązań może odrzucić / zignorować lub oznaczyć jako błąd, aby programista mógł albo obsługiwać nowy format, albo naprawiać dane źródłowe).źródło
Jeśli chcesz polegać na danych OSM, libpostal jest bardzo wydajny i obsługuje wiele najczęstszych zastrzeżeń przy wprowadzaniu adresu.
źródło
Inną opcją dla adresów w USA jest YAddress (utworzona przez firmę, dla której pracuję).
Wiele odpowiedzi na to pytanie sugeruje narzędzia geokodowania jako rozwiązanie. Ważne jest, aby nie mylić analizowania adresów i geokodowania; one nie są takie same. Chociaż geokodery mogą rozbić adres na komponenty jako korzyść dodatkową, zwykle polegają na niestandardowych zestawach adresów. Oznacza to, że adres przeanalizowany przez geokodera może nie być taki sam jak adres oficjalny. Na przykład to, co interfejs API geokodowania Google nazywa „6th Ave” na Manhattanie, USPS nazywa „Avenue of the Americas”.
źródło
W przypadku analizowania adresów w USA,
Wolę używać pakietu usaddress, który jest dostępny w pip tylko dla usaddress
Dokumentacja
PyPi
To działało dobrze dla mnie w przypadku adresu w USA.
Uruchomienie address_parser.py
źródło
W jednym z naszych projektów wykorzystaliśmy następujący parser adresów. Analizuje adresy większości krajów na świecie z dużą dokładnością.
http://address-parser.net/
Jest dostępny jako samodzielna biblioteka lub jako aktywny interfejs API.
źródło
Spóźniłem się na imprezę, oto skrypt Excel VBA, który napisałem lata temu dla Australii. Można go łatwo zmodyfikować, aby obsługiwał inne kraje. Utworzyłem tutaj repozytorium kodu C # w serwisie GitHub. Umieściłem go na swojej stronie i możesz go pobrać tutaj: http://jeremythompson.net/rocks/ParseAddress.xlsm
Strategia
W przypadku każdego kraju z kodem pocztowym, który jest numeryczny lub może być dopasowany do wyrażenia regularnego, moja strategia działa bardzo dobrze:
Najpierw wykrywamy imię i nazwisko, które są uważane za górną linię. Łatwo jest pominąć nazwę i rozpocząć od adresu, odznaczając pole wyboru (o nazwie „Nazwa w górnym wierszu”, jak pokazano poniżej).
Następnie można bezpiecznie oczekiwać, że adres składający się z ulicy i numeru znajduje się przed przedmieściem, a ulica St, Pde, Ave, Av, Rd, Cres, pętla itp. Jest separatorem.
Wykrywanie przedmieścia w porównaniu ze stanem, a nawet krajem może oszukać najbardziej wyrafinowane parsery, ponieważ mogą wystąpić konflikty. Aby temu zaradzić, korzystam z wyszukiwania kodu pocztowego w oparciu o fakt, że po usunięciu numerów ulic i mieszkań / lokali, a także PoBox, Ph, Fax , Mobile itp. Pozostanie tylko numer PostCode. Można to łatwo dopasować za pomocą regEx, aby następnie wyszukać przedmieście (przedmieścia) i kraj.
Przykład
Kod VBA
ZRZECZENIE SIĘ, wiem, że ten kod nie jest doskonały, a nawet nie jest dobrze napisany, ale bardzo łatwo go przekonwertować na dowolny język programowania i uruchomić w dowolnej aplikacji. Strategia jest odpowiedzią w zależności od kraju i przepisów, weź ten kod jako przykład :
źródło