Jakie są alternatywy teraz, gdy interfejs API wyszukiwarki Google został wycofany? [Zamknięte]

322

Interfejs API wyszukiwarki Google został wycofany i zastąpiony niestandardowym interfejsem API wyszukiwania (patrz http://code.google.com/apis/websearch/ ).

Chciałem przeszukać całą sieć, ale wygląda na to, że dzięki nowemu interfejsowi API można wyszukiwać tylko niestandardowe witryny.

Czy istnieje sposób programowego przeszukiwania całej sieci? Udało mi się wysłać zapytanie do starego interfejsu API przy użyciu JSON z programu Java.

google-api deprecated google-search google-custom-search Dan
źródło
3
OK. Przeprowadziłem wiele badań nad tym i wygląda na to, że jedynym rozwiązaniem jest Yahoo Boss
Dan.
Niestandardowy interfejs API wyszukiwania nie jest tym, czego szuka większość ludzi: - / Daj lookapi.io spojrzenie!
Stan Smulders,
Zrobiłem POC na różnych interfejsach API wyszukiwania, które zapewniają wiele funkcji i są bardzo łatwe do wdrożenia w ułamku minuty. Swiftype ( swiftype.com ), Cludo ( cludo.com/en ), Algolia ( algolia.com/doc ) to interfejsy API, które zaimplementowałem i przetestowałem. Mogę również podać szczegółową odpowiedź, ale to pytanie jest zamknięte.
Ashish Kumar
2
Najlepszym rozwiązaniem jest skorzystanie z usługi strony trzeciej, takiej jak SerpApi
Hartator
masswerk.at/googleBBS
neverMind9

Odpowiedzi:

32

Możesz po prostu wysłać je tak, jak robi to przeglądarka, a następnie przeanalizować HTML - tak zawsze robiłem, nawet w przypadku serwisów takich jak Youtube.

Zimm3r
źródło
64
powiedziano mi, że warunki usługi Google zabraniają pająków ...
Steven A. Lowe
52
Z Regulaminu : „W szczególności zgadzasz się nie uzyskiwać dostępu (lub próbować uzyskać dostęp) do jakichkolwiek Usług za pomocą jakichkolwiek zautomatyzowanych środków (w tym za pomocą skryptów lub przeszukiwaczy sieci) ...”
ændrük
18
„Naruszanie warunków świadczenia usług przez usługodawcę” nigdy nie jest dobrą radą. Analizowanie stron internetowych jest czymś, co z dnia na dzień zmienia się bez ostrzeżenia, jest to okropna rada - to jest powód, dla którego głosowano bardziej niż pozytywnie.
WhyNotHugo
143
Tak, to łamie warunki usługi, ale osobiście nie martwiłbym się tym. Google może poradzić sobie z odrobiną skrobania, po tym wszystkim, jak zrobili fortunę skrobiąc witryny innych ludzi.
jimbo2087
106
Dajcie spokój ludzie. Nie bądź taki naiwny. Google nie może zmusić tego zamówienia do gardła. Aby naruszyć Regulamin, musisz najpierw się z nim zgodzić (na piśmie lub klikając przycisk „Tak, akceptuję warunki”). Pomyśl o tym: umieszczam Regulamin na mojej stronie internetowej, że każda osoba odwiedzająca tę stronę musi dać mi 10000 USD. Czy mogę egzekwować niniejszy Regulamin wobec moich gości? Będą musieli natychmiast mnie.
Migrate2Lazarus zobacz mój profil
482

Tak, Google Custom Search obecnie zastąpiła starą Search API, ale ty może nadal korzystać z wyszukiwarki niestandardowej Google, aby przeszukać cały internet , chociaż nie są oczywiste kroki od konfiguracji klienta Search.

Aby utworzyć wyszukiwarkę niestandardową Google, która przeszukuje całą sieć:

  1. Na stronie głównej Google Custom Search ( http://www.google.com/cse/ ) kliknij Utwórz niestandardową wyszukiwarkę.
  2. Wpisz nazwę i opis swojej wyszukiwarki.
  3. W obszarze Zdefiniuj swoją wyszukiwarkę w polu Witryny do wyszukiwania wprowadź co najmniej jeden prawidłowy adres URL (na razie wystarczy wstawić www.anyurl.com, aby przejść przez ten ekran. Więcej na ten temat później).
  4. Wybierz odpowiednią wersję CSE i zaakceptuj Warunki korzystania z usługi, a następnie kliknij przycisk Dalej. Wybierz żądaną opcję układu, a następnie kliknij przycisk Dalej.
  5. Kliknij dowolny link w sekcji Następne kroki, aby przejść do panelu sterowania.
  6. W menu po lewej stronie, w Panelu sterowania kliknij opcję Podstawy.
  7. W sekcji Preferencje wyszukiwania wybierz opcję Przeszukaj całą sieć, ale wyróżnij uwzględnione witryny.
  8. Kliknij Zapisz zmiany.
  9. W menu po lewej stronie, w Panelu sterowania kliknij Witryny.
  10. Usuń witrynę wprowadzoną podczas procesu wstępnej konfiguracji.

Teraz Twoja niestandardowa wyszukiwarka przeszuka całą sieć.

cennik

  • Wyszukiwarka niestandardowa Google zapewnia bezpłatne 100 zapytań dziennie.
  • Następnie płacisz 5 USD za 1000 zapytań.
  • Dziennie jest maksymalnie 10 000 zapytań.

Źródło: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

  • Jakość wyszukiwania jest znacznie niższa niż normalna wyszukiwarka Google (bez synonimów, „inteligencji” itp.)
  • Wygląda na to, że Google planuje nawet całkowicie wyłączyć tę usługę.
Bangkok
źródło
26
Dzięki za to. Mamy nadzieję, że jest to ważna procedura, a nie luka czekająca na podłączenie przez Google!
Mazatec
9
Dziękuję Ci! To prawdopodobnie jedyna odpowiedź w Internecie, która dotyczyła mojego pytania. Zadziwiające jest, dlaczego Google zakończyłoby bezpośrednią obsługę API dla swojej podstawowej usługi.
spamguy 24.01.2013
7
ale jak go używać z Jsonem?
nawara
61
OSTRZEŻENIE: opracowaliśmy program w wersji bezpłatnej, ale aby uaktualnić do wersji płatnej (aby wykonać ponad 100 wyszukiwań), Google zmusza cię do wyłączenia „przeszukiwania całej sieci, ale podkreślania uwzględnionych stron”
Bryan Larsen
5
„1 kwietnia 2017 r. Google zaprzestanie sprzedaży wyszukiwarki Google. Wszystkie nowe zakupy i przedłużenia muszą nastąpić przed tą datą. Produkt zostanie całkowicie zamknięty do 1 kwietnia 2018 r.”
Gajus,
55

Wyszukiwarka niestandardowa Google (zalecana w najwyżej ocenianych odpowiedziach) działa dobrze, ale jest bardzo droga w porównaniu do konkurencji (poniżej) lub w porównaniu z innymi interfejsami API Google. Ma małą bezpłatną warstwę (100 zapytań dziennie) i bardzo wysoką cenę 5 USD za 1000 zapytań.

Oferują one opcję uaktualnienia do wyszukiwania w witrynie, który ma nieco lepsze ceny, ale jest przeznaczony do przeszukiwania jednej witryny (własnej), więc jest to naprawdę coś zupełnie innego - nie aktualizacja.

Głównymi alternatywami wydają się:

Interfejs API Bing Search
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
Który ma bezpłatny poziom 5000q / miesiąc, a ceny zaczynają się od 5 zapytań za grosz i nie ma sztywnego limitu.

AKTUALIZACJA: Pod koniec 2016 r. Ten interfejs API został zamknięty na korzyść platformy Azure „Cognitive Services Bing Search API”:
https://azure.microsoft.com/en-us/services/cognitive-services/search/

Zobacz tutaj tabelę cen, która zaczyna się od 3 USD / m za 1000 transakcji. Chyba że coś mi umknie, jest to dość drogie.


AKTUALIZACJA Yahoo BOSS Search API : Została wycofana 31 marca 2016 r. Http://developer.yahoo.com/boss/search/
Ceny zaczynają się od około 12 zapytań / pensa za wyszukiwanie w całej sieci.

A niektóre o których wcześniej nie słyszałem:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[wycofany - jak wskazano poniżej]

Trochę dyskusji na temat niektórych z nich znajduje się w tym poście SO .
[został zamknięty za bycie poza tematem i teraz go nie ma]

Tomek
źródło
2
Bing Search API w wersji 5 umożliwia teraz do 1000 transakcji miesięcznie we wszystkich interfejsach API Bing Search (sieć, obrazy, wideo, wyszukiwanie wiadomości) - microsoft.com/cognitive-services/en-us/pricing . Zebrałem
mvark
wholeweb.com zaprzestał świadczenia usługi, jak widać tutaj wholeweb.com/services
El Mahdy
15 grudnia 2016 r. Interfejs API Bing Web Search zostanie przeniesiony w ramach usług Cognitive Services przez Azure Marketplace ( azure.microsoft.com/en-us/services/cognitive-services/search ), które wymagają weryfikacji telefonu + karty kredytowej w celu subskrypcji (nawet darmowy).
gilad mayani
Z Bing API: „DataMarket i usługi danych są wycofywane i przestaną przyjmować nowe zamówienia po 31.12.2016. Istniejące subskrypcje zostaną wycofane i anulowane od 31.03.2017. Skontaktuj się z usługodawcą, aby uzyskać informacje na temat opcji, jeśli chcesz kontynuować obsługę ”.
Dmitri Zaitsev
Dziękujemy za wskazanie zmiany - odpowiednio zaktualizowałem odpowiedź.
Tom
27

Oto opcja na dole panelu sterowania wyszukiwania niestandardowego: „Witryny do przeszukania” , możesz wybrać „Przeszukaj całą sieć, ale zaznaczaj uwzględnione witryny”

Panel sterowania wyszukiwania niestandardowego - witryny do wyszukiwania

Yishu Fang
źródło
1
czy to nadal działa dla ciebie?
Dejell
Tak, nadal działa.
5
Google zmusza Cię do wyłączenia tej opcji po przejściu na wyszukiwanie płatne. A bezpłatny ma limit 100 wyszukiwań.
Bryan Larsen,
1
@Yishu, dlaczego strona https://support.google.com/customsearch/answer/141877?hl=pl stwierdza „ Nie można skonfigurować Wyszukiwarki Google do wyszukiwania w całej sieci ”?
Pacerier
@Pacerier, nie mam o tym pojęcia. Może zasady się zmieniły?
Yishu Fang,
14

Faroo ma bezpłatny interfejs API wyszukiwania w Internecie

Jacek
źródło
Ich wyniki są ograniczone, ale dobry punkt wyjścia.
afro360,
@Jack, Nie słyszałem o tym wcześniej. Skąd biorą wyniki wyszukiwania?
Pacerier
7
Możliwe złamanie umowy dla Faroo polega na tym, że klucz API jest ograniczony do adresu IP określonego podczas rejestracji.
Uncaught Exception
6
Czy ci faceci nadal działają? Poprosiłem o klucze API i nic nie słyszałem.
Paul Whelan
5

Właśnie natknąłem się na to z Common Crawl.

http://www.commoncrawl.org/

To może być odpowiedź, której wszyscy szukamy !!

Dan
źródło
3
Ma ograniczony indeks, odświeżany mniej więcej raz w roku. I w końcu jest dość drogi, ponieważ musisz podłączyć do Amazon S3.
Guillaume Lebourgeois
@GuillaumeLebourgeois, Drogie? Nie sądzę, że to prawda. To jest organizacja non-profit. Całe 102 TB danych można pobrać bezpłatnie.
Pacerier
Koszt połączenia z AWS, gdzie można uzyskać do niego dostęp. Jeśli jesteś studentem, masz prawo do bezpłatnego poziomu, ale nadal mogą istnieć koszty transferu itp .; a jeśli nie jesteś w warstwie bezpłatnej, istnieją koszty bieżące.
tripleee
Wygląda na to, że wspólne indeksowanie jest teraz aktualizowane co miesiąc
Jack Tuck
4

Jest to uwaga na szczycie docs :

Uwaga: interfejs API wyszukiwarki Google został oficjalnie uznany za przestarzały od 1 listopada 2010 r. Będzie nadal działał zgodnie z naszymi zasadami dotyczącymi wycofywania , ale liczba żądań, które możesz wysłać dziennie, będzie ograniczona. Dlatego zachęcamy do przejścia na nowy interfejs API wyszukiwania niestandardowego .

Polityka deprecation mówi, że będą one nadal działać API do 3 lat. Więc jeśli masz już aplikację, która korzysta ze starego interfejsu API, nie musisz się spieszyć, aby jeszcze coś zmienić. Jeśli piszesz nową aplikację, użyj niestandardowego interfejsu API wyszukiwania . Zobacz moją odpowiedź tutaj, jak to zrobić w Pythonie, ale pomysł jest taki sam dla każdego języka.

moinudin
źródło
8
I to nie jest za darmo .... „5 USD za 1000 zapytań”… bardzo nie za darmo!
UpTheCreek
1
Ta odpowiedź jest już nieaktualna, ponieważ minęły trzy lata, a 29.09.2014 minęło.
nanofarad
CustomeSearchAPI nie znajduje się na wszystkich stronach internetowych - dotyczy witryn użytkowników
Dejell
1

Możesz utworzyć niestandardową wyszukiwarkę „wszędzie” bezpośrednio ze strony głównej Google Custom Search ( http://www.google.com/cse/ ). Po prostu kliknij „zaawansowane” podczas dodawania nowego silnika. Tam możesz podać typ strony Schema.org. „ Rzecz ” jest najbardziej ogólnym rodzajem, który obejmuje całą sieć.

testlnord
źródło
Nie rozumiem Czy Ci to pasuje?
Dejell