W przeszłości mieliśmy poważne problemy z (niewiarygodnie) źle napisanym pająkiem Yahoo , w wyniku czego je zablokowaliśmy. Marco Arment z Tumblr również podzielił się z nami swoimi frustracjami w dniu 8/31/2009, co było czynnikiem, który nas zablokował.
[Yahoo's Spider] zalewa nas 70-200 żądaniami na sekundę od około 5:30 EST. Nigdy nie widziałem czegoś takiego, nawet od ich nieuczciwych „eksperymentalnych” robotów, które wykorzystywały nas w przeszłości. Ban Robots.txt nie wystarczy: muszę zablokować je za pomocą adresu IP na poziomie modułu równoważenia obciążenia. Ponieważ w przeszłości wykorzystywali Przepełnienie stosu, pomyślałem, że możesz chcieć wiedzieć.
Wygląda na to, że wyszukiwarka Yahoo to „Powered by Bing!” teraz. To dobrze, ponieważ nigdy nie mieliśmy problemu z pająkiem Binga (znanym również jako MSNBOT).
Czy wyszukiwanie Yahoo jest teraz takie samo, jak wyszukiwanie Bing, czy też powinniśmy zastanowić się nad ich odblokowaniem, jeśli wbrew wszelkim przeciwom przestali ssać tak mocno?
źródło
Odpowiedzi:
Nie widziałbym powodu, aby odblokować bota wyszukiwarki Yahoo. Istnieją dwa sposoby korzystania z silnika Bing przez Yahoo. Mogliby go zintegrować z własnymi i uwolnić gąsienicę hybrydową w sieci lub po prostu wysyłać zapytania do silnika Bing i wyrzucać wyniki, które otrzymają.
Z dokumentu, do którego Joel jest powiązany, jest tutaj inny dokument . W nim Yahoo stwierdza: „W połowie lipca zaczęliśmy testować dostarczanie wyników organicznych z Bing do Yahoo!” Dla mnie oznacza to, że Yahoo nie ściśle integruje się z Bing Engine. Po prostu wywołują interfejs API silnika Bing. Byłoby to również najbardziej sensowne z punktu widzenia wymaganej pracy, ponieważ silnik Yahoo odchodzi w dłuższej perspektywie.
Oznacza to, że nie powinniśmy widzieć, jak Yahoo Bot indeksuje sieć, gdy 100% wyników wychodzi z silnika Bing. Dlatego nie ma powodu, aby go odblokować.
źródło
Wygląda na to, że właśnie rozpoczęli wdrażanie wyników wyszukiwania Bing na Yahoo! dla około 25% wyszukiwań, w celu całkowitego przełączenia w sierpniu / wrześniu. Założę się, że pająk Yahoo już nawet nie działa, a jeśli tak, to nie ma to większego znaczenia.
źródło
W poniedziałek zgłosiłem zapytanie do Yahoo - potwierdzenie zawierało następującą notatkę na temat przejścia na Bing, która może być dla Ciebie istotna:
źródło
Do Twojej wiadomości, w poniedziałek, 23 sierpnia (lub w ciągu kilku dni) Yahoo oficjalnie rozpocznie wyświetlanie wyników wyszukiwania BING.
źródło