Tak więc we wszystkich naszych witrynach, które nie są wyszukiwane, zastosowaliśmy plik robots.txt (zgodnie z instrukcją Jak wykluczyć witrynę z wyników wyszukiwania Google w czasie rzeczywistym? Lub inne podobne pytanie).
Jeśli jednak wyszukiwane hasła są wystarczająco szczegółowe, samą domenę można znaleźć w wynikach. Przykład tego można znaleźć tutaj . Jak widać z linku, można znaleźć samą domenę (zawartość nie jest buforowana, ale domena jest na liście). Dodatkowo, wyszukiwanie site:hyundaidigitalmarketing.compowinno zawierać 3 wyniki. Sprawdzanie linków zwrotnych również zapewnia kilka, ale oczywiście nie mogę im zapobiec (linkowanie jest dozwolone w kontekście) ani kontrolować, jak są one obsługiwane (nie mogę powiedzieć hostowi, aby dodał nofollow, noindex).
Wiem, że to poważny przypadek, jednak klienci moich firm właśnie to robią. W rzeczywistości nasze domeny są całkiem dobre, więc nawet pozornie arbitralne wyszukiwania przynoszą trafne wyniki. Teraz muszę napisać raport, w jaki sposób / dlaczego tak się dzieje.
Zwracam się więc do cudownej sieci Stack Exchange, aby pomóc mi zrozumieć, co brakuje mi, lub zrozumieć, co się dzieje. Linki do artykułów branżowych są niezwykle pomocne, ale wszystko, co możesz dać, jest oczywiście wspaniałe. Zamierzam zaoferować nagrody najlepiej, jak potrafię, aby była to odpowiedź, do której można się zwrócić w przyszłości.
Edycja: Otworzyłem nagrodę za to pytanie w nadziei, że otrzymam więcej odpowiedzi na to pytanie. Poniżej podałem również wyniki moich badań.
źródło
Myślę, że Matt Cutts mówił o tym. Jeśli moja pamięć jest poprawna, miało to związek z linkowaniem. Oto więcej: http://www.google.com/support/forum/p/Webmasters/thread?tid=2720810fa226e9c8&hl=pl
Możesz je usunąć za pomocą narzędzia do usuwania Google.
źródło
noindex, follow, aby każdy PageRank był dystrybuowany z linków zwrotnych, które mogą wystąpić.site:hyundaidigitalmarketing.comza pomocą haseł lub hasełhyundai digital marketing, sama domena będzie nadal pojawiać się jako pierwszy i najlepszy wynik. Muszę temu zapobiec.links:hyundaidigitalmarketing.compokazuje linki z powrotem. Oczywiście nie mogę zapobiec ani kontrolować linków formatujących ORAZ mogą one być prawidłowe. Jeśli powoduje to link do strony, muszę zrozumieć, w jaki sposób / dlaczego, aby wyjaśnić to moim przełożonym. Mam nadzieję, że to wyjaśnia moje pytanie nieco lepiej.Na podstawie moich badań na ten temat stwierdziłem, że nie ma w 100% oczywistej metody zapobiegania indeksowaniu i buforowaniu danych, ale możesz podejść bardzo blisko (zakładając, że chcesz poradzić sobie ze zwiększonym ruchem botów). Oto jak zinterpretowałem informacje.
Można by pomyśleć, że plik robots.txt służy do definiowania informacji o robotach w całej witrynie, a do szczegółowych informacji na temat strony używane są metatagi. Myślę, że duch 2 jest dokładnie taki, ale w praktyce tak nie jest.
Nie twórz pliku robots.txt
Działa to ze wszystkich głównych dostawców wyszukiwania, aby zapobiec pojawianiu się treści na SERP, ale nie nie zapobiec indeksowania. Zapobiega to również indeksowaniu stron przez roboty, dlatego też metatagi robotów (patrz poniżej) są również ignorowane. Z tego powodu nie możesz używać 2 razem i dlatego, jeśli chcesz zapobiec indeksowaniu, nie powinieneś używać pliku robots.txt.
Uwaga dodatkowa: Google obsługuje użycie
Noindex: /pliku robots.txt, ale jest to nieudokumentowane (kto wie, kiedy się zepsuje) i nie wiadomo, czy to działa dla kogokolwiek innego.Użyj nagłówków HTTP lub tagów HTML META, aby wszystko zapobiec
W przeciwieństwie do pliku robots.txt, metatag robots (i nagłówek HTTP) jest szeroko obsługiwany i, co zaskakujące, bogaty w funkcje. Został zaprojektowany do ustawienia na każdej stronie, ale niedawne przyjęcie
X-Robots-Tagnagłówka ułatwia ustawienie w całej witrynie. Jedyną wadą tej metody jest to, że boty będą indeksować Twoją witrynę. Można to ograniczyć, używającnofollow, ale nie wszystkie boty naprawdę szanująnofollow.Znalazłem mnóstwo informacji w tym nieaktualnym wpisie na blogu . Pierwszą wersją było 2007, ale ponieważ wiele informacji na jego temat to nowsze funkcje, od tego czasu wydaje się, że jest regularnie aktualizowana.
Podsumowując, powinieneś wysłać nagłówek HTTP z
X-Robots-Tag: noindex,nofollow,noodp,noydir. Oto podział, dlaczego:nofollowpowinien ograniczyć liczbę stron zaindeksowanych w Twojej witrynie, ograniczając ruch botów. *noindexmówi silnikom, aby nie indeksowały strony.noindexmoże wystarczyć. Przekonałem się jednak, że nawet jeśli uważasz, żenoindexTwoja witryna może być indeksowana z powodu linkowania do niej innych witryn. Najlepszy sposób, aby zapobiec typowym linkom do stron od Y! Directory (noydir) i Open Directory (noodp).Będzie to działać w 99% przypadków. Pamiętaj jednak, że w niektórych przypadkach nadal istnieje możliwość indeksowania przez niektórych dostawców. Google twierdzi, że w pełni szanuje
noindex, ale mam swoje podejrzenia.Wreszcie, jeśli zostaniesz zaindeksowany lub już zostałeś zindeksowany, jedynym sposobem na usunięcie zindeksowanych informacji jest skorzystanie z różnych środków od każdego dostawcy, aby zażądać usunięcia witryny / adresu URL. Oczywiście oznacza to, że prawdopodobnie będziesz chciał monitorować witryny / strony za pomocą czegoś takiego jak Alerty Google (dzięki @Joe).
źródło
Myślę, że twoim podstawowym problemem są tylne linki do strony, ponieważ dają one wyszukiwarkom punkt wejścia na stronę i informują o tym. Więc chociaż nie wyświetlą opisu witryny, mogą wyświetlić adres URL, jeśli uznają, że najlepiej pasuje do wyniku.
Przeczytaj ten artykuł powiązany z tym, który opublikował @joe: Matt Cutts trzyma google
Kluczem jest:
Przeprowadzone przez ciebie badania obejmują również sprawy cicho, a odpowiedzi @john i @joe są istotne. Poniżej zamieściłem link, który zawiera dalsze wskazówki na temat blokowania wyszukiwarek. Jedynym sposobem, w jaki mogę całkowicie zablokować witrynę, jest dodanie jakiejś formy ochrony hasłem przed witryną, którą należy ukończyć przed wyświetleniem treści.
Porady SEOMoz dotyczące nie pojawiania się w wyszukiwaniu
źródło