Ukryć subdomenę przed Google / Wyszukiwarka Wynik SEO?

11

Mam poddomenę, której nie chcę umieszczać w wynikach wyszukiwania. Powiedzmy, że mam:

  • http://www.example.com
  • http://child.example.com

Jak mogę ukryć wszystkie adresy URL child.example.comdomeny, które są obecnie wyświetlane w wynikach wyszukiwania?

search-engines url robots.txt search noindex 夏 期 劇場
źródło

Odpowiedzi:

14

W katalogu głównym witryny poddomeny dodaj plik o nazwie robots.txt zawierający:

User-agent: *
Disallow: /

Dzięki temu roboty indeksujące w ogóle nie indeksują witryny. Nie muszą być posłuszni, ale główni będą.

Paweł
źródło
Cześć, wierzę, że to najlepsza rzecz. I jeszcze jedna rzecz, daj mi znać, jeśli to zrobię, jak długo potrwa, aby wpłynąć na wyniki w sieci? (np. wyszukiwarka Google) Czy potrzebuję czasu, czy zajmie to nagle?
夏 期 劇場
2
Zostanie to potwierdzone przy następnym indeksowaniu witryny przez indeksujących. Może to trwać od minut do tygodni, w zależności od tego, jak ważna jest Twoja witryna. Możesz szybciej przenosić rzeczy, dodając witrynę do webmasterów w Google i Bing i ponownie czytając plik robots.txt - możesz również usunąć tam strony z indeksu.
Paul
1
Jeśli chcesz przyspieszyć proces, możesz przesłać prośbę o usunięcie na google.com/webmasters/tools/removals dla Google i przesłać adres URL na bing.com/toolbox/submit-site-url dla Bing (tak, to jest zalecane metoda usuwania stron).
Kat
Powinieneś również dodać noindexdo indeksu i innych stron w subdomenie
Anagio
Jak to zrobić, gdy wspólne nazwy folderów głównych i subdomen są dynamiczne? stackoverflow.com/questions/21229235/…
Gopi
6

Użycie pliku robots.txt w subdomenie pomoże (i Google będzie tego przestrzegać), ale kolejnym krokiem, który możesz zrobić, jest określenie na koncie Google Webmasters, że nie chcesz, aby ta subdomena była indeksowana. Możesz także użyć metatagu na wszystkich stronach w subdomenie:

    <meta name="robots" content="noindex">

Jeśli zdarzy się, że jest to witryna, której używasz tylko do testów wewnętrznych, ograniczenie widoczności do określonego zestawu adresów IP w pliku hostów wirtualnych spowoduje dalsze ukrycie witryny.

Kenzo
źródło
Na wszystkich stronach ????? och nie ..
期 劇場
@ 4lvin Odbywa się to dynamicznie po stronie serwera. Musisz go zakodować tylko raz. Nie mów mi, że kodujesz poszczególne strony HTML.
Kenzo,
LoL, właściwie „tak”. Ponieważ jest to bardzo stary / starszy system usług sieciowych. (dlatego trzeba go obniżyć) Wiele odizolowanych stron w środku. : D
夏 期 劇場
@ 4lvin Ouch ... powodzenia!
Kenzo,
1
Zamiast osadzać metatag noindex na każdej stronie, możesz zamiast tego zwrócić X-Robots-Tagnagłówek odpowiedzi HTTP z serwera dla określonej poddomeny - musisz to zrobić tylko raz.
MrWhite
2

Rozwiązania Kenzo i Paula są dobre, możesz umieścić metatagi noindex na swoich stronach internetowych i dodać plik robots.txt, aby zabronić robotom.

Ale moim zdaniem najlepszym rozwiązaniem jest użycie uwierzytelnienia hasła w swojej subdomenie. To jedyne rozwiązanie, na które masz pewność, że roboty mogą uzyskać dostęp do Twojej witryny i zindeksować ją. Jeśli używasz Apache, możesz zaimplementować htpasswd .

Zistoloen
źródło
2

... obecnie wyświetla się w wynikach SEO?

Inne odpowiedzi dotyczą bardziej proaktywnego zapobiegania indeksowaniu (pod) domeny (co jest głównie tym, o co pytasz w pytaniu), a nie aktywnego usuwania stron z wyników wyszukiwania, co może być bardziej tym, czego szukasz, sądząc po twoje drugie pytanie .

Nadal musisz zablokować witrynę w pliku robots.txt i podać meta tag noindex (lub X-Robots-Tagnagłówek odpowiedzi HTTP), jak podano w innych odpowiedziach, ale musisz także zablokować dostęp do swoich stron, zwracając kod stanu 404 lub 410.

Więcej informacji na ten temat można znaleźć na stronie pomocy Narzędzi Google dla webmasterów:
Wymagania dotyczące usuwania treści

Gdy już to wszystko wykonasz, możesz użyć narzędzia Usuń adresy URL w Narzędziach Google dla webmasterów. Dotyczy to jednak tylko pojedynczych adresów URL, a nie całej witryny, ale to dopiero początek. (Google stwierdza, że ​​korzystanie z robots.txt, noindex i serwowania 404 jest wymagane do korzystania z narzędzia do usuwania GWT).

Jeśli jednak nadal chcesz, aby zwykli użytkownicy mieli dostęp do witryny po wpisaniu adresu URL, oznacza to problem - ponieważ Twoje treści nie są już dostępne. Możesz podać hasło, jak sugeruje Zistoloen, jednak domyślnie zwróci 403 (Zabronione), które musisz zastąpić, aby zwrócić 404/410. Możesz ukryć swoje treści, zwracając 410 do Googlebota i pozwalając wszystkim innym wejść - ale co z ludźmi, którzy klikają wyniki w SERP?

Ale jeśli chcesz, aby Google usunął Twoje treści w jak najkrótszym czasie, musisz usunąć je z Internetu „Google”.

MrWhite
źródło