Zapobieganie robotom indeksowania określonej części strony

Jako webmaster odpowiedzialny za małą witrynę, która ma forum, regularnie otrzymuję skargi od użytkowników, że zarówno wewnętrzna wyszukiwarka, jak i zewnętrzne wyszukiwania (np. Podczas korzystania z Google) są całkowicie zanieczyszczone przez podpisy moich użytkowników (używają długich podpisy i jest to część doświadczenia forum, ponieważ podpisy mają dużo sensu na moim forum).

Zasadniczo widzę teraz dwie opcje:

1. Renderowanie podpisu jako obrazu, a kiedy użytkownik kliknie „zdjęcie podpisu”, zostanie przeniesiony na stronę zawierającą prawdziwy podpis (z linkami w podpisie itp.), A strona ta jest ustawiana jako niemożliwa do przeszukiwania przez wyszukiwanie pająki silnika). Zużyłoby to trochę przepustowości i wymagało trochę pracy (ponieważ potrzebowałbym renderera HTML produkującego obraz itp.), Ale oczywiście rozwiązałoby to problem (istnieją małe błędy, w których podpis nie szanowałby czcionki / schematu kolorów użytkownicy, ale moi użytkownicy i tak są bardzo kreatywni ze swoimi podpisami, używając niestandardowych czcionek / kolorów / rozmiarów itp., więc nie stanowi to większego problemu).

2. Oznaczanie każdej części strony internetowej, która zawiera podpis, jako niemożliwej do indeksowania.

Jednak nie jestem pewien co do później: czy można to zrobić? Czy możesz po prostu oznaczyć określone części strony jako niemożliwe do indeksowania?

Oto ta sama odpowiedź, którą podałem na tag noindex dla Google w Stack Overflow:

Możesz uniemożliwić Google wyświetlanie części strony, umieszczając te części w elementach iframe, które są blokowane przez plik robots.txt.

robots.txt

Disallow: /iframes/

index.html

This text is crawlable, but now you'll see 
text that search engines can't see:
<iframe src="/iframes/hidden.html" width="100%" height=300 scrolling=no>

/iframes/hidden.html

Search engines cannot see this text.

Zamiast używać iframe, możesz załadować zawartość ukrytego pliku za pomocą AJAX. Oto przykład, który używa do tego jquery ajax:

his text is crawlable, but now you'll see 
text that search engines can't see:
<div id="hidden"></div>
<script>
    $.get(
        "/iframes/hidden.html",
        function(data){$('#hidden').html(data)},
    );
</script>

Innym rozwiązaniem jest zawinięcie sig w zakres lub div ze stylem ustawionym na, display:nonea następnie użycie Javascript, aby go zabrać, aby tekst wyświetlał się w przeglądarkach z włączonym Javascript. Wyszukiwarki wiedzą, że nie będą wyświetlane, więc nie należy ich indeksować.

Ten fragment HTML, CSS i javascript powinien to zrobić:

HTML:

<span class="sig">signature goes here</span>

CSS:

.sig {
display:none;
}

javascript:

<script type="text/javascript"> 
$(document).ready(function()
  {
      $(".sig").show();
  }
</script>

Musisz dołączyć bibliotekę jquery .

Miałem podobny problem, rozwiązałem go za pomocą css, ale można to zrobić za pomocą javascript i jquery.

1 - Utworzyłem klasę, którą nazywam „ disallowed-for-crawlers” i umieszczam tę klasę we wszystkim, czego nie chciałbym, aby bot Google widział, lub umieszczam ją w obrębie tej klasy.

2 - W głównym CSS strony będę miał coś takiego

.disallowed-for-crawlers {
    display:none;
}

3- Utwórz plik CSS o nazwie disallow.css i dodaj go do pliku robots.txt, który ma być niedozwolony do przeszukiwania, aby roboty nie miały dostępu do tego pliku, ale dodawały go jako odniesienie do strony po głównym css.

4- W disallow.cssumieściłem kod:

.disallowed-for-crawlers {
    display:block !important;
}

Możesz grać w javascript lub css. Właśnie skorzystałem z klas disallow i css. :) mam nadzieję, że to komuś pomoże.

Jednym ze sposobów jest użycie obrazu tekstu zamiast zwykłego tekstu.

Możliwe, że Google w końcu będzie wystarczająco inteligentny, aby odczytać tekst z obrazu, więc może nie być całkowicie przyszłościowy, ale powinien działać dobrze przynajmniej przez chwilę.

Podejście to ma wiele wad. Jeśli dana osoba jest niedowidząca, to źle. Jeśli chcesz, aby Twoje treści dostosowywały się do urządzeń mobilnych w porównaniu z komputerami stacjonarnymi, jest źle. (i tak dalej)

Ale jest to metoda, która obecnie (nieco) działa.

To jest łatwe.

Przed podaniem strony musisz wiedzieć, czy jest to bot, komputer czy telefon. Następnie musisz odpowiednio ustawić zawartość. Jest to standardowa praktyka w dzisiejszych czasach i podstawowa funkcjonalność niektórych systemów CMS.

Istnieje wiele rozwiązań w SE do przeprowadzania przekierowań w oparciu o USER AGENT, które można umieścić w twoim htaccess. Jeśli odpowiada to Twojemu oprogramowaniu forum, możesz uruchomić inny kod z tego samego DB, aby dostarczyć to, czego potrzebuje Google bez plewy i dodatków.

Alternatywnie możesz wstawić mały wiersz w kodzie PHP, który robi „jeśli USER AGENT == Googlebot to nie pokazuj podpisów”.

Jeśli naprawdę nie możesz tego zrobić, możesz zmusić mod_proxy do obsługi bota i użyć go do usunięcia wszystkiego, co generuje kod php, którego bot nie musi widzieć.

Z technicznego punktu widzenia Google nie akceptuje wyświetlania swojej wyszukiwarki na innej stronie niż to, co widzi zwykły użytkownik witryny, jednak do tej pory nie usunęli BBC i innych, którzy udostępniają treści związane z przeglądarką / adresem IP / odwiedzającymi z ich wyników wyszukiwania . Mają także ograniczone możliwości sprawdzenia, czy ich bot został „oszukany”.

Alternatywnym rozwiązaniem ukrywania zawartości za pomocą CSS w celu ponownego włączenia jej przez skrypt jest również trochę szara strefa. Według własnych wytycznych Narzędzi dla webmasterów z 20.06.11 nie jest to dobry pomysł:

http://www.google.com/support/webmasters/bin/answer.py?answer=66353

To może nie być tablet odlany z kamienia, ale jest aktualny i przez Google.

Sztuczka „ukryj treść” nie będzie działać z mniejszością ludzi, którzy nie mają javascript, może to nie być dużym problemem, jednak czekanie na załadowanie dokumentu, a następnie pokazanie podpisów nie będzie satysfakcjonującym doświadczeniem podczas oglądania sądzę, że strona się załadowała, a potem podskakuje, gdy pojawiają się ukryte podpisy, a następnie przesuwa zawartość w dół strony. Tego rodzaju ładowanie strony może być irytujące, jeśli masz niskobudżetowy net-top, ale może nie być zauważalny, jeśli masz szybką maszynę programistyczną z szybkim połączeniem internetowym.

Nie, nie ma sposobu, aby roboty nie indeksowały części stron. To cała strona lub nic.

Fragmenty w wynikach wyszukiwania Google są zwykle pobierane z meta opisu na stronie. Możesz więc sprawić, by Google wyświetlał określoną część strony, umieszczając ją w metatagu opisu. W przypadku treści generowanych przez użytkowników trudno jest uzyskać dobre fragmenty, ale pobranie pierwszego posta wątku prawdopodobnie zadziałałoby.

Jedynym innym sposobem, jaki mogę wymyślić, jest użycie Javascript. Coś takiego jak sugerowana paulmorriss może działać, ale myślę, że wyszukiwarki nadal indeksowałyby zawartość, jeśli jest w HTML. Możesz go usunąć z kodu HTML, zapisać w ciągu JavaScript, a następnie dodać z powrotem przy ładowaniu strony. To jednak staje się nieco skomplikowane.

Na koniec należy pamiętać o jednej rzeczy: jeśli Google pokazuje podpisy użytkownika we fragmentach, zdecydował, że jest to część najbardziej odpowiednia dla zapytania użytkownika.

Możesz umieścić stronę w PHP, jeśli zawiera „else”, co prowadzi do captcha, który daje klucz do części if.

Nie obchodzi mnie to, ponieważ jeśli poświadczenia użytkownika nie pasują do mojej strony, otrzymują pustą stronę lub są wysyłane na stronę logowania.

<?php
session_start();

if(empty($_SESSION['captcha']) or $_SESSION['captcha'] != $key){
    header("Location: captcha.php");
}

if(!empty($_SESSION['captcha']) and $_SESSION['captcha'] == $key){

"the page"

}
?>

$key powinien być skrótem bieżącego dnia lub czymś, co się zmienia, więc nie wystarczy dodać wartości do sesji.

Napisz w komentarzu, jeśli chcesz, żebym dodał przykładową captcha, ponieważ nie mam jej teraz na sobie.

Najwyraźniej <! - googleoff: all -> i <! - googleon: all -> rób to, co chcesz.

Czytaj więcej https://www.google.com/support/enterprise/static/gsa/docs/admin/70/gsa_doc_set/admin_crawl/preparing.html#1076243

https://perishablepress.com/tell-google-to-not-index-certain-parts-of-your-page/