Czy podgląd Google przestrzega pliku Robots.txt?

Ponieważ na pewno wygląda tak. W przypadku moich witryn nie zezwalamy na katalog obrazów, a w podglądzie brakuje zdjęć, co sprawia, że ​​strona wygląda na nieprzyjemną.

Czy tak jest w przypadku i czy istnieje sposób, aby tylko bot podglądu miał dostęp do obrazów przy użyciu pliku robots.txt?

EDYCJA: Wygląda na to, że podglądy są generowane zarówno przez zwykłego Google Bot, jak i przez bota w locie Google Web Preview, jak wspomniano (krótko) na blogu centralnym dla webmasterów .

Korzystając z witryny: wyszukiwania i mojego oprogramowania do monitorowania, mogłem zobaczyć, kiedy bot trafił na moją stronę, a kiedy to się stało, obrazy pokazały się dobrze w podglądzie. Domyślam się, że normalny przeszukiwacz ignoruje obrazy w pliku robots.txt, ale przeszukiwacz podglądu i tak pobiera obrazy.

Ta implementacja wydaje się trochę niewygodna, ponieważ moje opcje wydają się:

1. zezwól botowi Google na indeksowanie moich zdjęć (czego nie chcę robić)
2. użyj tagu nosnippet, który blokuje podgląd, ale także fragmenty kodu (których nie chcę robić)
3. Niech pojawią się podejrzane podglądy, które mogą negatywnie wpłynąć na kliknięcia

Myślę, że John Mueller miał rację w komentarzach.

Jeśli jest to tylko kwestia braku indeksowania obrazów, możesz zezwolić na indeksowanie, ale wyświetlać obrazy z nagłówkiem HTTP tagu x-robots-tag z „noindex”

Nie wiedziałem, że możesz zezwolić Google na indeksowanie treści bez indeksowania. Umieściłem jego technikę na miejscu i czekam, aż zacznę się czołgać, aby sprawdzić, czy zadziała.

Za kilka dni zaakceptuję tę odpowiedź, chyba że John chce dodać swoje komentarze do sekcji odpowiedzi, aby mógł zdobyć przedstawiciela.

Ponieważ przeważająca część podglądu jest wykonywana przez robota indeksującego bota Google, zablokowanie indeksowania części witryny wpłynie na podgląd ...

Dlaczego nie chcesz pozwolić robotowi Google na indeksowanie twoich zdjęć?

Poniżej przedstawiono rozwiązanie techniczne, które może, ale nie musi, dotyczyć tylko Twojej witryny.

Możliwe (nawet prawdopodobne), że Google wyjdzie na to z kilkoma wskazówkami w metadanych lub pliku robots.txt, ale do tego czasu ...

Krok 1.

Utwórz usługę / serwlet przekierowania dla obrazów na pierwszej stronie.

Tj. URL taki jak

/frontpageimages/[image name]

powoduje przekierowanie po stronie serwera

/images/[image name]

Krok 2.

Wszystkie linki do obrazów na stronie głównej (i tylko na stronie głównej) należy przepisać, aby przejść przez usługę przekierowywania od kroku 1 zamiast bezpośrednio do obrazu.

Krok 3.

Upewnij się, że plik robots.txt pozwala robotowi Google na indeksowanie /frontpageimages/

Powinno to zapewnić, że Google może zaindeksować wszelkie obrazy napotkane na stronie głównej, pozostawiając je same na innych stronach.

Chociaż usługa przekierowania może (teoretycznie) być używana do indeksowania wszystkich zdjęć bez technicznego naruszenia pliku robots.txt, nie jest to coś, co robią dobrze zachowujące się roboty (takie jak googlebot). A źle zachowujące się roboty nie będą się martwić o plik robots.txt.