Czy firma sugeruje prawo do indeksowania mojej witryny?

30

Dowiedziałem się, że firma McAfee SiteAdvisor zgłosiła moją witrynę jako „mającą problemy z bezpieczeństwem” .

Nie dbam o to, co McAfee myśli o mojej stronie (mogę ją zabezpieczyć, a jeśli nie, McAfee zdecydowanie nie jest firmą, o którą prosiłbym o pomoc, bardzo dziękuję). Niepokoi mnie jednak to, że najwyraźniej zaindeksowali moją stronę internetową bez mojej zgody.

Wyjaśnienie: Na mojej stronie nie ma jeszcze prawie żadnych treści, tylko niektóre symbole zastępcze i niektóre pliki do mojego osobistego użytku. Nie ma ToS.

Moje pytania brzmią: czy McAffee ma prawo pobierać treści z / indeksować moją witrynę? Czy mogę im tego zabronić? Mam wrażenie, że powinna istnieć zasada „Mój zamek, moje zasady”, ale w zasadzie nic nie wiem na temat wszystkich legalnych spraw.

Aktualizacja: prawdopodobnie powinienem wspomnieć, że mój dostawca serwera regularnie wysyła mi e-maile na temat ustaleń SiteAdvisor - tak dowiedziałem się o ich „ocenie” i dlatego jestem zirytowany.

web-crawler kralyk
źródło
78
Czy powiedziałbyś, że ludzie mają prawo przeglądać twoją stronę? Jeśli tak, to po co dyskryminować ludzkich robotów? Jeśli nie, to dlaczego jest to strona internetowa?
jwodder
47
Jak dowiedziałeś się, że SiteAdvisor oznaczył Twoją witrynę? Nie obejrzałeś ich strony, prawda? Jeśli tak, co dało ci prawo?
Joe Sniderman
17
Nawiasem mówiąc, nie odrzuciłbym tak lekko raportu SiteAdvisor, na ogół, gdy widziałem podobne raporty, które były uzasadnione. Najczęstszym przypadkiem jest posiadanie starszej / niezałatanej wersji popularnego CMS (WordPress, Joomla, Drupal, ...) wykorzystywanego przez niektóre automatyczne skrypty do umieszczania złośliwej zawartości (strony „trampolina” wykorzystywane do spamu / phishingu, hosting wirusów połączonych w oszukańcze wiadomości e-mail, exploity przeglądarki, nazywacie to) możesz hostować złe rzeczy, nawet o tym nie wiedząc. Ponadto, ponieważ wielu użytkowników polega na takich narzędziach, zwykle chcesz mieć czysty zapis, ponieważ takie ostrzeżenia mogą odstraszyć użytkowników.
Matteo Italia,
35
Jeśli chcesz coś zablokować, zablokuj to. Po uruchomieniu witryny skonfigurowano serwer tak, aby odpowiadał na żądania GET. Zaprosiłeś wszystkich - dosłownie wszystkich. To nie jest „domniemane” prawo, to sposób działania serwerów WWW. Z wyjątkiem, jak wspomniano, ograniczeń robots.txt lub IP lub treści zastrzeżonych dla zalogowanych użytkowników.
mfinni
20
@RolazaroAzeveires: Zautomatyzowane procesy są w porządku, nie dlatego, że implikuje to umożliwienie odwiedzającym, ale dlatego, że poza atakami ładnie pytają: „czy mogę mieć te pliki?” i skonfigurowałeś swój serwer tak, aby odpowiadał: „Oczywiście! Proszę bardzo. Potrzebujesz czegoś jeszcze?” To nie czołganie się bez Twojej zgody, to indeksowanie za Twoją zgodą.
Marcks Thomas

Odpowiedzi:

49

Jest to precedens prawny. Field przeciwko Google Inc., 412 F. Supp. 2d 1106, (US Dist. Ct. Nevada 2006). Google wygrał wyrok podsumowujący oparty na kilku czynnikach, w szczególności że autor nie wykorzystał pliku robots.txt w metatagach na swojej stronie internetowej, co uniemożliwiłoby Google indeksowanie i buforowanie stron, których właściciel witryny nie chciał indeksować.

Orzeczenie pdf

Nie ma ŻADNEGO prawa USA dotyczącego konkretnie plików robots.txt; jednak inna sprawa sądowa ustanowiła precedens, który może ostatecznie doprowadzić do uznania plików robots.txt za obejście umyślnych środków elektronicznych podjętych w celu ochrony treści. W HEALTHCARE ADVOCATES, INC Vs HARDING, EARLEY, FOLLMER & FRAILEY, i in. al. Healthcare Advocates twierdziło, że Harding i in. w zasadzie zhakowali możliwości Wayback Machine w celu uzyskania dostępu do buforowanych plików stron, które miały nowsze wersje z plikami robots.txt. Podczas gdy rzecznicy opieki zdrowotnej przegrali tę sprawę, Sąd Rejonowy zauważył, że problemem nie było to, że Harding i in. „Wybrali blokadę”, ale że uzyskali dostęp do plików z powodu problemu z obciążeniem serwera z Wayback Machine, który udzielił dostępu do buforowane pliki, gdy nie powinny

Orzeczenie sądowe pdf

To tylko kwestia czasu, aż ktoś bierze IMHO to orzeczenie i zamienia ją na swojej stronie: Sąd wskazał, że robots.txt jest blokada, aby zapobiec indeksowania i obejście to jest otwarciem zamka.

Niestety, wiele z tych procesów nie jest tak prostych, jak: „Próbowałem powiedzieć robotowi, że jest niedozwolony, a twój robot zignorował te ustawienia / polecenia”. We wszystkich tych przypadkach istnieje wiele innych kwestii, które ostatecznie wpływają na wynik bardziej niż ten podstawowy problem, czy plik robots.txt powinien być uważany za elektroniczną metodę ochrony zgodnie z amerykańskim prawem DCMA.

To powiedziawszy, jest to prawo USA i ktoś z Chin może robić, co chce - nie z powodu kwestii prawnych, ale dlatego, że Chiny nie będą egzekwować amerykańskiej ochrony znaków towarowych i praw autorskich, więc powodzenia po nich.

Nie krótka odpowiedź, ale tak naprawdę nie ma krótkiej, prostej odpowiedzi na twoje pytanie!

jcanker
źródło
1
To świetna odpowiedź, dzięki. W robots.txt nie podoba mi się to, że nie jest to rzeczywisty standard (żaden inny norma wymagany przez prawo). Firmy te mogą po prostu to zignorować. Nie lubię być w pozycji, w której mówią mi: „Powinieneś umieścić plik robots.txt i być może nie zaindeksujemy Twojej witryny, ale może zrobimy to, co lubimy”. Byłoby wspaniale, gdyby istniał standard określania ToS witryny w metadanych witryny.
kralyk
5
@jcanker Te dwie sprawy dotyczą roszczeń o naruszenie praw autorskich. W zachowaniu robotów buforujących zawartość, takich jak te obsługiwane przez Google i archive.org, ma sens, że pojawiają się problemy z prawami autorskimi. Ale McAfee SiteAdvisor nie kopiuje i nie przechowuje (a tym bardziej nie udostępnia publicznie) treści z witryn, do których uzyskuje dostęp, prawda? Chociaż nie jestem prawnikiem, myślę, że to rozróżnienie daje nam powód, aby bardzo mocno wątpić, że którakolwiek ze spraw w jakikolwiek sposób dotyczy zachowania systemu takiego jak SiteAdvisor, niezależnie od tego, czy respektuje plik robots.txt.
Eliah Kagan
12
@kralyk - re „Te firmy mogą po prostu to zignorować”. No tak. Tak działa Internet. I nawet gdyby było to w jakiś sposób bardziej fundamentalne, byłoby to trywialne, absolutnie trywialne, gdyby robot udawał, że to człowiek uzyskuje dostęp do twoich stron internetowych. Pytasz o technicznie niemożliwe . Rzeczywiście, jeśli przemyślisz to, o co pytasz, to, czego szukasz, nie jest logiczne, nie ma znaczenia. Z wyjątkiem prawnego rozróżnienia. Jedynymi możliwymi zabezpieczeniami są (1) ukrywanie ważnej zawartości za uwierzytelnianiem logowania użytkownika oraz (2) ochrona prawna, jak omówiono w tej odpowiedzi.
ToolmakerSteve
@ToolmakerSteve Wiem, że technicznie niemożliwe jest całkowite banowanie robotów. Jest to jednak inna sytuacja - nie szukam rozwiązania technicznego, pytam, czy jest to zgodne z prawem, zauważ też, że McAffee poinformował mnie, że indeksuje moją witrynę, nie muszę jej wykrywać.
kralyk
Istnieje również precedens prawny w drugą stronę: ebay przeciwko licytującemu
Jan
91

Tak, mają do tego prawo - stworzyłeś publiczną stronę internetową, co sprawia, że ​​myślisz, że nie?

Ty również, oczywiście, masz prawo je zatrzymać. Możesz poprosić ich, aby nie indeksowali Twojej witryny za pomocą robots.txt lub aktywnie uniemożliwili im dostęp do niej za pomocą czegoś takiego jak fail2ban .

Alternatywnie, nie przejmuj się tym i kontynuuj swoje życie. Niczego nie rani i zdecydowanie jest po stronie łagodnego sondowania w Internecie.

Dan
źródło
4
> „Tak, mają do tego prawo - stworzyłeś publiczną stronę internetową, co sprawia, że ​​myślisz, że nie?” Cóż, jeśli coś jest technicznie możliwe, nie musi to oznaczać, że jest to legalne. Na przykład Warunki korzystania z serwisu YouTube zabraniają pobierania filmów, więc pomimo tego, że jest to technicznie bardzo łatwe, nadal nie jest dozwolone. Nie
martwiłbym
16
@kralyk - jeśli nie chcesz, aby publiczność (w tym McAfee) patrzyła na to, nie umieszczaj jej w Internecie. To takie proste. KONTROLUJESZ SWOJĄ STRONĘ INTERNETOWĄ. Nikt nie zmusza cię do umieszczenia go tam, a jeśli nie chcesz, aby ludzie na to patrzyli, NIE umieszczaj go tam. Jeśli zamierzasz to tam opublikować, nie dziw się, że ludzie (w tym ludzie, którzy chcą sprzedać ci rzeczy) patrzą na to. Przestańcie zamieniać swoje pragnienia w czyjś problem.
Michael Kohne,
9
@kralyk: poważnie? Naprawdę myślisz, że ten problem to podwójny standard? Żadna osoba w McAfee nie wie ani nie troszczy się o twoją stronę. Oni też nie powinni. Absurdem byłoby oczekiwać, że ktoś zaindeksujący sieć przeczyta Regulamin każdego użytkownika. Właśnie dlatego wynaleziono robot.txt.
ToolmakerSteve
3
@kralyk Dostęp do zasobów, o których mowa, musi zostać zamknięty, aby warunki świadczenia usług były jak najbardziej znaczące. Robot indeksujący Twoje niezabezpieczone strony różni się całkowicie od osoby rejestrującej konto, potwierdzającej Warunki korzystania z usługi, a następnie przekazującej dane uwierzytelniające robotowi.
Andrew B,
4
@kralyk - Jakiego rodzaju TOS masz na swojej stronie, które Twoim zdaniem narusza (nie szanuje) McAfee?
Kevin Fegan
11

To, czy takie zachowanie jest etyczne, czy nie, nie jest całkowicie jasne.

Przeszukiwanie strony publicznej samo w sobie nie jest nieetyczne (chyba że wyraźnie zabroniłeś jej używania pliku robots.txt lub innych środków technologicznych, a oni je omijają).

To, co robią, to z grubsza odpowiednik zimnego dzwonienia do ciebie, a jednocześnie ogłaszanie światu, że prawdopodobnie nie jesteś bezpieczny. Jeśli to szkodzi twojej reputacji i jest nieuzasadnione, jest to nieetyczne; jeśli to robi, a jedynym rozwiązaniem jest płacenie im, to haraczy. Ale nie sądzę, że o to chodzi.

Innym razem staje się to nieetyczne, gdy ktoś zaindeksuje Twoją witrynę w celu dostosowania treści lub danych, a następnie przedstawia ją jako własną. Ale to też nie jest to, co się dzieje.

Sugeruję więc, że ich zachowanie w tym przypadku jest etyczne i najprawdopodobniej możesz to zignorować.

Ich powiązane zachowanie związane z spamowaniem ciebie jest nieetyczne, jeśli nie masz z nimi związku i nie poprosiłeś o e-maile, ale podejrzewam, że mają działającą rezygnację z subskrypcji.

Falcon Momot
źródło
1
Nie jestem pewien, czy nazwałbym Disallowdyrektywę w pliku robots.txt „zakazującym środkiem technologicznym”. Plik robots.txt działa jako prośba o uprzejmość i chociaż dobrze zachowujące się boty będą go przestrzegać, nie ma żadnych zobowiązań ani żadnego rzeczywistego bezpieczeństwa. W rzeczywistości źle wychowane boty mogą przyjąć wpis w pliku robots.txt jako zaproszenie do przeszukiwania tej konkretnej ścieżki ...
CVn
2
@ MichaelKjörling, tylko połowa się zgadza. Nie ma prawdziwego bezpieczeństwa, ale istnieje obowiązek. Jest to znak „trzymaj się”, a twoim obowiązkiem jest trzymać się z daleka, ponieważ nie masz pozwolenia na wejście.
Ben,
To znak „trzymaj się z daleka”, bez zamka. Spróbuj tego w swoim domu i przekonaj się, jak wiele współczucia zyskujesz po przybyciu złodziei! (W rzeczywistości jest to znak „trzymaj się z daleka”, który wyraźnie wymienia odblokowane drzwi i okna, od których chcesz, aby ludzie nie
mieli dostępu
2

Techniczne podejście do blokowania niektórym osobom lub firmom dostępu do Twojej witryny:

Możesz zablokować dostęp do stron Twojej witryny określonym adresom IP lub zakresom adresów. Jest to plik .htaccess (jeśli Twoja witryna działa na serwerze Apache Web Server).

http://www.htaccess-guide.com/deny-visitors-by-ip-address/

Poproś serwer WWW, aby rejestrował adresy IP, z których jest dostępny, i wyszukuje te adresy IP, aby znaleźć adresy powiązane z McAfee. Prawdopodobnie łatwo to teraz powiedzieć, jeśli nie masz stałych gości.

Oczywiście mogą zmienić adresy IP w przyszłości. Jeśli jednak spojrzysz na znalezione adresy IP i zobaczysz, kto jest ich właścicielem, możesz dowiedzieć się o całym bloku adresów należących do McAfee i zablokować je wszystkie.

Podstawa prawna:

„Właściciele witryn mogą legalnie blokować niektórych użytkowników, zasady sądowe”

http://www.computerworld.com/s/article/9241730/Website_owners_can_legally_block_some_users_court_rules

(Jeśli twoja strona ma charakter osobisty, nikt nie zakwestionuje twojego prawa do blokowania niektórych użytkowników. Ale jeśli jest to strona internetowa dla firmy, po obu stronach tej dyskusji są prawne i moralne argumenty. Im mniejsza Twoja firma, tym łatwiej ma być prawnie chroniony - a tym bardziej nikomu nie zależy na tyle, by narzekać.)

Może Cię również zainteresować „Odmawiaj odwiedzającym przez osoby polecającej”.

„Jeśli kiedykolwiek spojrzałeś na swoje dzienniki i zauważyłeś zaskakujący wzrost ruchu, ale brak wzrostu rzeczywistych żądań plików, prawdopodobnie ktoś szczypie zawartość (np. Pliki CSS) lub ktoś próbuje włamać się na twoją stronę internetową (może to po prostu oznaczać próbę znaleźć niepubliczne treści) ”.

http://www.htaccess-guide.com/deny-visitors-by-referrer/

ToolmakerSteve
źródło