Jak (il) legalne jest pobieranie danych ze 100% dostępnego, ale nie „ujawnionego” API

Znalazłem stronę internetową, która zawiera ogromną tabelę z możliwością filtrowania, zawierającą aktualne dane o miastach w danym kraju. Ta strona korzysta z nieskończonego przewijania, aby załadować wiersze dla tabeli.

Przeglądając witrynę za pomocą Narzędzi programistycznych Chrome, odkryłem, że wysyła ona żądania AJAX na jakiś wewnętrzny adres URL, aby uzyskać dane. Ten adres URL zawiera wiele parametrów zapytania odpowiadających filtrom.

Próbowałem uzyskać dostęp do tego adresu URL bezpośrednio w przeglądarce i otrzymuję wszystkie dane w ładnym formacie JSON. Mogę nawet bawić się filtrami, aby uzyskać konkretne dane, których potrzebuję. Ten adres URL jest w rzeczywistości dostępny, więc nie muszę robić nic hackującego , dzwonię tylko do adresu URL, który jest w sieci.

Moje pytanie brzmi zatem: na ile legalne lub nielegalne jest używanie tego adresu URL do pobierania danych do własnych celów?

Uwaga : nie chcę tworzyć listy miast tego samego rodzaju , ale chcę użyć tych danych do stworzenia małej gry online, potencjalnie do zarobienia trochę pieniędzy ...

WAŻNE Uwagi na temat niektórych odpowiedzi i komentarzy

To tylko przykładowy scenariusz, nie szukam miejsca do zbierania danych o miastach. Jeśli chcesz, rozważ stronę internetową z danymi na temat zaktualizowanych wyników piłkarzy w sezonie.

Jeśli chodzi o konkretny kraj, znowu nie myślę w konkretnym ustawodawstwie, jeśli znasz kraj, w którym jest wyraźnie (il) legalne, to będą przydatne informacje.

Pozwól mi wyjaśnić. Jest jedna rzecz, którą znam dość dobrze, a mianowicie prawo autorskie. Nie jestem prawnikiem, jednak znajomość praw autorskich była stałym wymogiem mojej konsultacji przez 30 lat. Jako dodatkowy bonus konsultowałem się przede wszystkim z operatorami telekomunikacyjnymi i często pracowałem z danymi abonentów oraz analizą danych i prezentacją tych danych do sprzedaży i ponownego wykorzystania. Mam przynajmniej unikalne kwalifikacje, aby odpowiedzieć na to pytanie na tym forum.

Wyjaśnię to najlepiej, jak potrafię: jeden, definiując wersety własności zwykłymi środkami; dwa, definiując cytowany wyjątek i inne powiązane kwestie związane z prawami autorskimi; i trzy, jasno określając odpowiedź.

Pozwól mi wyjaśnić niektóre prawa autorskie. Przykład książki telefonicznej jest mylący. Kiedy dostajesz telefon, zawarłeś umowę o prywatnej umowie jako prywatny obywatel z prywatną firmą, a uzyskane informacje, podane do wiadomości publicznej lub nie, są prywatnymi danymi zastrzeżonymi, a zatem zawartość książki telefonicznej jest zastrzeżona (zwróć uwagę na to słowo) po prostu dlatego, że nie można go ogólnie uzyskać w żaden inny sposób, poza firmowymi źródłami danych - danymi subskrybenta. Jeśli dane można uzyskać zwykłymi środkami, takimi jak spacerowanie i zapisywanie numerów domów i nazw ulic, to są to dane publicznie dostępne i czytelne w użyciu. Nie oznacza to, że numerów telefonicznych nie można uzyskać zwykłymi środkami. To może być.

Aby wyjaśnić dalej. Cytat z: http://www.lib.umich.edu/copyright/facts-and-data

W żadnym wypadku ochrona praw autorskich oryginalnego dzieła autorskiego nie obejmuje jakiegokolwiek pomysłu, procedury, procesu, systemu, metody działania, koncepcji, zasady lub odkrycia, niezależnie od formy, w jakiej jest opisana, wyjaśniona, zilustrowana lub wcielona w takiej pracy.

Ten akapit wprowadza w błąd. Ten wyjątek opisany w tym paragrafie jest objęty patentem i innymi przepisami. Prawa autorskie obejmują jedynie tworzenie dzieła.

:

Doktryna „potu czoła”

... odnosi się do każdej czynności, takiej jak chodzenie od domu do domu i zbieranie danych ręcznie. To jest definicja zwykłych środków. Można zapukać do drzwi i poprosić o te same dane telefoniczne. Tylko w takim stopniu, w jakim można zebrać fakty w zwykły sposób, dane lub część zastrzeżonych danych są publiczne.

Zwykłym sposobem korzystania z danych telefonicznych jest: 1. pozyskanie oryginalnych danych za pomocą środków prawnych; a po drugie, zastosuj doktrynę dozwolonego użytku. Oznaczałoby to uzyskanie kopii książki telefonicznej bezpośrednio od firmy, która może być bezpłatna lub odpłatna, oraz uporządkowanie faktów w inny sposób, aby stworzyć nową pracę. Czy próbowałeś dostać książkę telefoniczną z Seattle, gdy jesteś w Chicago? Przekonasz się, że firma telefoniczna prawdopodobnie obciąży Cię za to zaskakującą opłatą. Jeśli jednak jesteś abonentem telefonicznym w Seattle i poprosisz o książkę telefoniczną w Seattle, opłata będzie znacznie niższa, a nawet bezpłatna. Musiałem to robić wiele razy. Są ludzie, którzy mają za zadanie tylko po to, aby osobiście otrzymać książki telefoniczne z telecos i w razie potrzeby uiścić opłatę.

Orzeczenie cytowane w sprawie Feist Publications przeciwko telefonowi wiejskiemuw powyższym linku (w tej odpowiedzi) opiera się na dwóch faktach: po pierwsze, że dane operatora wiejskiej spółdzielni jako monopolu lokalnego musiały zostać publicznie udostępnione w drodze porozumienia operacyjnego; a po drugie, że prezentacja dzieła była chroniona prawem autorskim, a nie faktami zawartymi w nim z powodu faktu nr 1. Dlatego tylko w wąskich parametrach ten przypadek można uznać za przypadek precedensowy i należy go odrzucić. Zwykle dane subskrybentów prywatnej firmy nie są wymagane przez umowę do upublicznienia. Musisz pamiętać, że wiejskie spółdzielnie są tworzone jako publiczne fundusze / podmioty publiczne na rzecz dobra publicznego i stanowią własność publiczną i / lub członków spółdzielni, a zatem działają zgodnie z ograniczeniami prawnymi, które pozwalają na zatwierdzenie jej działania lub istnienia. Każda sprawa jest inna.

We wczesnych dniach firmy Bell Telephone firma była zobowiązana jako monopol na upublicznienie danych telefonicznych, chyba że subskrybent ograniczył je. Kiedy firma Bell została podzielona na małe Bells, Bell Atlantic, Bell South itd., Firmy te nadal były zobowiązane jako monopole do upublicznienia danych telefonicznych, jak zdefiniowano wcześniej. Ale przy deregulacji i rzeczywiście przy VoIP, telefonii komórkowej i innych opcjach monopole są rzadkie. Tylko w scenariuszach monopolistycznych można wysunąć powyższy argument.

Kontynuując cytowanie powyższego linku (w tej odpowiedzi):

Tylko dlatego, że dane nie są chronione prawami autorskimi, nie oznacza to, że nie istnieją inne względy prawne, które mogą mieć zastosowanie, gdy chcesz użyć zestawu danych innej osoby.

Pamiętaj o tym.

Każdy zbiór danych i ich prezentacja, niezależnie od pochodzenia danych, jest pracą samą w sobie. Publiczna prezentacja faktów, niezależnie od środków, jest pracą samą w sobie.

Biorąc pod uwagę, że nie uzyskujesz danych w zwykły sposób, nawet jeśli dane są podawane do wiadomości publicznej i niezależnie od pierwotnego źródła danych, nie można z nich korzystać zgodnie z opisem, a możesz zostać pociągnięty do odpowiedzialności karnej i zostać pociągnięty do odpowiedzialności cywilnej za potencjalne naruszenie praw autorskich również w przypadku przestępczego wkroczenia i nielegalnego korzystania z komputera i innego sprzętu komunikacyjnego, który nie jest zwykle autoryzowany i może podlegać przepisom RICO.

Czy korzystanie z niego jest legalne? Nie! Absolutnie nie! Nie uzyskano go zwykłymi środkami, a operator witryny nie ma zamiaru ujawniać zastrzeżonych danych. Jakikolwiek brak AUP (zasady dopuszczalnego użytkowania) nie pomoże. Istnieją prawne założenia dotyczące „rozsądnego człowieka”, „rozsądnego standardu” i „rozsądnego założenia”, które chroni właściciela witryny w tym przypadku. Nie jest rozsądne, aby sprytna osoba wykorzystała „lukę w zabezpieczeniach przy projektowaniu / tworzeniu” strony internetowej w celu uzyskania danych do innych celów. Ponadto, jeśli strona czerpie zyski ze swoich działań, w grę wchodzą dalsze zabezpieczenia.

Jedna rzecz, która nie wydaje się bardzo jasna w innych odpowiedziach tutaj ...

To, czy jest to „legalne”, czy nie, zależy przede wszystkim od kraju. Jeśli mówimy na przykład o Stanach Zjednoczonych, to wykorzystanie samych danych nie jest nielegalne. Radziłbym jednak użyć prawdziwych danych z amerykańskiego spisu powszechnego. Oferują mnóstwo danych za pośrednictwem tak zwanych produktów TIGER. Ten zestaw danych to ten sam zestaw danych, którego używają specjaliści GIS do wypełniania map Bing, map Google itp.

Jednak chociaż dane mogą być swobodnie dostępne, nie musi to oznaczać, że dane z tego interfejsu API są legalnie dostępne. Mówisz, że jest w formie JSON, co sugeruje, że został „zamaskowany” z oryginalnego formatu do tego formatu - a ten niestandardowy format może podlegać własności intelektualnej. ŻeUważam, że korzystanie z niego byłoby nielegalne, chyba że masz licencję na korzystanie z niego. Podobnie jak inni tutaj, nie jestem prawnikiem, ale firma nie musi nawet wskazywać na ciebie palcem i nazywać cię hakerem. Dane zastrzeżone to dane zastrzeżone, nawet jeśli zostały przekazane przypadkowo. Powinieneś skontaktować się z firmą i poinformować ją, że wszystkie te dane są narażone na kontakt ze światem zewnętrznym i poprosić o zgodę na ich wykorzystanie. Bez zrobienia tego i mając na uwadze to pytanie dotyczące wymiany stosów jako dowodu, łatwo byłoby zbudować sprawę przeciwko tobie. Powiedziałeś zasadniczo: „To nie wygląda na legalne, ale i tak mi się podoba i chcę na tym zarabiać”. Ponownie nie jestem prawnikiem, ale to nie wygląda na dobry sposób na rozpoczęcie procesu.

Chodzi o to, że jeśli interesują Cię nazwy miast i inne dane geograficzne, prawie wszystkie są dostępne bezpłatnie, niezależnie od kraju. Ostatnio wiedziałem, że USA publikują najwięcej danych, ale istnieją dane dla praktycznie każdego kraju. Waham się powiedzieć wszystko tylko dlatego, że jestem programistą i udowodnienie, że twierdzenie „dla wszystkich” jest trudne ... jeśli wybierzesz dowolny kraj, szanse są większe niż dobre, że dane tam są. Jeśli masz na myśli konkretny kraj, udaj się na GIS Stack Exchange . Najważniejsze, czego szukasz, nazywane są „plikami kształtowymi”, więc zadaj pytanie typu „Gdzie mogę uzyskać pliki kształtowe dla __________?”. Istnieje również OpenStreetMapktóra jest mapą typu open source. Nie jestem pewien, jak łatwo jest uzyskać ich dane z pliku kształtu, ale jeśli możesz je uzyskać od nich (i nie rozumiem, dlaczego nie możesz, możesz uruchamiać mapy offline na podstawie lokalnej przechowywane informacje), wtedy masz wszystkie potrzebne dane i jesteś prawnie bezpieczny. Będziesz musiał poświęcić czas na masowanie ogromnych ilości danych do pożądanego poziomu, ale pliki kształtów są zawsze bardzo dobrze zdefiniowane i łatwe do przeanalizowania.

Chociaż closetnoc omawiał kwestię samych danych, istnieje większy problem prawny: nie masz uprawnień dostępu do interfejsu API oferującego dane.

Podstawą większości przepisów dotyczących przestępstw komputerowych jest pojęcie „nieuprawnionego dostępu do systemu komputerowego”. Nie należy mylić tego odniesienia do autoryzacji w sensie prawnym z koncepcją autoryzacji, jeśli chodzi o kontrolę dostępu. Właściciel systemu nie musi zabezpieczać swojego systemu, aby dostęp do niego był nielegalny, podobnie jak w przypadku wkroczenia na teren po wejściu do domu z odblokowanymi drzwiami.

W takim przypadku pozorny brak bezpieczeństwa nie oznacza upoważnienia do korzystania z niego. Koncepcja Internetu nie ma jak dotąd precedensu w orzecznictwie, ale można sobie wyobrazić użycie protokołu HTTP 80 w celu uzyskania publicznej zgody na przeglądanie strony internetowej. Przeciwnie, protokoły RPC działające w tle (nawet jeśli mogą być uruchamiane na żądanie HTTP) zazwyczaj nie są rozumiane jako publicznie dostępne, chyba że operator opublikuje usługę jako taką, udzielając autoryzacji na korzystanie osobom trzecim.

Zatem ciągłe korzystanie z interfejsu API do pobierania danych byłoby nielegalne. Czynność wykonania zrzutu danych z interfejsu API w celu zbudowania własnego zestawu danych również byłaby nielegalna. To, czy późniejsze wykorzystanie danych jest nielegalne, jest ogromnym szarym obszarem, ale closetnoc rozwiał większość wątpliwości.

Oczywiście, jeśli zmodyfikujesz zrzut danych po tym, aby był nie do poznania, prawie niemożliwe będzie udowodnienie, że popełniłeś przestępstwo. Ale jeśli masz tyle problemów, dlaczego zamiast tego nie pozyskać danych z legalnego źródła?

Prawdopodobnie zależy to od charakteru danych. Czyste dane (np. Książka telefoniczna) nie mogą być chronione prawami autorskimi . Tak więc lista miast z API powinna być uczciwą grą do skopiowania i pokazania użytkownikom. Jeśli jednak interfejs API zawiera opisy miast, opisy te podlegają prawu autorskiemu i nie można ich używać bez naruszenia praw autorskich.

Jeśli możesz legalnie skopiować dane, zalecamy skopiowanie ich do własnej witryny, aby zapobiec przedwczesnemu wyłączeniu korzystania z interfejsu API.

(IANAL, a prawa i normy różnią się znacznie na całym świecie, ale niektóre rzeczy wydają się być spójne ze względu na traktaty dotyczące własności intelektualnej. Jeśli masz problem zawodowy poza swoją specjalizacją, skonsultuj się z profesjonalistą).

Zasadniczo interfejs API nie jest uważany za „przeznaczony do publicznego użytku”, chyba że jest aktywnie udokumentowany jako publiczny interfejs API z określonymi warunkami świadczenia usług. Fakt, że społeczeństwo może uzyskać dostęp do interfejsu API, nie czyni go publicznym.

W przypadkach, gdy sam stan danych nie jest wyraźnie własnością publiczną, a w kilku przypadkach, gdy jest to wyraźnie domena publiczna, intencja podmiotu udostępniającego interfejs API ma duże znaczenie. Jeśli operator witryny chciał, aby interfejs API był używany do zasilania dynamicznej strony internetowej lub aplikacji mobilnej (aby wymienić dwa typowe przykłady), każde inne użycie jest „nieautoryzowane”, chyba że gdzieś wyraźnie na to zezwolono. Jeśli zamierzony konsument był fragmentem dynamicznego kodu na określonej stronie internetowej, w celu umieszczenia zrozumiałych dla człowieka pikseli na wyświetlaczu w określony (miejmy nadzieję) przyjemny i użyteczny sposób, jakiekolwiek inne użycie jest nieautoryzowane.

Techniczna możliwość wejścia do budynku przez otwarte okno bez otwierania lub łamania czegokolwiek nie ochroni cię przed aresztowaniem za przestępstwo.

Ponadto, prawie nigdy nie jest rozsądnie grać w gry z „umiejętnościami technicznymi” w porównaniu z „oryginalnymi intencjami” z prawnikiem własności intelektualnej. Jeśli nic więcej, pamiętaj, że prawnicy, którzy konsekwentnie przegrywają te sprawy, nie otrzymują za nie zapłaty.

To, o czym mówisz, jest prawdopodobnie w porządku. Hiperłącza do informacji, a następnie przekształca je.

W Perfect 10, Inc. przeciwko Amazon.com, Inc., [19] Dziewiąty obwód ponownie zastanawiał się, czy użycie miniatury przez wyszukiwarkę obrazów jest dozwolone. Chociaż fakty były nieco bliższe niż w sprawie Arriba Soft, sąd uznał jednak użycie oskarżonego naruszającego prawo za dopuszczalne, ponieważ było „bardzo transformujące”. Sąd wyjaśnił:

Dochodzimy do wniosku, że istotnie transformacyjny charakter wyszukiwarki Google, szczególnie w świetle jej korzyści publicznej, przeważa w tym przypadku nad zastąpieniem i komercyjnym wykorzystaniem miniaturek przez Google. … Pamiętamy również o zaleceniu Sądu Najwyższego, że „im bardziej nowe dzieło będzie transformujące, tym mniejsze znaczenie będą miały inne czynniki, takie jak komercja, które mogą mieć wpływ na ustalenie dozwolonego użytku”.

Ponadto, w pierwszej decyzji apelacyjnej w Stanach Zjednoczonych, sąd wyraźnie odniósł się do statusu praw autorskich linków:

Google nie wyświetla kopii pełnowymiarowych zdjęć fotograficznych naruszających prawa autorskie do celów ustawy o prawie autorskim, gdy Google umieszcza w ramkach połączone obrazy wyświetlane na ekranie komputera użytkownika. Ponieważ komputery Google nie przechowują zdjęć, Google nie ma ich kopii do celów ustawy o prawie autorskim. Innymi słowy, Google nie ma żadnych „materialnych przedmiotów… w których utwór jest naprawiony… i z których dzieło może być postrzegane, powielane lub w inny sposób przekazywane”, a zatem nie może przekazać kopii.Zamiast przekazywać kopię obrazu, Google udostępnia instrukcje HTML, które kierują przeglądarkę użytkownika do komputera wydawcy witryny, który przechowuje pełnowymiarowy obraz fotograficzny. Podanie tych instrukcji HTML nie jest równoważne z pokazaniem kopii. Po pierwsze, instrukcje HTML są wierszami tekstu, a nie obrazem fotograficznym. Po drugie, instrukcje HTML same w sobie nie powodują wyświetlania obrazów naruszających prawo na ekranie komputera użytkownika. HTML jedynie podaje adres obrazu przeglądarce użytkownika. Przeglądarka następnie wchodzi w interakcję z komputerem, który przechowuje naruszający obraz. To interakcja powoduje, że obraz naruszający prawa pojawia się na ekranie komputera użytkownika. Google może ułatwić użytkownikowi dostęp do obrazów naruszających prawo. Jednak, taka pomoc wiązała się wyłącznie z kwestiami odpowiedzialności składkowej i nie stanowi bezpośredniego naruszenia praw do wyświetlania właściciela praw autorskich. … Podczas gdy bezpośrednie łączenie i tworzenie ramek może powodować, że niektórzy użytkownicy komputerów sądzą, że przeglądają jedną stronę Google, ustawa o prawie autorskim, w przeciwieństwie do ustawy o znakach towarowych, nie chroni właściciela praw autorskich przed działaniami powodującymi zamieszanie wśród konsumentów.

Stan prawa amerykańskiego po Arriba Soft i Perfect 10

Sprawa Arriba Soft stała na stanowisku, że zarówno głębokie linkowanie, jak i reprodukcja w zmniejszonych kopiach (lub przygotowywanie dzieł pochodnych o zmniejszonym rozmiarze) były usprawiedliwione jako dozwolony użytek, ponieważ wykorzystanie dzieła przez pozwanego nie spowodowało lub nie spowodowało zmiany handlu rynek od pierwszej pracy; a także zapewniła społeczeństwu niedostępną wcześniej, bardzo przydatną funkcję tego rodzaju, którą prawo autorskie ma do promowania (znajdowanie pożądanych informacji w Internecie). Sprawa Perfect 10 wiązała się z podobnymi rozważaniami, ale wymagało to bardziej wyważenia interesów. Zachowanie to zostało usprawiedliwione, ponieważ wartość publicznie niedostępnej, użytecznej funkcji przeważyła wpływ na Perfect 10 ewentualnego zastąpienia przez Google.

Ponadto w Perfect 10 sąd ustanowił daleko idący precedens na rzecz łączenia i tworzenia ram, który sąd udzielił pełnej zgody na prawa autorskie. Stwierdzono, że „bezpośrednie łączenie i tworzenie ramek może powodować, że niektórzy użytkownicy komputerów sądzą, że przeglądają jedną stronę Google, [ale] ustawa o prawie autorskim… nie chroni właściciela praw autorskich przed działaniami powodującymi zamieszanie wśród konsumentów”.

Podkreśl moje. linky

Po prostu używasz hiperłącza, nie tworzysz kopii, nie wyświetlasz kopii, nie szkodzisz interesom biznesowym i bardzo ją przekształcasz. Powiedziałbym, że każdy element musi być w porządku. Ale IANAL.

Jest to legalne, o ile nie musisz wprowadzać hasła, aby je zdobyć, ale niektóre mniej wyrafinowane firmy mogą domagać się hakowania i sic na ciebie prawnika. Musisz być przygotowany do obrony. Nie zostaniesz uznany za winnego, ponieważ publikują oni swoje dane publicznie, ale bronienie się może kosztować. Prokuratorzy i gliniarze odnoszą się do korporacji. Zdarza się to często w powiadomieniach bezpieczeństwa, w których ktoś powiadomi firmę o luce bezpieczeństwa, a następnie firma obciąży ją hakowaniem. Firma może również swobodnie zmieniać interfejs API bez uprzedzenia, co może spowodować uszkodzenie aplikacji.

http://www.extremetech.com/computing/146323-canadian-college-expels-student-for-white-hat-security-probing

Zatrzymaj mnie, jeśli już to słyszałeś: entuzjasta technologii jest nieco nadgorliwy w sprawdzaniu luk w zabezpieczeniach, znajduje znaczną lukę w zabezpieczeniach, wysyła informacje i dochodzi do prawnych i osobistych zagrożeń.

http://www.bostonglobe.com/metro/2014/03/29/the-inside-story-mit-and-aaron-swartz/YvJZ5P6VHaPJusReuaN7SI/story.html

Intruz czai się gdzieś na kampusie MIT, ściągając setki tysięcy artykułów z czasopism akademickich.