Jak działają wszystkie te usługi „Zapisz wideo z YouTube”?

Mam na myśli, jak one ogólnie działają? W jaki sposób otrzymują link do samego strumienia wideo (nie tylko strony zawierającej odtwarzacz Flash)?

Przeprowadziłem wyszukiwanie w Internecie, ale nie znalazłem nic przydatnego (wszystkie linki wskazują na takie usługi, ale żadne z nich nie mówi, w jaki sposób są one faktycznie realizowane).

Istnieje bardzo popularny program do pobierania wiersza poleceń o otwartym kodzie źródłowym youtube-dl, który właśnie to robi. Pobiera rzeczywiste łącza plików wideo i audio z danego łącza YouTube - lub dowolnej innej popularnej witryny wideo, takiej jak Vimeo, Yahoo! Wideo, uStream itp.

Aby zobaczyć, jak to się robi, zajrzyj do ekstraktora YouTube . To po prostu zbyt wiele do pokazania tutaj. Istnieją inne ekstraktory dla prostszych stron . Steven Penny ma również prosty downloader JavaScript na YouTube, który jest nieco prostszy.

Ale w zasadzie, w przypadku odtwarzacza wideo Flash, należy go zainicjować i skonfigurować za pomocą JavaScript. Mówiąc wprost, odtwarzacz obiektu Flash otrzyma adres URL strumienia wideo do załadowania.

Aby znaleźć strumień wideo, musisz przeanalizować kod HTML i JS strony wideo, aby znaleźć odpowiedni kod inicjujący, a następnie spróbuj znaleźć link do rzeczywistego pliku MP4. Może występować w postaci zwykłego tekstu, ale można go również generować w locie za pomocą określonych tokenów do pobrania. JavaScript jest często zaciemniany, aby utrudnić jego ponowne zaprojektowanie. Lub informacje o filmie mogą być zawarte w pliku XML ładowanym asynchronicznie przez JS.

W przypadku wideo HTML5 z progresywnym pobieraniem rzeczywisty plik źródłowy jest zwykle wymieniany bezpośrednio w sourceelemencie potomnym videoznacznika, więc jeśli przeszukasz stronę mp4lub coś podobnego. Na przykład w niemieckim programie informacyjnym Tagesschau 100 znajdziesz:

<source src="http://media.tagesschau.de/video/2014/0626/TV-20140626-1649-5801.webl.h264.mp4" type="video/mp4">

W przypadku bardziej zaawansowanych technologii odtwarzania, takich jak MPEG DASH lub HTTP Live Streaming firmy Apple (HLS), musisz przeanalizować plik meta-informacji, aby uzyskać rzeczywisty strumień wideo. Plik meta ( .mpdna przykład w DASH i .m3u8HLS) będzie zawierał łącza do segmentów wideo i audio, które później będziesz musiał połączyć, aby uzyskać plik do odtworzenia.

Nie ma na to ogólnego rozwiązania. Wymaga starannej kontroli i debugowania strony docelowej.

YouTube Bookmarklet

Tak właśnie zrobiłem z JavaScript

Zacznij od ytplayer.config.argsobiektu. Zawiera wszystkie adresy URL filmu. Jest podzielony na

url_encoded_fmt_stream_map // traditional: contains video and audio stream
adaptive_fmts              // DASH: contains video or audio stream

Każdy z nich jest tablicą oddzieloną przecinkami tego, co nazwałbym „obiektami strumieniowymi”. Każdy „obiekt strumienia” będzie zawierał takie wartości

url  // direct HTTP link to a video
itag // code specifying the quality
s    // signature, security measure to counter downloading

Każdy adres URL zostanie zakodowany, więc będziesz musiał go odkodować. Teraz trudna część.

YouTube ma co najmniej 3 poziomy bezpieczeństwa dla swoich filmów

unsecured // as expected, you can download these with just the unencoded URL
s         // see below
RTMPE     // uses "rtmpe://" protocol, no known method for these

Filmy RTMPE są zwykle używane w oficjalnych pełnometrażowych filmach i są chronione za pomocą SWF Verification Type 2. Jest to od 2011 roku i nie zostało jeszcze poddane inżynierii wstecznej.

Filmy typu „s” są najtrudniejsze do pobrania. Zazwyczaj zobaczysz je na filmach VEVO i podobnych. Zaczynają od podpisu, takiego jak

AA5D05FA7771AD4868BA4C977C3DEAAC620DE020E.0F421820F42978A1F8EAFCDAC4EF507DB5

Następnie podpis jest kodowany za pomocą takiej funkcji

function mo(a) {
  a = a.split("");
  a = lo.rw(a, 1);
  a = lo.rw(a, 32);
  a = lo.IC(a, 1);
  a = lo.wS(a, 77);
  a = lo.IC(a, 3);
  a = lo.wS(a, 77);
  a = lo.IC(a, 3);
  a = lo.wS(a, 44);
  return a.join("")
}

Ta funkcja jest dynamiczna i zazwyczaj zmienia się każdego dnia. Aby utrudnić, funkcja jest hostowana pod adresem URL takim jak

http://s.ytimg.com/yts/jsbin/html5player-en_US-vflycBCEX.js

wprowadza to problem polityki tego samego pochodzenia . Zasadniczo nie można pobrać tego pliku, www.youtube.componieważ są to różne domeny. Obejściem tego problemu jest CORS . W przypadku CORS s.ytimg.commożna dodać ten nagłówek

Access-Control-Allow-Origin: http://www.youtube.com

i pozwoliłoby na pobieranie JavaScript z www.youtube.com. Oczywiście, że tego nie robią. Obejściem tego obejścia jest użycie serwera proxy CORS. Jest to serwer proxy, który odpowiada na wszystkie żądania następującym nagłówkiem

Access-Control-Allow-Origin: *

Więc teraz, gdy masz już proxy swojego pliku JS i użyłeś funkcji do szyfrowania podpisu, możesz użyć tego w zapytaniu, aby pobrać wideo.

Moja odpowiedź: od 22 stycznia 2019 r. Przyłapanie tych metod może zostać przyłapane, jeśli spróbujesz ominąć również nie łącząc informacji o użytkowniku.

Dlaczego? ponieważ jestem nowym użytkownikiem tej platformy, nie mogę komentować reguły określonej przez @ Daniel-B . Zgodnie z nowym Regulaminem (w języku niemieckim, tak jak ja w Niemczech; proszę tłumaczyć) dla YouTube poniżej 6,1 USD:

Zgadzasz się, aby każdy zautomatyzowany system (w tym - ale nie tylko - dowolny robot, pająk lub czytnik offline) korzystał z niego na stronie internetowej w taki sposób, że więcej żądań do serwera w określonym czasie, które YouTube polecił, jest w stanie racjonalnie wyprodukować człowiek w tym samym okresie czasu, korzystając z publicznie dostępnej, niezmodyfikowanej standardowej przeglądarki internetowej;

Teraz mogą dowiedzieć się, jaki jest czas trwania każdego żądania i mogą śledzić, czy naruszasz. Jak to jest teraz możliwe, biorąc pod uwagę ten scenariusz, a Twój zewnętrzny adres IP będzie znany, nawet jeśli korzystasz z VPN, aby się zabezpieczyć bez łączenia danych użytkownika z jakąkolwiek usługą.