Web scraping to proces wyodrębniania określonych informacji ze stron internetowych, które nie zapewniają łatwo API ani innych metod automatycznego wyszukiwania danych. Pytania dotyczące „Jak rozpocząć pracę ze skrobaniem” (np. Z Excel VBA) powinny być * dokładnie zbadane *, ponieważ dostępne są liczne próbki kodu funkcjonalnego. Metody skrobania sieci obejmują aplikacje innych firm, tworzenie niestandardowego oprogramowania, a nawet ręczne zbieranie danych w ustandaryzowany sposób.
Zamknięte . To pytanie musi być bardziej skoncentrowane . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby koncentrowało się na jednym problemie, edytując ten post . Zamknięte 6 lat temu . Zastanawiam się nad...
Mam problem z analizowaniem elementów HTML z atrybutem „class” za pomocą Beautifulsoup. Kod wygląda następująco soup = BeautifulSoup(sdata) mydivs = soup.findAll('div') for div in mydivs: if (div["class"] == "stylelistrow"): print div W tym samym wierszu pojawia się błąd „po” zakończeniu...
Zamknięte. To pytanie nie jest zgodne z wytycznymi dotyczącymi przepełnienia stosu . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było na temat przepełnienia stosu. Zamknięte 5 lat temu . Próbuję umieścić...
Zamknięte. To pytanie nie jest zgodne z wytycznymi dotyczącymi przepełnienia stosu . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było na temat przepełnienia stosu. Zamknięte 2 lata temu . Popraw to pytanie...
W obecnej formie to pytanie nie pasuje do naszego formatu pytań i odpowiedzi. Oczekujemy, że odpowiedzi poparte będą faktami, referencjami lub wiedzą fachową, ale to pytanie prawdopodobnie będzie wymagało debaty, argumentów, ankiet lub rozszerzonej dyskusji. Jeśli uważasz, że to...
Muszę wybrać element z menu rozwijanego . Na przykład: <select id="fruits01" class="select" name="fruits"> <option value="0">Choose your fruits:</option> <option value="1">Banana</option> <option value="2">Mango</option> </select> 1) Najpierw...
Próbuję opracować prosty skrobak do sieci. Chcę wyodrębnić tekst bez kodu HTML. W rzeczywistości osiągam ten cel, ale widziałem, że na niektórych stronach, na których ładowany jest JavaScript, nie uzyskałem dobrych wyników. Na przykład, jeśli jakiś kod JavaScript dodaje jakiś tekst, nie widzę go,...
Jak zeskrobać tabele html za pomocą pakietu XML? Weźmy na przykład tę stronę Wikipedii o brazylijskiej drużynie piłkarskiej . Chciałbym przeczytać to w R i otrzymać tabelę „Lista wszystkich meczów rozegranych przez Brazylię przeciwko drużynom uznanym przez FIFA” w postaci data.frame. W jaki sposób...
Znam adres URL obrazu w Internecie. np. http://www.digimouth.com/news/media/2011/09/google-logo.jpg , na którym znajduje się logo Google. Jak mogę pobrać ten obraz za pomocą Pythona bez faktycznego otwierania adresu URL w przeglądarce i ręcznego zapisywania
Jak mogę pobrać linki do strony internetowej i skopiować adresy URL linków za pomocą
Próbuję przekazać zmienną do page.evaluate()funkcji w Puppeteer , ale kiedy używam następującego bardzo uproszczonego przykładu, zmiennaevalVar jest niezdefiniowana. Jestem nowy w Puppeteer i nie mogę znaleźć żadnych przykładów do zbudowania, więc potrzebuję pomocy w przekazaniu tej zmiennej do...
Chcę pobrać treść z poniższej strony internetowej. Jeśli używam przeglądarki takiej jak Firefox lub Chrome, mogę uzyskać prawdziwą stronę internetową, którą chcę, ale jeśli użyję pakietu (lub wgetpolecenia) żądań Pythona, aby ją pobrać, zwraca całkowicie inną stronę HTML. Myślałem, że twórca...
Ćwiczę kod z „Web Scraping with Python” i ciągle mam ten problem z certyfikatem: from urllib.request import urlopen from bs4 import BeautifulSoup import re pages = set() def getLinks(pageUrl): global pages html = urlopen("http://en.wikipedia.org"+pageUrl) bsObj = BeautifulSoup(html) for...
Zamknięte . To pytanie jest oparte na opinii . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby można było na nie odpowiedzieć, podając fakty i cytaty, edytując ten post . Zamknięte 6 lat temu . Popraw to...
Próbuję wydobyć informacje o produkcie ze strony internetowej za pomocą scrapy. Moja strona internetowa do pobrania wygląda następująco: zaczyna się od strony product_list z 10 produktami kliknięcie przycisku „dalej” ładuje następnych 10 produktów (adres URL nie zmienia się między dwiema...
Praca tutaj jest zeskrobać API witrynę, która rozpoczyna się od https://xxx.xxx.xxx/xxx/1.jsoncelu https://xxx.xxx.xxx/xxx/1417749.jsoni zapisz go dokładnie MongoDB. Do tego mam następujący kod: client = pymongo.MongoClient("mongodb://127.0.0.1:27017") db = client["thread1"] com =...
Stworzyłem automatyzację, która pozwoli mi wprowadzać dane na stronie internetowej (chociaż nie mogę udostępniać jej, ponieważ jest ona wewnętrzna). Mój kod poniżej działa tylko do momentu, gdy wprowadzi tekst „otrzymano z”. Jednak to pole „otrzymane z” ma listę autouzupełniania i muszę ją wybrać,...
Utworzyłem skrypt, aby pobrać elementy HTML ze strony docelowej, wysyłając następnie dwa żądania https. Mój skrypt potrafi to zrobić bezbłędnie. Musiałem jednak skopiować cztery wartości z narzędzi chrome dev, aby wypełnić cztery klucze payloadw celu wysłania ostatecznych żądań HTTP do strony...
Napisałem skrypt w Pythonie, aby zalogować się na stronie internetowej i przeanalizować nazwę użytkownika, aby upewnić się, że naprawdę mogę się zalogować. Wydaje mi się, że sposób, w jaki próbowałem poniżej, prowadzi mnie tam. Jednak, aby osiągnąć sukces, użyłem na stałe plików cookie pobranych z...