Wyodrębnianie wartości atrybutu za pomocą beautifulsoup

112

Próbuję wyodrębnić zawartość pojedynczego atrybutu „value” w określonym tagu „input” na stronie internetowej. Używam następującego kodu:

import urllib
f = urllib.urlopen("http://58.68.130.147")
s = f.read()
f.close()

from BeautifulSoup import BeautifulStoneSoup
soup = BeautifulStoneSoup(s)

inputTag = soup.findAll(attrs={"name" : "stainfo"})

output = inputTag['value']

print str(output)

Otrzymuję TypeError: indeksy listy muszą być liczbami całkowitymi, a nie str

chociaż z dokumentacji Beautifulsoup rozumiem, że struny nie powinny tu stanowić problemu ... ale m.in. żaden specjalista i być może źle zrozumiałem.

Każda sugestia jest bardzo mile widziana! Z góry dziękuję.

Barnabe
źródło

Odpowiedzi:

150

.find_all() zwraca listę wszystkich znalezionych elementów, więc:

input_tag = soup.find_all(attrs={"name" : "stainfo"})

input_tagjest listą (prawdopodobnie zawierającą tylko jeden element). W zależności od tego, czego dokładnie chcesz, powinieneś albo zrobić:

 output = input_tag[0]['value']

lub użyj .find()metody, która zwraca tylko jeden (pierwszy) znaleziony element:

 input_tag = soup.find(attrs={"name": "stainfo"})
 output = input_tag['value']
Łukasz
źródło
Świetne rzeczy! Dzięki. teraz mam pytanie o parsowanie danych wyjściowych, które obejmują długą wiązkę znaków spoza ASCII, ale zadam to w osobnym pytaniu.
Barnabe,
3
nie należy uzyskiwać dostępu do „wartości” zgodnie ze stackoverflow.com/questions/2616659/… . Co sprawia, że ​​powyższy kod działa w tym przypadku? Myślałem, że będziesz musiał uzyskać dostęp do wartości, wykonującoutput = inputTag[0].contents
Seth
@Seth - nie, ponieważ szuka „wartości” atrybutu input-tag, a .contents zwraca tekst zawarty w tagu (<span> jestem .contents </span>) - (odpowiadam teraz, ponieważ podwójnie sprawdzić, co się dzieje; wyobraź sobie, że ktoś inny może skorzystać)
Dolan Antenucci
1
świetna odpowiedź. Jednakże chciałbym użyć inputTag[0].get('value') zamiast inputTag[0]['value']zapobiegać none wskaźnik w przypadku tag jako atrybut bez wartości
amphibient
co z linkami, które nie są bezpośrednio powiązane ze stroną główną odwiedzanej witryny; Jak uzyskać wszystkie linki, niezależnie od tego, czy są one połączone bezpośrednio lub pośrednio ze stroną internetową.
Rink
26

W programie Python 3.xpo prostu użyj get(attr_name)na obiekcie tagu, który otrzymujesz za pomocą find_all:

xmlData = None

with open('conf//test1.xml', 'r') as xmlFile:
    xmlData = xmlFile.read()

xmlDecoded = xmlData

xmlSoup = BeautifulSoup(xmlData, 'html.parser')

repElemList = xmlSoup.find_all('repeatingelement')

for repElem in repElemList:
    print("Processing repElem...")
    repElemID = repElem.get('id')
    repElemName = repElem.get('name')

    print("Attribute id = %s" % repElemID)
    print("Attribute name = %s" % repElemName)

z plikiem XML, conf//test1.xmlktóry wygląda następująco:

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<root>
    <singleElement>
        <subElementX>XYZ</subElementX>
    </singleElement>
    <repeatingElement id="11" name="Joe"/>
    <repeatingElement id="12" name="Mary"/>
</root>

wydruki:

Processing repElem...
Attribute id = 11
Attribute name = Joe
Processing repElem...
Attribute id = 12
Attribute name = Mary
amfibia
źródło
Czy nie miałbyś nic przeciwko, gdybym go zmodyfikował, aby był zgodny z PEP 8 i użył bardziej nowoczesnych metod formatowania ciągów?
AMC
W porządku,
zrób
6

Jeśli chcesz pobrać wiele wartości atrybutów z powyższego źródła, możesz użyć funkcji findAlli listy, aby uzyskać wszystko, czego potrzebujesz:

import urllib
f = urllib.urlopen("http://58.68.130.147")
s = f.read()
f.close()

from BeautifulSoup import BeautifulStoneSoup
soup = BeautifulStoneSoup(s)

inputTags = soup.findAll(attrs={"name" : "stainfo"})
### You may be able to do findAll("input", attrs={"name" : "stainfo"})

output = [x["stainfo"] for x in inputTags]

print output
### This will print a list of the values.
Margath
źródło
4

Właściwie sugerowałbym oszczędzenie czasu, zakładając, że wiesz, jakie rodzaje tagów mają te atrybuty.

załóżmy, że tag xyz ma tę attritube o nazwie „staininfo” ..

full_tag = soup.findAll("xyz")

Chciałbym, żebyście zrozumieli, że full_tag to lista

for each_tag in full_tag:
    staininfo_attrb_value = each_tag["staininfo"]
    print staininfo_attrb_value

W ten sposób możesz pobrać wszystkie wartości attrb staininfo dla wszystkich tagów xyz

b1tchacked
źródło
3

możesz również użyć tego:

import requests
from bs4 import BeautifulSoup
import csv

url = "http://58.68.130.147/"
r = requests.get(url)
data = r.text

soup = BeautifulSoup(data, "html.parser")
get_details = soup.find_all("input", attrs={"name":"stainfo"})

for val in get_details:
    get_val = val["value"]
    print(get_val)
Panie Bones
źródło
Czym różni się to od dużo starszych odpowiedzi, które już tu były?
AMC
0

Używam tego z Beautifulsoup 4.8.1, aby uzyskać wartość wszystkich atrybutów klas niektórych elementów:

from bs4 import BeautifulSoup

html = "<td class='val1'/><td col='1'/><td class='val2' />"

bsoup = BeautifulSoup(html, 'html.parser')

for td in bsoup.find_all('td'):
    if td.has_attr('class'):
        print(td['class'][0])

Należy zauważyć, że klucz atrybutu pobiera listę, nawet jeśli atrybut ma tylko jedną wartość.

PeterXX
źródło