Pobierz źródło HTML WebElement w Selenium WebDriver za pomocą Pythona

Korzystam z powiązań Python do uruchamiania Selenium WebDriver:

from selenium import webdriver
wd = webdriver.Firefox()

Wiem, że mogę pobrać taki element sieciowy:

elem = wd.find_element_by_css_selector('#my-id')

I wiem, że mogę uzyskać pełne źródło strony dzięki ...

wd.page_source

Ale czy w ogóle można uzyskać „źródło elementu”?

elem.source   # <-- returns the HTML as a string

Dokumenty selenium webdriver dla Pythona w zasadzie nie istnieją i nie widzę w kodzie nic, co zdawałoby się włączać tę funkcjonalność.

Masz jakieś przemyślenia na temat najlepszego sposobu uzyskania dostępu do HTML elementu (i jego dzieci)?

Możesz odczytać innerHTMLatrybut, aby uzyskać źródło treści elementu lub outerHTMLźródło z bieżącym elementem.

Pyton:

element.get_attribute('innerHTML')

Jawa:

elem.getAttribute("innerHTML");

DO#:

element.GetAttribute("innerHTML");

Rubin:

element.attribute("innerHTML")

JS:

element.getAttribute('innerHTML');

PHP:

$element->getAttribute('innerHTML');

Testowany i współpracuje z ChromeDriver.

Tak naprawdę nie ma prostego sposobu uzyskania kodu źródłowego HTML webelement. Będziesz musiał użyć JS. Nie jestem zbyt pewny co do powiązań Pythona, ale możesz to łatwo zrobić w Javie. Jestem pewien, że JavascriptExecutorw Pythonie musi być coś podobnego do klasy.

 WebElement element = driver.findElement(By.id("foo"));
 String contents = (String)((JavascriptExecutor)driver).executeScript("return arguments[0].innerHTML;", element); 

Na pewno możemy pobrać cały kod źródłowy HTML za pomocą tego skryptu poniżej w Selenium Python:

elem = driver.find_element_by_xpath("//*")
source_code = elem.get_attribute("outerHTML")

Jeśli chcesz zapisać go do pliku:

with open('c:/html_source_code.html', 'w') as f:
    f.write(source_code.encode('utf-8'))

Sugeruję zapisanie do pliku, ponieważ kod źródłowy jest bardzo długi.

W Ruby, używając selenium-webdriver (2.32.1), istnieje page_sourcemetoda, która zawiera całe źródło strony.

Korzystanie z metody atrybutu jest w rzeczywistości łatwiejsze i bardziej bezpośrednie.

Używając Ruby z klejnotami Selenium i PageObject, aby powiązać klasę z określonym elementem, linia byłaby element.attribute(Class) .

Ta sama koncepcja obowiązuje, jeśli chcesz powiązać inne atrybuty z elementem. Na przykład, jeśli chciałem ciąg pierwiastka element.attribute(String).

Wygląda na przestarzałe, ale niech i tak tu będzie. Właściwy sposób to zrobić w twoim przypadku:

elem = wd.find_element_by_css_selector('#my-id')
html = wd.execute_script("return arguments[0].innerHTML;", elem)

lub

html = elem.get_attribute('innerHTML')

Oba działają dla mnie (selenium-server-standalone-2.35.0)

Java z Selenium 2.53.0

driver.getPageSource();

Mam nadzieję, że to może pomóc: http://selenium.googlecode.com/svn/trunk/docs/api/java/org/openqa/selenium/WebElement.html

Oto opis metody Java:

java.lang.String    getText() 

Ale niestety nie jest dostępny w Pythonie. Możesz więc przetłumaczyć nazwy metod na Python z Javy i wypróbować inną logikę przy użyciu obecnych metod bez pobierania całego źródła strony ...

Na przykład

 my_id = elem[0].get_attribute('my-id')

To działa dla mnie bezproblemowo.

element.get_attribute('innerHTML')

InnerHTML zwróci element wewnątrz wybranego elementu, a outerHTML zwróci wewnątrz HTML wraz z wybranym elementem

Przykład: - Załóżmy teraz, że Twój element jest jak poniżej

<tr id="myRow"><td>A</td><td>B</td></tr>

element innerHTML Wyjście

<td>A</td><td>B</td>

element outerHTML Wyjście

<tr id="myRow"><td>A</td><td>B</td></tr>

Przykład na żywo: -

http://www.java2s.com/Tutorials/JavascriptDemo/f/find_out_the_difference_between_innerhtml_and_outerhtml_in_javascript_example.htm

Poniżej znajdziesz składnię, która wymaga różnych powiązań. Zmień innerHTMLnaouterHTML zgodnie z wymaganiami.

Pyton:

element.get_attribute('innerHTML')

Jawa:

elem.getAttribute("innerHTML");

Jeśli chcesz HTML całej strony, użyj poniższego kodu: -

driver.getPageSource();

WebElement element = driver.findElement(By.id("foo"));
String contents = (String)((JavascriptExecutor)driver).executeScript("return      arguments[0].innerHTML;", element); 

Ten kod naprawdę działa również w celu pobrania JavaScript ze źródła!

A w teście selenu PHPUnit wygląda to tak:

$text = $this->byCssSelector('.some-class-nmae')->attribute('innerHTML');

Jeśli interesuje Cię rozwiązanie do zdalnego sterowania w Pythonie, oto jak uzyskać innerHTML:

innerHTML = sel.get_eval("window.document.getElementById('prodid').innerHTML")

Preferowaną metodą uzyskania renderowanego HTML jest:

driver.get("http://www.google.com")
body_html = driver.find_element_by_xpath("/html/body")
print body_html.text

Jednak powyższa metoda usuwa wszystkie tagi (tak również tagi zagnieżdżone) i zwraca tylko treść tekstową. Jeśli chcesz uzyskać znaczniki HTML, skorzystaj z poniższej metody.

print body_html.getAttribute("innerHTML")