Jak wykonać jednowierszowe XPath z powłoki?

Czy jest dostępny pakiet dla Ubuntu i / lub CentOS, który ma narzędzie wiersza poleceń, które może wykonywać jedno-liniowy XPath, taki jak foo //element@attribute filename.xmllub, foo //element@attribute < filename.xmli zwracać wyniki linia po linii?

Szukam czegoś, co pozwoliłoby mi tylko apt-get install fooalbo yum install fooi po prostu działa out-of-the-box, bez opakowania lub inna adaptacja konieczne.

Oto kilka przykładów zbliżających się spraw:

Nokogiri. Jeśli napiszę to opakowanie, mógłbym wywołać opakowanie w sposób opisany powyżej:

#!/usr/bin/ruby

require 'nokogiri'

Nokogiri::XML(STDIN).xpath(ARGV[0]).each do |row|
  puts row
end

XML :: XPath. Działa z tym opakowaniem:

#!/usr/bin/perl

use strict;
use warnings;
use XML::XPath;

my $root = XML::XPath->new(ioref => 'STDIN');
for my $node ($root->find($ARGV[0])->get_nodelist) {
  print($node->getData, "\n");
}

xpathz XML :: XPath zwraca zbyt dużo hałasu, -- NODE --a attribute = "value".

xml_grep z XML :: Twig nie obsługuje wyrażeń, które nie zwracają elementów, dlatego nie można go użyć do wyodrębnienia wartości atrybutów bez dalszego przetwarzania.

EDYTOWAĆ:

echo cat //element/@attribute | xmllint --shell filename.xmlzwraca hałas podobny do xpath.

xmllint --xpath //element/@attribute filename.xmlzwraca attribute = "value".

xmllint --xpath 'string(//element/@attribute)' filename.xml zwraca to, czego chcę, ale tylko dla pierwszego meczu.

Dla innego rozwiązania, które prawie spełnia pytanie, oto XSLT, którego można użyć do oceny dowolnych wyrażeń XPath (wymaga obsługi dyn: Evaluation w procesorze XSLT):

<?xml version="1.0"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0"
    xmlns:dyn="http://exslt.org/dynamic" extension-element-prefixes="dyn">
  <xsl:output omit-xml-declaration="yes" indent="no" method="text"/>
  <xsl:template match="/">
    <xsl:for-each select="dyn:evaluate($pattern)">
      <xsl:value-of select="dyn:evaluate($value)"/>
      <xsl:value-of select="'&#10;'"/>
    </xsl:for-each> 
  </xsl:template>
</xsl:stylesheet>

Uruchom z xsltproc --stringparam pattern //element/@attribute --stringparam value . arbitrary-xpath.xslt filename.xml.

Powinieneś spróbować tych narzędzi:

• xmlstarlet : można edytować, wybierać, przekształcać ... Domyślnie nie jest instalowany, xpath1
• xmllint : często instalowane domyślnie z libxml2-utils , xpath1 (sprawdź moje opakowanie, aby --xpathwłączyć bardzo stare wersje i znaki nowej linii rozdzielane (v <2.9.9)
• xpath: zainstalowany przez moduł Perla XML::XPath, xpath1
• xml_grep: zainstalowany przez moduł Perla XML::Twig, xpath1 (ograniczone użycie xpath)
• xidel: xpath3
• saxon-lint : mój własny projekt, opakowanie nad biblioteką Java Saxon-HE @ Michaela Kaya, xpath3

xmllintpochodzi z libxml2-utils(może być używany jako interaktywna powłoka z--shell przełącznikiem)

xmlstarlet jest xmlstarlet .

xpath pochodzi z modułem Perla XML::Xpath

xml_grep pochodzi z modułem Perla XML::Twig

xidel jest xidel

saxon-lintużywając SaxonHE 9.6 , XPath 3.x (+ kompatybilność retro)

Np .:

xmllint --xpath '//element/@attribute' file.xml
xmlstarlet sel -t -v "//element/@attribute" file.xml
xpath -q -e '//element/@attribute' file.xml
xidel -se '//element/@attribute' file.xml
saxon-lint --xpath '//element/@attribute' file.xml

• strona xmlstarlet
• człowiek xmllint
• strona xpath
• xml_grep
• Xidel
• saxon-lint

.

Możesz także wypróbować mój Xidel . Nie ma go w pakiecie w repozytorium, ale można go po prostu pobrać ze strony internetowej (nie ma zależności).

Ma prostą składnię do tego zadania:

xidel filename.xml -e '//element/@attribute' 

Jest to jedno z rzadkich narzędzi, które obsługują XPath 2.

Jest już jeden pakiet, który najprawdopodobniej zostanie zainstalowany w systemie python-lxml. Jeśli tak, jest to możliwe bez instalowania dodatkowego pakietu:

python -c "from lxml.etree import parse; from sys import stdin; print '\n'.join(parse(stdin).xpath('//element/@attribute'))"

W moich zapytaniach dotyczących plików maven pom.xml natknąłem się na to pytanie. Miałem jednak następujące ograniczenia:

• musi działać na różnych platformach.
• musi istnieć we wszystkich głównych dystrybucjach Linuksa bez dodatkowej instalacji modułu
• musi obsługiwać złożone pliki XML, takie jak pliki maven pom.xml
• prosta składnia

Próbowałem wielu z powyższych bez powodzenia:

• python lxml.etree nie jest częścią standardowej dystrybucji python
• Plik xml.etree jest, ale nie radzi sobie dobrze ze złożonymi plikami maven pom.xml, nie zagłębiłem się wystarczająco głęboko
• Python xml.etree nie obsługuje plików maven pom.xml z nieznanego powodu
• xmllint też nie działa, zrzuty pamięci często na Ubuntu 12.04 "xmllint: przy użyciu libxml w wersji 20708"

Rozwiązaniem, które natknąłem się na to, że jest stabilne, krótkie i działa na wielu platformach i jest dojrzałe, jest rexml lib wbudowany w Ruby:

ruby -r rexml/document -e 'include REXML; 
     puts XPath.first(Document.new($stdin), "/project/version/text()")' < pom.xml

Inspiracją do znalezienia tego były następujące artykuły:

• Samouczek Ruby / XML, XSLT i XPath
• IBM: Ruby on Rails i XML

Saxon zrobi to nie tylko dla XPath 2.0, ale także dla XQuery 1.0 i (w wersji komercyjnej) 3.0. Nie jest dostarczany jako pakiet Linux, ale jako plik jar. Składnia (którą można łatwo zawinąć w prosty skrypt) to

java net.sf.saxon.Query -s:source.xml -qs://element/attribute

AKTUALIZACJA 2020

Saxon 10.0 zawiera narzędzie Gizmo, którego można używać interaktywnie lub wsadowo z wiersza poleceń. Na przykład

java net.sf.saxon.Gizmo -s:source.xml
/>show //element/@attribute
/>quit

Możesz być także zainteresowany xsh . Posiada tryb interaktywny, w którym możesz robić co tylko chcesz z dokumentem:

open 1.xml ;
ls //element/@id ;
for //p[@class="first"] echo text() ;

Odpowiedź clacke jest świetna, ale myślę, że działa tylko wtedy, gdy źródłem jest dobrze sformatowany XML, a nie normalny HTML.

Aby zrobić to samo w przypadku normalnej zawartości sieci Web - dokumenty HTML, które niekoniecznie są dobrze sformatowanymi danymi XML:

echo "<p>foo<div>bar</div><p>baz" | python -c "from sys import stdin; \
from lxml import html; \
print '\n'.join(html.tostring(node) for node in html.parse(stdin).xpath('//p'))"

I zamiast tego użyj html5lib (aby upewnić się, że otrzymujesz takie samo zachowanie podczas analizowania jak przeglądarki internetowe - ponieważ podobnie jak parsery przeglądarek, html5lib spełnia wymagania parsowania w specyfikacji HTML).

echo "<p>foo<div>bar</div><p>baz" | python -c "from sys import stdin; \
import html5lib; from lxml import html; \
doc = html5lib.parse(stdin, treebuilder='lxml', namespaceHTMLElements=False); \
print '\n'.join(html.tostring(node) for node in doc.xpath('//p'))

Podobnie do odpowiedzi Mike'a i Clacke'a, tutaj jest jedno-liniowy python (przy użyciu python> = 2.5), aby uzyskać wersję kompilacji z pliku pom.xml, który omija fakt, że pliki pom.xml zwykle nie mają dtd lub domyślna przestrzeń nazw, więc nie wydają się być poprawnie sformułowane w libxml:

python -c "import xml.etree.ElementTree as ET; \
  print(ET.parse(open('pom.xml')).getroot().find('\
  {http://maven.apache.org/POM/4.0.0}version').text)"

Testowany na komputerach Mac i Linux i nie wymaga instalowania żadnych dodatkowych pakietów.

Oprócz XML :: XSH i XML :: XSH2 istnieją pewne greppodobne narzędzia ssące jako App::xml_grep2i XML::Twig(które zawierają xml_grepraczej niż xml_grep2). Mogą one być bardzo przydatne podczas pracy z dużymi lub licznymi plikami XML dla szybkich onelinerów lub Makefilecelów. XML::Twigjest szczególnie miło pracować z perlpodejściem skryptowym, gdy chcesz nieco więcej przetwarzania niż twoje $SHELLi xmllint xstlproczaoferować.

Schemat numerowania w nazwach aplikacji wskazuje, że wersje „2” są nowszą / późniejszą wersją zasadniczo tego samego narzędzia, które może wymagać późniejszych wersji innych modułów (lub perlsamego).

Należy wspomnieć, że sam nokogiri jest dostarczany z narzędziem wiersza poleceń, które należy zainstalować gem install nokogiri.

Można znaleźć tego blogu użyteczne .

Wypróbowałem kilka narzędzi XPath z wiersza poleceń i kiedy zdałem sobie sprawę, że spędzam zbyt dużo czasu na wyszukiwaniu i zastanawianiu się, jak one działają, napisałem więc najprostszy możliwy parser XPath w Pythonie, który zrobił to, czego potrzebowałem.

Poniższy skrypt pokazuje wartość ciągu, jeśli wyrażenie XPath przekształca się w ciąg, lub pokazuje cały podwęzeł XML, jeśli wynikiem jest węzeł:

#!/usr/bin/env python
import sys
from lxml import etree

tree = etree.parse(sys.argv[1])
xpath = sys.argv[2]

for e in tree.xpath(xpath):

    if isinstance(e, str):
        print(e)
    else:
        print((e.text and e.text.strip()) or etree.tostring(e))

Wykorzystuje lxml- szybki parser XML napisany w C, który nie jest zawarty w standardowej bibliotece Pythona. Zainstaluj za pomocą pip install lxml. W systemie Linux / OSX może wymagać prefiksu sudo.

Stosowanie:

python xmlcat.py file.xml "//mynode"

lxml może również akceptować adres URL jako dane wejściowe:

python xmlcat.py http://example.com/file.xml "//mynode" 

Wyodrębnij atrybut url w węźle obudowy, tj . <enclosure url="http:...""..>):

python xmlcat.py xmlcat.py file.xml "//enclosure/@url"

Xpath w Google Chrome

Jako niepowiązana uwaga dodatkowa: jeśli przypadkiem chcesz uruchomić wyrażenie XPath wobec znaczników strony internetowej, możesz to zrobić bezpośrednio z narzędzi devtools Chrome: kliknij prawym przyciskiem myszy stronę w Chrome> wybierz Sprawdź, a następnie w DevTools konsola wklej wyrażenie XPath jako $x("//spam/eggs").

Pobierz wszystkich autorów na tej stronie:

$x("//*[@class='user-details']/a/text()")

Oto jeden przypadek użycia xmlstarlet do wyodrębnienia danych z elementów zagnieżdżonych elem1, elem2 do jednego wiersza tekstu z tego typu XML (pokazujący również, jak obsługiwać przestrzenie nazw):

<?xml version="1.0" encoding="UTF-8" standalone="yes" ?>
<mydoctype xmlns="http://xml-namespace-uri" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://xml-namespace-uri http://xsd-uri" format="20171221A" date="2018-05-15">

  <elem1 time="0.586" length="10.586">
      <elem2 value="cue-in" type="outro" />
  </elem1>

</mydoctype>

Wyjście będzie

0.586 10.586 cue-in outro

W tym fragmencie -m dopasowuje zagnieżdżony elem2, -v wyświetla wartości atrybutów (z wyrażeniami i względnym adresowaniem), -o dosłowny tekst, -n dodaje nowy wiersz:

xml sel -N ns="http://xml-namespace-uri" -t -m '//ns:elem1/ns:elem2' \
 -v ../@time -o " " -v '../@time + ../@length' -o " " -v @value -o " " -v @type -n file.xml

Jeśli potrzeba więcej atrybutów z elem1, można to zrobić w następujący sposób (pokazując również funkcję concat ()):

xml sel -N ns="http://xml-namespace-uri" -t -m '//ns:elem1/ns:elem2/..' \
 -v 'concat(@time, " ", @time + @length, " ", ns:elem2/@value, " ", ns:elem2/@type)' -n file.xml

Zwróć uwagę na (niepotrzebne IMO) komplikacje z przestrzeniami nazw (ns, zadeklarowane z -N), które prawie mnie poddały na xpath i xmlstarlet, i napisałem szybki konwerter ad-hoc.

Mój skrypt xgrep.py w Pythonie właśnie to robi. Aby wyszukać wszystkie atrybuty attributeelementów elementw plikach filename.xml ..., uruchom go w następujący sposób:

xgrep.py "//element/@attribute" filename.xml ...

Istnieją różne przełączniki do sterowania danymi wyjściowymi, na przykład -cdo zliczania dopasowań, -ido wcięcia pasujących części i -ldo wysyłania tylko nazw plików.

Skrypt nie jest dostępny jako pakiet Debian lub Ubuntu, ale wszystkie jego zależności są.

Ponieważ ten projekt jest pozornie nowy, sprawdź https://github.com/jeffbr13/xq , wydaje się to być otoczeniem lxml, ale to wszystko, czego naprawdę potrzebujesz (i opublikowałem rozwiązania ad hoc przy użyciu lxml również w innych odpowiedziach)

Nie byłem zadowolony z jedno-liniowych zapytań Python do zapytań HTML XPath, więc napisałem własny. Zakłada, że ​​zainstalowałeś python-lxmlpakiet lub uruchomiłeś pip install --user lxml:

function htmlxpath() { python -c 'for x in __import__("lxml.html").html.fromstring(__import__("sys").stdin.read()).xpath(__import__("sys").argv[1]): print(x)' $1 }

Gdy go masz, możesz użyć go tak jak w tym przykładzie:

> curl -s https://slashdot.org | htmlxpath '//title/text()'
Slashdot: News for nerds, stuff that matters

Zainstaluj bazę danych BaseX , a następnie użyj „samodzielnego trybu wiersza polecenia” w następujący sposób:

basex -i - //element@attribute < filename.xml

lub

basex -i filename.xml //element@attribute

Językiem zapytań jest w rzeczywistości XQuery (3.0), a nie XPath, ale ponieważ XQuery jest nadzbiorem XPath, można używać zapytań XPath bez uprzedzenia.