Analizowanie określonych adresów URL z lokalnego pliku HTML

Chcę przeanalizować niektóre adresy URL z zapisanego pliku HTML za pomocą prostego skryptu / komendy bash, aby móc je pobrać za pomocą wgetpóźniejszych plików.
Do tej pory mam:

awk 'BEGIN{ RS="<a *href *= *\""} NR>2 {sub(/".*/,"");print; }' index.html >> url-list.txt

który zapisuje każdy link znajdujący się w moim pliku HTML w schludny dokument TXT.

Potrzebuję jednak tylko konkretnych linków

• z określonej domeny
• na przykład wszystkie pliki .ogg

wszystko, co w końcu wyglądałoby:

http://www.foo.com/(randomfolder)/(randombasename).ogg

lub

http://subdomain.foo.com/(randomfolder)/(anotherrandomsubfolder)/(randombasename).ogg

z góry dziękuję!

Mówisz, że musisz to zrobić „w Bash”, ale wydaje się, że masz na myśli „w skrypcie”, a nie „używając czystej składni Bash” (jest różnica). Zakładam, że chcesz mieć znaczenie „w skrypcie”.

Jeśli zapisałeś wszystkie linki w osobnych wierszach w dokumencie, możesz wybrać wszystkie linki w domenie za http://www.example.com/pomocą np

grep "^http://www\.example\.com/" filewithlinks.txt

lub wszystkie linki kończące .oggsię na

grep "\.ogg$" filewithlinks.txt

(Poprzednie kropki odwrotne to ucieczka przed .znakiem „ ”, który inaczej oznacza „dowolny znak”. ” \.” Zamiast tego oznacza literał. Bez ucieczki dopasujesz również linki kończące się np. „Logg”.)

Można również wykonać dopasowanie linii bezpośrednio w awk poleceniu, ale sądzę, że od czasu do czasu byłoby to bardziej skomplikowane. Najłatwiejszym sposobem jest zapisanie pełnej listy linków w pliku, a następnie po prostu wyszukiwanie pliku, na przykład grepjak wyżej. Wówczas nie będziesz musiał ponownie pobierać i parsować dokumentu, jeśli chcesz zmienić pasujący wzór.