Chciałbym indeksować linki pod www.website.com/XYZ i pobierać tylko te linki, które znajdują się pod www.website.com/ABC. Używam następującego polecenia wget, aby uzyskać potrzebne pliki: wget -I ABC -r -e robots=off --wait 0.25 http://www.website.com/XYZ Działa to doskonale, gdy używam wget...