Dobre narzędzie do indeksowania mojej witryny i pomoc w znajdowaniu martwych linków i niepowiązanych plików [zamknięte]

21

Mam dość dużą starą witrynę z dosłownie tysiącami plików PDF, które czasem stanowią dane w bazie danych, ale często są tylko linkami na stronie i są przechowywane w prawie każdym katalogu na stronie.

Napisałem przeszukiwacz php, aby śledził wszystkie linki w mojej witrynie, a następnie porównuję to ze zrzutem struktury katalogów, ale czy jest coś łatwiejszego?

site-maintenance web-crawlers dead-links MrChrister
źródło
Zobacz także webmasters.stackexchange.com/questions/13310/..., który również pyta o sprawdzanie pisowni.
James Skemp

Odpowiedzi:

15

Użyłem Xenu's Link Sleuth . Działa całkiem nieźle, pamiętaj tylko, aby sam nie DOS!

plntxt
źródło
1
Zaznacz opcję „Pliki sierocych” w opcjach, a poprosi Cię o zalogowanie się na ftp do Twojej witryny.
pelms
Czy to obsługuje witryny, które musisz zalogować się, aby przejść do strony?
Donny V.
@ Jim Jak mogę zobaczyć, na której stronie znajduje się uszkodzony link?
Rob
Po zakończeniu indeksowania pojawi się raport zawierający informacje. W zależności od wielkości witryny i liczby uszkodzonych linków, jej przetworzenie może być trudne. Zwykle dostosowuję opcje raportowania przed przeszukiwaniem i otwieram raport jako plik tekstowy (ponieważ jest to .htm) i usuwam elementy, które nie są istotne, aby uczynić go łatwiejszym do zarządzania. Mam nadzieję że to pomoże.
plntxt
6

Jeśli korzystasz z systemu Windows 7 najlepszym narzędziem jest SEO Toolkit IIS7 1.0. Jest bezpłatny i można go pobrać za darmo.

Narzędzie skanuje każdą witrynę i informuje, gdzie znajdują się wszystkie martwe linki, jakie strony długo się ładują, które strony mają brakujące tytuły, duplikaty tytułów, to samo dla słów kluczowych i opisów oraz jakie strony mają uszkodzony HTML.

Ben Hoffman
źródło
1
Użyłem tego osobiście i jest doskonały do ​​skanowania i oczywiście SEO, ale kontrola FTP w Xenu tylko to eliminuje.
MrChrister,
1

Jestem wielkim fanem linklint do sprawdzania linków w dużych statycznych witrynach, jeśli masz wokół siebie linię poleceń unix (korzystałem z Linuksa, MacOS i FreeBSD). Zobacz instrukcje instalacji na ich stronie. Po zainstalowaniu tworzę plik o nazwie check.lli wykonuję:

linklint @check.ll

Oto jak wygląda mój plik check.ll

# linklint
-doc .
-delay 0
-http
-htmlonly
-limit 4000
-net
-host www.example.com
-timeout 10

To indeksuje www.example.comi generuje pliki HTML z odsyłaczami do raportów o tym, co jest zepsute, brakujące itp.

artlung
źródło
1

Istnieje kilka produktów firmy Microsys , w szczególności ich generator map witryn A1 i analizator witryn A1, które będą indeksować Twoją witrynę i zgłaszać wszystko, co możesz sobie wyobrazić.

Obejmuje to uszkodzone linki, ale także widok tabeli wszystkich stron, dzięki czemu można porównać takie same elementy, jak tagi <title> i meta opisu, linki nofollow, meta noindex na stronach internetowych i wiele chorób, które wymagają jedynie uważnego spojrzenia i szybka ręka do naprawienia.

Jewgienij
źródło
1

Link Examiner jest naprawdę dobrym darmowym oprogramowaniem dla twoich potrzeb.

Ciemny
źródło