niektóre witryny mają inne $file_headers[0]strony błędów. na przykład youtube.com. jego strona błędu ma tę wartość jako HTTP/1.0 404 Not Found(różnica wynosi 1,0 i 1,1). co wtedy robić?
Krishna Raj K
21
Być może użycie strpos($headers[0], '404 Not Found')może załatwić sprawę
Przy ustalaniu, czy istnieje adres URL z php, należy zwrócić uwagę na kilka rzeczy:
Czy sam adres URL jest prawidłowy (ciąg, nie pusty, dobra składnia), można to szybko sprawdzić po stronie serwera.
Oczekiwanie na odpowiedź może zająć trochę czasu i wykonanie kodu blokowego.
Nie wszystkie nagłówki zwrócone przez get_headers () są dobrze uformowane.
Użyj curl (jeśli możesz).
Zapobiegaj pobieraniu całego treści / treści, ale żądaj tylko nagłówków.
Rozważ przekierowanie adresów URL:
Czy chcesz zwrócić pierwszy kod?
Lub wykonaj wszystkie przekierowania i zwróć ostatni kod?
Możesz skończyć z 200, ale może przekierowywać za pomocą metatagów lub javascript. Ustalenie, co stanie się później, jest trudne.
Należy pamiętać, że niezależnie od zastosowanej metody oczekiwanie na odpowiedź wymaga czasu.
Cały kod może (i prawdopodobnie zostanie) zatrzymany, dopóki nie dowiesz się o wyniku lub nie upłynął limit czasu żądań.
Na przykład: poniższy kod może długo wyświetlać stronę, jeśli adresy URL są nieprawidłowe lub nieosiągalne:
<?php
$urls = getUrls();// some function getting say 10 or more external linksforeach($urls as $k=>$url){// this could potentially take 0-30 seconds each// (more or less depending on connection, target site, timeout settings...)if(! isValidUrl($url)){
unset($urls[$k]);}}
echo "yay all done! now show my site";foreach($urls as $url){
echo "<a href=\"{$url}\">{$url}</a><br/>";}
Poniższe funkcje mogą być pomocne, prawdopodobnie chcesz je zmodyfikować zgodnie z własnymi potrzebami:
function isValidUrl($url){// first do some quick sanity checks:if(!$url ||!is_string($url)){returnfalse;}// quick check url is roughly a valid http request: ( http://blah/... ) if(! preg_match('/^http(s)?:\/\/[a-z0-9-]+(\.[a-z0-9-]+)*(:[0-9]+)?(\/.*)?$/i', $url)){returnfalse;}// the next bit could be slow:if(getHttpResponseCode_using_curl($url)!=200){// if(getHttpResponseCode_using_getheaders($url) != 200){ // use this one if you cant use curlreturnfalse;}// all good!returntrue;}function getHttpResponseCode_using_curl($url, $followredirects =true){// returns int responsecode, or false (if url does not exist or connection timeout occurs)// NOTE: could potentially take up to 0-30 seconds , blocking further code execution (more or less depending on connection, target site, and local timeout settings))// if $followredirects == false: return the FIRST known httpcode (ignore redirects)// if $followredirects == true : return the LAST known httpcode (when redirected)if(! $url ||! is_string($url)){returnfalse;}
$ch =@curl_init($url);if($ch ===false){returnfalse;}@curl_setopt($ch, CURLOPT_HEADER ,true);// we want headers@curl_setopt($ch, CURLOPT_NOBODY ,true);// dont need body@curl_setopt($ch, CURLOPT_RETURNTRANSFER ,true);// catch output (do NOT print!)if($followredirects){@curl_setopt($ch, CURLOPT_FOLLOWLOCATION ,true);@curl_setopt($ch, CURLOPT_MAXREDIRS ,10);// fairly random number, but could prevent unwanted endless redirects with followlocation=true}else{@curl_setopt($ch, CURLOPT_FOLLOWLOCATION ,false);}// @curl_setopt($ch, CURLOPT_CONNECTTIMEOUT ,5); // fairly random number (seconds)... but could prevent waiting forever to get a result// @curl_setopt($ch, CURLOPT_TIMEOUT ,6); // fairly random number (seconds)... but could prevent waiting forever to get a result// @curl_setopt($ch, CURLOPT_USERAGENT ,"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1"); // pretend we're a regular browser@curl_exec($ch);if(@curl_errno($ch)){// should be 0@curl_close($ch);returnfalse;}
$code =@curl_getinfo($ch, CURLINFO_HTTP_CODE);// note: php.net documentation shows this returns a string, but really it returns an int@curl_close($ch);return $code;}function getHttpResponseCode_using_getheaders($url, $followredirects =true){// returns string responsecode, or false if no responsecode found in headers (or url does not exist)// NOTE: could potentially take up to 0-30 seconds , blocking further code execution (more or less depending on connection, target site, and local timeout settings))// if $followredirects == false: return the FIRST known httpcode (ignore redirects)// if $followredirects == true : return the LAST known httpcode (when redirected)if(! $url ||! is_string($url)){returnfalse;}
$headers =@get_headers($url);if($headers && is_array($headers)){if($followredirects){// we want the the last errorcode, reverse array so we start at the end:
$headers = array_reverse($headers);}foreach($headers as $hline){// search for things like "HTTP/1.1 200 OK" , "HTTP/1.0 200 OK" , "HTTP/1.1 301 PERMANENTLY MOVED" , "HTTP/1.1 400 Not Found" , etc.// note that the exact syntax/version/output differs, so there is some string magic involved hereif(preg_match('/^HTTP\/\S+\s+([1-9][0-9][0-9])\s+.*/', $hline, $matches)){// "HTTP/*** ### ***"
$code = $matches[1];return $code;}}// no HTTP/xxx found in headers:returnfalse;}// no headers :returnfalse;}
z jakiegoś powodu getHttpResponseCode_using_curl () zawsze zwraca 200 w moim przypadku.
TD_Nijboer
2
jeśli ktoś ma ten sam problem, sprawdź dns-nameservers .. użyj opendns bez żadnych podążających za nimi przekierowań stackoverflow.com/a/11072947/1829460
TD_Nijboer
+1 za bycie jedyną odpowiedzią na przekierowania. Zmieniono na, return $codeaby if($code == 200){return true;} return false;uporządkować tylko sukcesy
Birrel
@PKHunter: Nie. Mój szybki regex preg_match był prostym przykładem i nie pasuje do wszystkich wymienionych tam adresów URL. Zobacz ten testowy adres URL: regex101.com/r/EpyDDc/2 Jeśli chcesz lepszy, zastąp go adresem wymienionym na twoim linku ( mathiasbynens.be/demo/url-regex ) od diegoperini; wydaje się pasować do wszystkich, zobacz ten link testowy
Ponieważ wiele osób poprosiło karim79 o naprawienie rozwiązania CURL, oto rozwiązanie, które zbudowałem dzisiaj.
/**
* Send an HTTP request to a the $url and check the header posted back.
*
* @param $url String url to which we must send the request.
* @param $failCodeList Int array list of code for which the page is considered invalid.
*
* @return Boolean
*/publicstaticfunction isUrlExists($url, array $failCodeList = array(404)){
$exists =false;if(!StringManager::stringStartWith($url,"http")and!StringManager::stringStartWith($url,"ftp")){
$url ="https://". $url;}if(preg_match(RegularExpression::URL, $url)){
$handle = curl_init($url);
curl_setopt($handle, CURLOPT_RETURNTRANSFER,true);
curl_setopt($handle, CURLOPT_SSL_VERIFYPEER,false);
curl_setopt($handle, CURLOPT_HEADER,true);
curl_setopt($handle, CURLOPT_NOBODY,true);
curl_setopt($handle, CURLOPT_USERAGENT,true);
$headers = curl_exec($handle);
curl_close($handle);if(empty($failCodeList)or!is_array($failCodeList)){
$failCodeList = array(404);}if(!empty($headers)){
$exists =true;
$headers = explode(PHP_EOL, $headers);foreach($failCodeList as $code){if(is_numeric($code)and strpos($headers[0], strval($code))!==false){
$exists =false;break;}}}}return $exists;}
Pozwól mi wyjaśnić opcje zwijania:
CURLOPT_RETURNTRANSFER : zwraca ciąg zamiast wyświetlać stronę wywołującą na ekranie.
CURLOPT_SSL_VERIFYPEER : cUrl nie pobierze certyfikatu
CURLOPT_HEADER : dołącz nagłówek do ciągu
CURLOPT_NOBODY : nie dołączaj ciała do ciągu
CURLOPT_USERAGENT : niektóre strony potrzebują tego do poprawnego działania (na przykład: https://plus.google.com )
Uwaga dodatkowa : w tej funkcji używam wyrażenia regularnego Diego Periniego do sprawdzania poprawności adresu URL przed wysłaniem żądania:
const URL ="%^(?:(?:https?|ftp)://)(?:\S+(?::\S*)?@|\d{1,3}(?:\.\d{1,3}){3}|(?:(?:[a-z\d\x{00a1}-\x{ffff}]+-?)*[a-z\d\x{00a1}-\x{ffff}]+)(?:\.(?:[a-z\d\x{00a1}-\x{ffff}]+-?)*[a-z\d\x{00a1}-\x{ffff}]+)*(?:\.[a-z\x{00a1}-\x{ffff}]{2,6}))(?::\d+)?(?:[^\s]*)?$%iu";//@copyright Diego Perini
Uwaga dodatkowa 2 : Rozbijam ciąg nagłówka i nagłówki użytkownika [0], aby upewnić się, że sprawdzam tylko kod powrotu i komunikat (przykład: 200, 404, 405 itd.)
Uwaga dodatkowa 3 : Czasami sprawdzenie tylko kodu 404 nie wystarczy (patrz test jednostkowy), więc istnieje opcjonalny parametr $ failCodeList, aby dostarczyć całą listę kodów do odrzucenia.
I, oczywiście, oto test jednostkowy (w tym wszystkie popularne sieci społecznościowe), który potwierdza moje kodowanie:
dostaję ten wyjątek, gdy adres URL istnieje: Nie można wywołać CURLOPT_HEADERFUNCTION
safiot
3
Wszystkie powyższe rozwiązania + dodatkowy cukier. (Najlepsze rozwiązanie AIO)
/**
* Check that given URL is valid and exists.
* @param string $url URL to check
* @return bool TRUE when valid | FALSE anyway
*/function urlExists ( $url ){// Remove all illegal characters from a url
$url = filter_var($url, FILTER_SANITIZE_URL);// Validate URIif(filter_var($url, FILTER_VALIDATE_URL)=== FALSE
// check only for http/https schemes.||!in_array(strtolower(parse_url($url, PHP_URL_SCHEME)),['http','https'],true)){returnfalse;}// Check that URL exists
$file_headers =@get_headers($url);return!(!$file_headers || $file_headers[0]==='HTTP/1.1 404 Not Found');}
Oto rozwiązanie, które odczytuje tylko pierwszy bajt kodu źródłowego ... zwracanie wartości false, jeśli plik_get_contents zawiedzie ... Będzie to również działać dla zdalnych plików takich jak obrazy.
function urlExists($url){if(@file_get_contents($url,false,NULL,0,1)){returntrue;}returnfalse;}
Innym sposobem sprawdzenia, czy adres URL jest prawidłowy, może być:
<?php
if(isValidURL("http://www.gimepix.com")){
echo "URL is valid...";}else{
echo "URL is not valid...";}function isValidURL($url){
$file_headers =@get_headers($url);if(strpos($file_headers[0],"200 OK")>0){returntrue;}else{returnfalse;}}?>
get_headers () zwraca tablicę z nagłówkami wysłanymi przez serwer w odpowiedzi na żądanie HTTP.
$image_path ='https://your-domain.com/assets/img/image.jpg';
$file_headers =@get_headers($image_path);//Prints the response out in an array//print_r($file_headers); if($file_headers[0]=='HTTP/1.1 404 Not Found'){
echo 'Failed because path does not exist.</br>';}else{
echo 'It works. Your good to go!</br>';}
Jedną rzeczą, którą należy wziąć pod uwagę przy sprawdzaniu nagłówka dla 404, jest przypadek, gdy witryna nie generuje od razu 404.
Wiele witryn sprawdza, czy strona istnieje w źródle PHP / ASP (et cetera) i przekierowuje do strony 404. W takich przypadkach nagłówek jest zasadniczo przedłużany o nagłówek 404, który jest generowany. W takich przypadkach błąd 404 nie jest w pierwszym wierszu nagłówka, ale w dziesiątym.
Przeprowadzam kilka testów, aby sprawdzić, czy linki w mojej witrynie są prawidłowe - ostrzega mnie, gdy osoby trzecie zmieniają swoje linki. Miałem problem z witryną, która miała źle skonfigurowany certyfikat, co oznaczało, że get_headers php nie działa.
Więc przeczytałem, że curl był szybszy i postanowiłem spróbować. wtedy miałem problem z linkedin, który dał mi błąd 999, który okazał się być problemem użytkownika użytkownika.
Nie obchodziło mnie, czy certyfikat nie jest ważny dla tego testu i nie obchodziło mnie, czy odpowiedź była przekierowaniem.
Potem pomyślałem, że i tak używam get_headers, jeśli curl zawodzi ....
Dać mu szansę....
/**
* returns true/false if the $url is present.
*
* @param string $url assumes this is a valid url.
*
* @return bool
*/privatefunction url_exists (string $url):bool{
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_NOBODY, TRUE);// this does a head request to make it faster.
curl_setopt($ch, CURLOPT_HEADER, TRUE);// just the headers
curl_setopt($ch, CURLOPT_SSL_VERIFYSTATUS, FALSE);// turn off that pesky ssl stuff - some sys admins can't get it right.
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);// set a real user agent to stop linkedin getting upset.
curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36');
curl_exec($ch);
$http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);if(($http_code >= HTTP_OK && $http_code < HTTP_BAD_REQUEST)|| $http_code ===999){
curl_close($ch);return TRUE;}
$error = curl_error($ch);// used for debugging.
curl_close($ch);// just try the get_headers - it might work!
stream_context_set_default(array('http'=> array('method'=>'HEAD')));
$file_headers =@get_headers($url);if($file_headers){
$response_code = substr($file_headers[0],9,3);return $response_code >=200&& $response_code <400;}return FALSE;}
Odpowiedzi:
Tutaj:
Od tutaj i tuż poniżej powyższego postu, tam curl rozwiązanie:
źródło
$file_headers[0]
strony błędów. na przykład youtube.com. jego strona błędu ma tę wartość jakoHTTP/1.0 404 Not Found
(różnica wynosi 1,0 i 1,1). co wtedy robić?strpos($headers[0], '404 Not Found')
może załatwić sprawęstrpos($headers[0], '404')
jest lepsze!Przy ustalaniu, czy istnieje adres URL z php, należy zwrócić uwagę na kilka rzeczy:
Należy pamiętać, że niezależnie od zastosowanej metody oczekiwanie na odpowiedź wymaga czasu.
Cały kod może (i prawdopodobnie zostanie) zatrzymany, dopóki nie dowiesz się o wyniku lub nie upłynął limit czasu żądań.
Na przykład: poniższy kod może długo wyświetlać stronę, jeśli adresy URL są nieprawidłowe lub nieosiągalne:
Poniższe funkcje mogą być pomocne, prawdopodobnie chcesz je zmodyfikować zgodnie z własnymi potrzebami:
źródło
return $code
abyif($code == 200){return true;} return false;
uporządkować tylko sukcesywięc za każdym razem, gdy skontaktujesz się ze stroną internetową i zdobędziesz coś innego niż 200 ok, będzie działać
źródło
return strpos(@get_headers($url)[0],'200') === false ? false : true
. Może się przydać.nie możesz używać curl na niektórych serwerach. Możesz użyć tego kodu
źródło
źródło
źródło
Korzystam z tej funkcji:
źródło
Rozwiązanie get_headers () karim79 nie zadziałało, ponieważ uzyskałem szalone wyniki na Pinterest.
W każdym razie ten programista pokazuje, że cURL jest znacznie szybszy niż get_headers ():
http://php.net/manual/fr/function.get-headers.php#104723
Ponieważ wiele osób poprosiło karim79 o naprawienie rozwiązania CURL, oto rozwiązanie, które zbudowałem dzisiaj.
Pozwól mi wyjaśnić opcje zwijania:
CURLOPT_RETURNTRANSFER : zwraca ciąg zamiast wyświetlać stronę wywołującą na ekranie.
CURLOPT_SSL_VERIFYPEER : cUrl nie pobierze certyfikatu
CURLOPT_HEADER : dołącz nagłówek do ciągu
CURLOPT_NOBODY : nie dołączaj ciała do ciągu
CURLOPT_USERAGENT : niektóre strony potrzebują tego do poprawnego działania (na przykład: https://plus.google.com )
Uwaga dodatkowa : w tej funkcji używam wyrażenia regularnego Diego Periniego do sprawdzania poprawności adresu URL przed wysłaniem żądania:
Uwaga dodatkowa 2 : Rozbijam ciąg nagłówka i nagłówki użytkownika [0], aby upewnić się, że sprawdzam tylko kod powrotu i komunikat (przykład: 200, 404, 405 itd.)
Uwaga dodatkowa 3 : Czasami sprawdzenie tylko kodu 404 nie wystarczy (patrz test jednostkowy), więc istnieje opcjonalny parametr $ failCodeList, aby dostarczyć całą listę kodów do odrzucenia.
I, oczywiście, oto test jednostkowy (w tym wszystkie popularne sieci społecznościowe), który potwierdza moje kodowanie:
Wielki sukces dla wszystkich,
Jonathan Parent-Lévesque z Montrealu
źródło
źródło
całkiem szybko:
źródło
Wszystkie powyższe rozwiązania + dodatkowy cukier. (Najlepsze rozwiązanie AIO)
Przykład:
źródło
aby sprawdzić, czy adres URL jest online czy offline ---
źródło
źródło
Oto rozwiązanie, które odczytuje tylko pierwszy bajt kodu źródłowego ... zwracanie wartości false, jeśli plik_get_contents zawiedzie ... Będzie to również działać dla zdalnych plików takich jak obrazy.
źródło
najprostszym sposobem jest zwijanie się (i SZYBCIEJ)
źródło
Innym sposobem sprawdzenia, czy adres URL jest prawidłowy, może być:
źródło
get_headers () zwraca tablicę z nagłówkami wysłanymi przez serwer w odpowiedzi na żądanie HTTP.
źródło
cURL może zwrócić kod HTTP Nie sądzę, aby cały ten dodatkowy kod był potrzebny?
źródło
Jedną rzeczą, którą należy wziąć pod uwagę przy sprawdzaniu nagłówka dla 404, jest przypadek, gdy witryna nie generuje od razu 404.
Wiele witryn sprawdza, czy strona istnieje w źródle PHP / ASP (et cetera) i przekierowuje do strony 404. W takich przypadkach nagłówek jest zasadniczo przedłużany o nagłówek 404, który jest generowany. W takich przypadkach błąd 404 nie jest w pierwszym wierszu nagłówka, ale w dziesiątym.
źródło
Przeprowadzam kilka testów, aby sprawdzić, czy linki w mojej witrynie są prawidłowe - ostrzega mnie, gdy osoby trzecie zmieniają swoje linki. Miałem problem z witryną, która miała źle skonfigurowany certyfikat, co oznaczało, że get_headers php nie działa.
Więc przeczytałem, że curl był szybszy i postanowiłem spróbować. wtedy miałem problem z linkedin, który dał mi błąd 999, który okazał się być problemem użytkownika użytkownika.
Nie obchodziło mnie, czy certyfikat nie jest ważny dla tego testu i nie obchodziło mnie, czy odpowiedź była przekierowaniem.
Potem pomyślałem, że i tak używam get_headers, jeśli curl zawodzi ....
Dać mu szansę....
źródło
rodzaj starego wątku, ale .. robię to:
źródło