Блог одного человека

Зачастую вебмастера редко смотрят на уже готовые сайты, тем более если их обновляют другие люди. Просто статы по заработку смотреть куда приятнее чем полсотню своих сайтов где ты не найдешь ничешь нового. Из-за этого можно не вовремя отследить какой-нибудь косяк. Например база отвалилась либо с сервом неполадки, либо ip сайта умер, либо затупили ns сервера- в общем проблем хватает, да и я с такими сталкивался не раз.

Выход- каждый день просматривать сайты?? - нет. Это жестко, да и времени на это нет.

Если не нужно проверять дизайн, либо проверять контент - а нужно удостовериться что сайт работает- то нужно напистаь робота которые за тебя это бы все сделал.

Ну и вот я не долго думаю набросал скрипт опроса сайтов. Суть в том чтобы проверять хедеры отдаваемые страницей если к примеру 404 и 503, то алярма) если 200 либо редиректы - то ок) ну в кратце принцип простой...
Вот собственно и скрипт:

$recipient = "test@example.com";//мыло для отправки
$mode=1; //если 0, то отправляютья все отчеты, если 1 то только в случае недоступности сайтов
$sites=file('sites.txt'); //берем из файла сайтами
$user_agent='Yandex/1.01.001 (compatible; Win16; I)'; //мы яндекс =)
foreach ($sites as $k=>$v)
{
 
	if(!ereg("http://",$v)) //предохраняемся на случай неверного формата URL
		$url ="http://".$v;
 
	$ch = curl_init();
	curl_setopt($ch, CURLOPT_URL, $url);
	curl_setopt($ch, CURLOPT_HEADER, 1);
	curl_setopt($ch, CURLOPT_NOBODY, 1);
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
	curl_setopt($ch, CURLOPT_USERAGENT, $user_agent);
	$res = curl_exec($ch);
	curl_close($ch);
	$temp_res=explode("\n",$res);
 
	if(!ereg("301",$temp_res[0]) && !ereg("302",$temp_res[0]) && !ereg("200",$temp_res[0])) //если не ок и не редиректы
		$out['bad'][]=$url;
	else
		$out['good'][]=$url;
	sleep(rand(1,15)); //поспим чтобы хостер, такие как Мастерхост не пытались залочить при большом объеме сайтов
 
}
$email = "alert@site.com";
$name ='Sites report';
$subject = "Sites report -".date("Y.m.d");
$header = "From: ". $name . " <" . $email . ">\r\n";
if($mode)
{
	if(count($out['bad']))
		$mail_body ="Bad sites :\n".implode("\n",$out['bad']);
 
}
else
	$mail_body ="Bad sites :\n".implode("\n",$out['bad'])."\n\n Good sites:\n".implode("\n",$out['good']);
 
if($mail_body) //Отсылаем если данные есть
	mail($recipient, $subject, $mail_body, $header);

Теперь осталось только поставить его на выполнение! Для этого юзаем серверную утилиту crontab.
Для безопасности делаем следующее:

• лезем на свой сервер через shell
• набираем crontab -l
• копируем все что он выдал в файл (к примеру cron.txt)
• дописыаем в файл скроку для нашего скрипта
• закидываем файл на сервер
• в командной строке пишем crontab cron.txt и если все сделали верно- то ко всем прояим вашим, либо системным скриптам добавить и на выполнение наш скрипт. Далее про все это следует звбыть и наслаждыться результатом, пополняя файл новыми сайтами на проверку

Строка добавления в крон (поставим проверять на каждые 2 часа)

0 */1 * * * /usr/local/bin/php /www/domain.com/site_tester.php > /dev/null 2>&1

где /usr/local/bin/php путь до php
/www/domain.com/site_tester.php - путь до скрипта на сервере

Подробнее про cron можно посмотреть сдесь и сдесь

Для работы скрипта на сервере должна быть установлена библиотека CURL

Если есть предложения и рекомендации по этому скрипту- буду рад услышать) Но на самом деле вещь простая, но довольно полезная.