|
|
|
Supreme Being
участник
Last Login: 25.05.2003 20:08
Сообщ.: 125,
Visits: 1 376
|
|
Я пишу поисковую машину для своей организации. LWP вытравливает странички с вэба, но вот беда - некоторые сайты не позволяют "hotlinks" - и я не могу скачать их документы.
Вопрос: можно ли подменить $ENV{'HTTP_REFERER'} чтобы сервер с которого я скачиваю отдал документ без проблем?
|
|
|
|
|
Supreme Being
участник
Last Login: 25.05.2003 20:08
Сообщ.: 125,
Visits: 1 376
|
|
Сам разобрался, вот решение:
$server="www.some.com";
$port="80";
$path="http://www.some.com/fuck.htm";
$socket=IO::Socket::INET->new( PeerAddr => $server, PeerPort => $port, Proto => "tcp")
or die print "Unable to connect to $server:$port";
print $socket "GET $path HTTP/1.1";
print $socket "Host: $server";
print $socket "Accept: *.*";
print $socket "Accept: text/html";
print $socket "Referer: www.microsoft.com";
print $socket "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)";
@buffer=<$socket>;
|
|
|
|
|
Junior Member
участник
Last Login: 13.01.2007 12:32
Сообщ.: 12,
Visits: 139
|
|
Есть отличный готовый скрипт поиска,
http://www.dataparksearch.org/
|
|
|
|