/blog/perl


substr() in Perl
[149352 mal gelesen]
foreach in Perl
[127624 mal gelesen]
Arrays in Perl - Besonderheiten
[122822 mal gelesen]
split() in Perl - Zeichenketten teilen
[110643 mal gelesen]
open() - Dateien öffnen in Perl
[107521 mal gelesen]
grep - Listen durchsuchen in Perl
[92649 mal gelesen]
chomp() in Perl
[92397 mal gelesen]
push in Perl
[89350 mal gelesen]
sleep in Perl - Das aktuelle Script warten lassen
[74058 mal gelesen]
index() in Perl - Zeichenkette in Zeichenkette suchen
[57004 mal gelesen]


Arrays
Dateien
HTPC
Hashes
Leistungsoptimiert
PHP
Perl
RegEx
Schleifen
Script
Skalare
Sonstiges
System
Webserver
Zur Startseite


Mittwoch, 20.6.2007, 11:45:35 Uhr

head einer Webseite einlesen mit Statuscode



Also ich hab mich ja hier schon mal darüber ausgelassen, wie man bei LWP::Simple das timeout von LWP::UserAgent einbindet. Grund damals war, daß ich per head die Kopfdaten, wie zum Beispiel die Länge des Dokumentes haben wollte.
Nun, etwas Zeit ist vergangen, und inzwischen hab ich festgestellt, daß manche Server anonyme Anfragen blocken. Außerdem wäre es sinnig, den Statuscode zu kriegen, wenn z.B die Seite down ist.

Ich hab da einiges gesucht bei Google über LWP::Simple und bin zu keinem Ergebnis gekommen.
Wohl aber mit LWP::UserAgent!


use LWP::UserAgent;
$url="http://www.testseite.de";
my $ua = LWP::UserAgent->new();
$ua->timeout(20);
$ua->agent('Mozilla/4.7 [en] (WinNT; I) [Netscape]');
my $request = HTTP::Request->new('HEAD', $url);

my $response = $ua->request($request);

my $status=$response->code;
#print "HTTP-Status-Antwort-Header as string: ",$response->headers_as_string() , "\n";
my $document_length = $response->content_length;
my $modified_time= $response->last_modified;

if ($status < 200 || $status >=300){
print "\nStatus: $status\n";
exit;
}

print <<EOF;
Status: $status
Datei-Groesse: $document_length
letzte Änderung: $modified_time
EOF


Also, wie gehts?
Zu Beginn wird der UserAgent geladen. Der UserAgent ist übrigens so etwas wie ein simulierter Webbrowser in Perl, der all das machen kann, was man auch in einem echten Webbrowser machen kann.
Per timeout von 20 Sekunden legt man fest, daß nach 20 Sekunden abgebrochen werden soll.
Per agent legt man fest, daß Perl sich als zum Beispiel Mozilla/4.7 [en] (WinNT; I) [Netscape] ausgibt. Dies verhindert, daß manche Webseiten den Zugriff blockieren.
Schließlich bereitet man per HTTP::Request->new('HEAD', $url); den Zugriff abschließend vor und führt ihn per $ua->request($request); durch.
In $response erhält man nun die Daten, die die Seite zurückgibt, und zwar als einen Zeiger auf ein HTTP::Headers-Objekt. Sehr technisch das Ganze, ich weiß...
Auf jeden Fall kann man jetzt ganz einfach per

my $status=$response->code;
my $document_length = $response->content_length;
my $modified_time= $response->last_modified;


zum Beispiel den Statuscode der Seite (404, 200 oder sonstwas), die Dokumentlänge und die letzte Änderungszeit am Dokument erfahren.


Interessante weiter Head-Elemente, die der fremde Server zurückgibt:
$response->expires
Gibt an, wann ein Dokument als verfallen gilt

$response->content_type
Gibt die Art des Inhaltes der fremden Seite zurück, z.B. text/hml.

$response->title
Den Title des Dokumentes zwischen <title> und </title>

$response->server
Informationen über den fremden Server



Thema: Perl Webserver

Der Beitrag "head einer Webseite einlesen mit Statuscode" wurde 7950 mal gelesen.

Es wurde 4 x über diesen Beitrag abgestimmt.
Die durchschnittliche Beurteilung liegt bei
2 (1 = sehr gut - 6 = grottenschlecht).

Kommentar schreiben  Druckansicht  Seitenanfang 
Beurteilen 






 Zufällige Beiträge im /blog/perl

Groß-Kleinschreibung in Regular Expression ändern

Vordefinierte Variablen in Perl

Alternativen in regulären Ausdrücken - Oder-Suche mit RegEx

Reguläre Ausdrücke - Einfache Suche mit gemischten Zeichen

Nochmal Links testen - mein Modul für Perl

Mein HTPC - Weitere Erfahrungen

Windows Vista - Systemsteuerung

Schleifen mit for in Perl

Skalare in Perl

Auch von mir ein frohes neues Jahr 2008



0.0277619361877441 sec. to build



...Blogsoftware in pure Perl - Powered by a lot of Coffee...


SSD-Festplatte - Wassn das???
Die Transliteration - Nur ein Zeichen in einem Skalar ersetzen
Select - Case in Perl
Windows 7 XP Mode – Wo finde ich den XP-Modus unter Windows 7?
Mac-Adresse beim Apple Macintosh herausfinden
SGN-Funktion für Perl

Eigene IP herausfinden mit Perl
Epoche live in Datum umwandeln
Firefox 3 - Exe-Files downloaden


Gesamtverzeichnis
Februar 2010
Dezember 2009
Oktober 2009
Januar 2009
Dezember 2008
November 2008
September 2008
August 2008
Juli 2008
Juni 2008
Mai 2008
April 2008
Januar 2008
Dezember 2007
November 2007
Oktober 2007
September 2007
August 2007
Juni 2007
Mai 2007
April 2007
März 2007
Februar 2007
Januar 2007
Dezember 2006


Mister Wong

RSS-Feed

Heute ist der
1.10.2022

Es ist
14:15:50 Uhr

Ihre IP:
44.200.137.63

Blog-Einträge: 186

Die letzten 24 Stunden im Überblick


Gelesene Beiträge insgesamt:
4286547


Webseiten vergleichen
Kalender mit Feiertagen - 2028
Links finden und testen
Menschliche Datumsangaben
IP zu Domain herausfinden
Time live in Datum umwandeln
Perl für Windows



Impressum