/blog/perl


substr() in Perl
[133074 mal gelesen]
foreach in Perl
[119704 mal gelesen]
Arrays in Perl - Besonderheiten
[113471 mal gelesen]
open() - Dateien öffnen in Perl
[100556 mal gelesen]
split() in Perl - Zeichenketten teilen
[95460 mal gelesen]
chomp() in Perl
[87274 mal gelesen]
grep - Listen durchsuchen in Perl
[84510 mal gelesen]
push in Perl
[82213 mal gelesen]
sleep in Perl - Das aktuelle Script warten lassen
[64906 mal gelesen]
print in Perl
[51482 mal gelesen]


Arrays
Dateien
HTPC
Hashes
Leistungsoptimiert
PHP
Perl
RegEx
Schleifen
Script
Skalare
Sonstiges
System
Webserver
Zur Startseite


Mittwoch, 20.6.2007, 11:45:35 Uhr

head einer Webseite einlesen mit Statuscode



Also ich hab mich ja hier schon mal darüber ausgelassen, wie man bei LWP::Simple das timeout von LWP::UserAgent einbindet. Grund damals war, daß ich per head die Kopfdaten, wie zum Beispiel die Länge des Dokumentes haben wollte.
Nun, etwas Zeit ist vergangen, und inzwischen hab ich festgestellt, daß manche Server anonyme Anfragen blocken. Außerdem wäre es sinnig, den Statuscode zu kriegen, wenn z.B die Seite down ist.

Ich hab da einiges gesucht bei Google über LWP::Simple und bin zu keinem Ergebnis gekommen.
Wohl aber mit LWP::UserAgent!


use LWP::UserAgent;
$url="http://www.testseite.de";
my $ua = LWP::UserAgent->new();
$ua->timeout(20);
$ua->agent('Mozilla/4.7 [en] (WinNT; I) [Netscape]');
my $request = HTTP::Request->new('HEAD', $url);

my $response = $ua->request($request);

my $status=$response->code;
#print "HTTP-Status-Antwort-Header as string: ",$response->headers_as_string() , "\n";
my $document_length = $response->content_length;
my $modified_time= $response->last_modified;

if ($status < 200 || $status >=300){
print "\nStatus: $status\n";
exit;
}

print <<EOF;
Status: $status
Datei-Groesse: $document_length
letzte Änderung: $modified_time
EOF


Also, wie gehts?
Zu Beginn wird der UserAgent geladen. Der UserAgent ist übrigens so etwas wie ein simulierter Webbrowser in Perl, der all das machen kann, was man auch in einem echten Webbrowser machen kann.
Per timeout von 20 Sekunden legt man fest, daß nach 20 Sekunden abgebrochen werden soll.
Per agent legt man fest, daß Perl sich als zum Beispiel Mozilla/4.7 [en] (WinNT; I) [Netscape] ausgibt. Dies verhindert, daß manche Webseiten den Zugriff blockieren.
Schließlich bereitet man per HTTP::Request->new('HEAD', $url); den Zugriff abschließend vor und führt ihn per $ua->request($request); durch.
In $response erhält man nun die Daten, die die Seite zurückgibt, und zwar als einen Zeiger auf ein HTTP::Headers-Objekt. Sehr technisch das Ganze, ich weiß...
Auf jeden Fall kann man jetzt ganz einfach per

my $status=$response->code;
my $document_length = $response->content_length;
my $modified_time= $response->last_modified;


zum Beispiel den Statuscode der Seite (404, 200 oder sonstwas), die Dokumentlänge und die letzte Änderungszeit am Dokument erfahren.


Interessante weiter Head-Elemente, die der fremde Server zurückgibt:
$response->expires
Gibt an, wann ein Dokument als verfallen gilt

$response->content_type
Gibt die Art des Inhaltes der fremden Seite zurück, z.B. text/hml.

$response->title
Den Title des Dokumentes zwischen <title> und </title>

$response->server
Informationen über den fremden Server



Thema: Perl Webserver

Der Beitrag "head einer Webseite einlesen mit Statuscode" wurde 6572 mal gelesen.

Es wurde 4 x über diesen Beitrag abgestimmt.
Die durchschnittliche Beurteilung liegt bei
2 (1 = sehr gut - 6 = grottenschlecht).

Kommentar schreiben  Druckansicht  Seitenanfang 
Beurteilen 






 Zufällige Beiträge im /blog/perl

Firefox 3 - Exe-Files downloaden

Doppelte Einträge aus Array entfernen in Perl

Interessante Schreibweisen in Perl

Elemente eines Arrays in einem Hash löschen - Die schnelle Methode

rename in Perl - Dateien umbenennen

Nochmal Dateien suchen - diesmal auch in Unterverzeichnissen

How can I extract just the unique elements of an array?

Wie vermeide ich Fehler in Perl - strict

rand() - Zufallszahl ermitteln in Perl

Fortgeschrittenes beschreiben von Dateien



0.0185620784759521 sec. to build



...Blogsoftware in pure Perl - Powered by a lot of Coffee...


SSD-Festplatte - Wassn das???
Die Transliteration - Nur ein Zeichen in einem Skalar ersetzen
Select - Case in Perl
Windows 7 XP Mode – Wo finde ich den XP-Modus unter Windows 7?
Mac-Adresse beim Apple Macintosh herausfinden
SGN-Funktion für Perl
truncate - Dateigröße verändern in Perl
Eigene IP herausfinden mit Perl
Epoche live in Datum umwandeln
Firefox 3 - Exe-Files downloaden


Von: Hummel
Kommentar:
@ Peter

Zum Beitrag


Von: Fabian
Kommentar:
Hallo zusammen,
ich suche schon etwas im Internet und bin bisher nicht fündig geworden.
Zum Beitrag


Von: Schorschel eastcoast
Kommentar:
Danke. Das hat mir weitergeholfen.
Zum Beitrag


Von: Jessica
Kommentar:
Kann man auch zwei Datein parallel einlesen?

Zum Beitrag


Von: Xtravaganz
Kommentar:
Für

Zum Beitrag



Gesamtverzeichnis
Februar 2010
Dezember 2009
Oktober 2009
Januar 2009
Dezember 2008
November 2008
September 2008
August 2008
Juli 2008
Juni 2008
Mai 2008
April 2008
Januar 2008
Dezember 2007
November 2007
Oktober 2007
September 2007
August 2007
Juni 2007
Mai 2007
April 2007
März 2007
Februar 2007
Januar 2007
Dezember 2006


Mister Wong

RSS-Feed

Heute ist der
18.7.2019

Es ist
5:19:43 Uhr

Ihre IP:
18.206.241.26

Blog-Einträge: 186

Die letzten 24 Stunden im Überblick


Gelesene Beiträge insgesamt:
3841283


Webseiten vergleichen
Kalender mit Feiertagen - 2028
Links finden und testen
Menschliche Datumsangaben
IP zu Domain herausfinden
Time live in Datum umwandeln
Perl für Windows



Mo Di Mi Do Fr Sa So
1234567
891011121314
15161718192021
22232425262728
293031

Impressum