/blog/perl


substr() in Perl
[128772 mal gelesen]
foreach in Perl
[117356 mal gelesen]
Arrays in Perl - Besonderheiten
[110592 mal gelesen]
open() - Dateien öffnen in Perl
[98607 mal gelesen]
split() in Perl - Zeichenketten teilen
[90853 mal gelesen]
chomp() in Perl
[85342 mal gelesen]
grep - Listen durchsuchen in Perl
[82613 mal gelesen]
push in Perl
[79804 mal gelesen]
sleep in Perl - Das aktuelle Script warten lassen
[62351 mal gelesen]
print in Perl
[50332 mal gelesen]


Arrays
Dateien
HTPC
Hashes
Leistungsoptimiert
PHP
Perl
RegEx
Schleifen
Script
Skalare
Sonstiges
System
Webserver
Zur Startseite


Mittwoch, 20.6.2007, 11:45:35 Uhr

head einer Webseite einlesen mit Statuscode



Also ich hab mich ja hier schon mal darüber ausgelassen, wie man bei LWP::Simple das timeout von LWP::UserAgent einbindet. Grund damals war, daß ich per head die Kopfdaten, wie zum Beispiel die Länge des Dokumentes haben wollte.
Nun, etwas Zeit ist vergangen, und inzwischen hab ich festgestellt, daß manche Server anonyme Anfragen blocken. Außerdem wäre es sinnig, den Statuscode zu kriegen, wenn z.B die Seite down ist.

Ich hab da einiges gesucht bei Google über LWP::Simple und bin zu keinem Ergebnis gekommen.
Wohl aber mit LWP::UserAgent!


use LWP::UserAgent;
$url="http://www.testseite.de";
my $ua = LWP::UserAgent->new();
$ua->timeout(20);
$ua->agent('Mozilla/4.7 [en] (WinNT; I) [Netscape]');
my $request = HTTP::Request->new('HEAD', $url);

my $response = $ua->request($request);

my $status=$response->code;
#print "HTTP-Status-Antwort-Header as string: ",$response->headers_as_string() , "\n";
my $document_length = $response->content_length;
my $modified_time= $response->last_modified;

if ($status < 200 || $status >=300){
print "\nStatus: $status\n";
exit;
}

print <<EOF;
Status: $status
Datei-Groesse: $document_length
letzte Änderung: $modified_time
EOF


Also, wie gehts?
Zu Beginn wird der UserAgent geladen. Der UserAgent ist übrigens so etwas wie ein simulierter Webbrowser in Perl, der all das machen kann, was man auch in einem echten Webbrowser machen kann.
Per timeout von 20 Sekunden legt man fest, daß nach 20 Sekunden abgebrochen werden soll.
Per agent legt man fest, daß Perl sich als zum Beispiel Mozilla/4.7 [en] (WinNT; I) [Netscape] ausgibt. Dies verhindert, daß manche Webseiten den Zugriff blockieren.
Schließlich bereitet man per HTTP::Request->new('HEAD', $url); den Zugriff abschließend vor und führt ihn per $ua->request($request); durch.
In $response erhält man nun die Daten, die die Seite zurückgibt, und zwar als einen Zeiger auf ein HTTP::Headers-Objekt. Sehr technisch das Ganze, ich weiß...
Auf jeden Fall kann man jetzt ganz einfach per

my $status=$response->code;
my $document_length = $response->content_length;
my $modified_time= $response->last_modified;


zum Beispiel den Statuscode der Seite (404, 200 oder sonstwas), die Dokumentlänge und die letzte Änderungszeit am Dokument erfahren.


Interessante weiter Head-Elemente, die der fremde Server zurückgibt:
$response->expires
Gibt an, wann ein Dokument als verfallen gilt

$response->content_type
Gibt die Art des Inhaltes der fremden Seite zurück, z.B. text/hml.

$response->title
Den Title des Dokumentes zwischen <title> und </title>

$response->server
Informationen über den fremden Server



Thema: Perl Webserver

Der Beitrag "head einer Webseite einlesen mit Statuscode" wurde 6377 mal gelesen.

Es wurde 4 x über diesen Beitrag abgestimmt.
Die durchschnittliche Beurteilung liegt bei
2 (1 = sehr gut - 6 = grottenschlecht).

Kommentar schreiben  Druckansicht  Seitenanfang 
Beurteilen 






 Zufällige Beiträge im /blog/perl

Interessante Schreibweisen in Perl

Subsystem für Unix-basierte Anwendungen in Windows Vista

binmode() - Dateien binär behandeln in Perl

Nochmal Reverse - Diesmal für Zeichenketten

Datei durchsuchen mit Flip-Flop-Funktion

tell - Die Position eines Dateizeigers ermitteln

Verknüpfung zu Flip 3D wiederherstellen

IP-Adresse anhand des Domainnamens herausfinden

Doppelte Elemente aus Array entfernen - Und die Reihenfolge beibehalten!



0.0202140808105469 sec. to build



...Blogsoftware in pure Perl - Powered by a lot of Coffee...


SSD-Festplatte - Wassn das???
Die Transliteration - Nur ein Zeichen in einem Skalar ersetzen
Select - Case in Perl
Windows 7 XP Mode – Wo finde ich den XP-Modus unter Windows 7?
Mac-Adresse beim Apple Macintosh herausfinden
SGN-Funktion für Perl
truncate - Dateigröße verändern in Perl
Eigene IP herausfinden mit Perl
Epoche live in Datum umwandeln
Firefox 3 - Exe-Files downloaden


Von: Fabian
Kommentar:
Hallo zusammen,
ich suche schon etwas im Internet und bin bisher nicht fündig geworden.
Zum Beitrag


Von: Schorschel eastcoast
Kommentar:
Danke. Das hat mir weitergeholfen.
Zum Beitrag


Von: Jessica
Kommentar:
Kann man auch zwei Datein parallel einlesen?

Zum Beitrag


Von: Xtravaganz
Kommentar:
Für

Zum Beitrag


Von: Xtravaganz
Kommentar:
Für

Zum Beitrag



Gesamtverzeichnis
Februar 2010
Dezember 2009
Oktober 2009
Januar 2009
Dezember 2008
November 2008
September 2008
August 2008
Juli 2008
Juni 2008
Mai 2008
April 2008
Januar 2008
Dezember 2007
November 2007
Oktober 2007
September 2007
August 2007
Juni 2007
Mai 2007
April 2007
März 2007
Februar 2007
Januar 2007
Dezember 2006


Mister Wong

RSS-Feed

Heute ist der
14.11.2018

Es ist
23:28:42 Uhr

Ihre IP:
54.82.79.137

Blog-Einträge: 186

Die letzten 24 Stunden im Überblick


Gelesene Beiträge insgesamt:
3740774


Webseiten vergleichen
Kalender mit Feiertagen - 2028
Links finden und testen
Menschliche Datumsangaben
IP zu Domain herausfinden
Time live in Datum umwandeln
Perl für Windows



Mo Di Mi Do Fr Sa So
1234
567891011
12131415161718
19202122232425
2627282930

Impressum