/blog/perl


substr() in Perl
[128772 mal gelesen]
foreach in Perl
[117356 mal gelesen]
Arrays in Perl - Besonderheiten
[110592 mal gelesen]
open() - Dateien öffnen in Perl
[98607 mal gelesen]
split() in Perl - Zeichenketten teilen
[90853 mal gelesen]
chomp() in Perl
[85342 mal gelesen]
grep - Listen durchsuchen in Perl
[82613 mal gelesen]
push in Perl
[79804 mal gelesen]
sleep in Perl - Das aktuelle Script warten lassen
[62351 mal gelesen]
print in Perl
[50332 mal gelesen]


Arrays
Dateien
HTPC
Hashes
Leistungsoptimiert
PHP
Perl
RegEx
Schleifen
Script
Skalare
Sonstiges
System
Webserver
Zur Startseite


Freitag, 25.5.2007, 13:20:04 Uhr

LWP::Simple mit timeout-Funktion


Was hab ich mich heute geärgert, weil ein Script, das externe Seiten einliest, bei LWP::Simple immer 180 Sekunden wartet, falls die Seite nicht erreichbar ist. Bei LWP::UserAgent gibts ne timeout-Einstellung, aber bei LWP::Simple laut Doku nicht.
Also mal zum Beispiel ein Code mit LWP::Useragent

use LWP::UserAgent;

my $link='http://www.testmich.de';

$agent = LWP::UserAgent->new;
$agent->timeout(20);
$agent->agent('Mozilla/4.7 [en] (WinNT; I) [Netscape]');
my $request = HTTP::Request->new('GET',$link);
$request ->header( 'Referer' => 'http://www.google.de');
my $result = $agent->request($request);
$seiteninhalt= $result->content();


Wie man sieht, wartet das Script 20 Sekunden, bevor es abbricht.
Übrigens so am Rande: Die Einstellungen agent und header "sagen" dem fremden Server, ich wär der Mozilla und käme von Google, da ich festgestellt habe daß inzwischen viele Seiten keine Infos rausrücken, wenn man inkognito kommt. Aber wie gesagt, das nur am Rande.

Bei LWP::Simple würde es dann so aussehen, allerdings ohne Referer und Agentennamen

use LWP::Simple;
$webpage='http://www.testmich.de';
if (head($webpage)){print "$webpage exists and server is up!\n";
$inhalt=get $webpage;
} else { print "$webpage is down";}



So, und wenn nun die Zielseite offline ist, kann (muß) man per Defaulteinstellung von LWP::Simple 180 Sekunden warten, bis es weitergeht. Wenn man da einige Seiten einlesen will, kann das schon mal nen Vormittag dauern...

Sehr unpraktikabel, finde ich!

Also gegoogelt, Dokus gelesen, und dann hier die Erleuchtung gefunden: LWP::Simple kann von LWP::Useragent das Timeout erben! Mal gut, daß das sonst in keiner Doku steht...

use LWP::Simple qw ($ua head get);
$ua->timeout(10);
$webpage='http://www.testmich.de';
if (head($webpage)){print "$webpage exists and server is up!\n";
$inhalt=get $webpage;
print $inhalt;



} else {print "nono, $webpage ist grad nicht erreichbar\n";}



Jetzt macht LWP::Simple das, was es soll: Es prüft, ob die Seite erreichbar ist, wartet dabei maximal 10 Sekunden, und beendet, wenn es länger als 10 Sekunden dauert.




Kommentare zum Beitrag "LWP::Simple mit timeout-Funktion"

Kommentar von Renee Bäcker
Auch auf die Gefahr hin, kleinlich zu wirken: Auch in der Überschrift sollte "Simple" mit großem "S" und kleinem "imple" geschrieben werden. Bei Windows mag das relativ egal sein, aber bei Linux kommt es auf die richtige Schreibweise an.

Kommentar von Admin
... natürlich richtig!

Großes S, kleines imple, damit läufts auch unter *NIX.

Danke für den Hinweis!

Kommentar von Thomas Mirke
Ich habe festgestellt, dass Simple über get() manchmal (z.B. alle wikipedia-Seiten) ein undef zurückgibt, wogegen UserAgent funktioniert. Hat jemand ähnliche Erfahrungen und auch gleich noch eine Erklärung?
Vielen Dank.



Thema: Perl Script

Der Beitrag "LWP::Simple mit timeout-Funktion" wurde 13172 mal gelesen.

Es wurde 4 x über diesen Beitrag abgestimmt.
Die durchschnittliche Beurteilung liegt bei
1.7 (1 = sehr gut - 6 = grottenschlecht).

Kommentar schreiben  Druckansicht  Seitenanfang 
Beurteilen 






 Zufällige Beiträge im /blog/perl

rmdir - Ein Verzeichnis löschen mit Perl

close - Datei schließen in Perl

Links finden - Links testen - Backlink überwachen

How can I extract just the unique elements of an array?

Subsystem für Unix-basierte Anwendungen in Windows Vista

Datei durchsuchen mit Flip-Flop-Funktion

Wie schreib ich`s in Perl - Oder: Guter und schlechter Programmierstil

Windows Vista - Verwaltungswerkzeuge

Prüfen, ob ein bestimmter Wert in einem Array vorhanden ist

pop() in Perl



0.0172121524810791 sec. to build



...Blogsoftware in pure Perl - Powered by a lot of Coffee...


SSD-Festplatte - Wassn das???
Die Transliteration - Nur ein Zeichen in einem Skalar ersetzen
Select - Case in Perl
Windows 7 XP Mode – Wo finde ich den XP-Modus unter Windows 7?
Mac-Adresse beim Apple Macintosh herausfinden
SGN-Funktion für Perl
truncate - Dateigröße verändern in Perl
Eigene IP herausfinden mit Perl
Epoche live in Datum umwandeln
Firefox 3 - Exe-Files downloaden


Von: Fabian
Kommentar:
Hallo zusammen,
ich suche schon etwas im Internet und bin bisher nicht fündig geworden.
Zum Beitrag


Von: Schorschel eastcoast
Kommentar:
Danke. Das hat mir weitergeholfen.
Zum Beitrag


Von: Jessica
Kommentar:
Kann man auch zwei Datein parallel einlesen?

Zum Beitrag


Von: Xtravaganz
Kommentar:
Für

Zum Beitrag


Von: Xtravaganz
Kommentar:
Für

Zum Beitrag



Gesamtverzeichnis
Februar 2010
Dezember 2009
Oktober 2009
Januar 2009
Dezember 2008
November 2008
September 2008
August 2008
Juli 2008
Juni 2008
Mai 2008
April 2008
Januar 2008
Dezember 2007
November 2007
Oktober 2007
September 2007
August 2007
Juni 2007
Mai 2007
April 2007
März 2007
Februar 2007
Januar 2007
Dezember 2006


Mister Wong

RSS-Feed

Heute ist der
14.11.2018

Es ist
23:13:38 Uhr

Ihre IP:
54.82.79.137

Blog-Einträge: 186

Die letzten 24 Stunden im Überblick


Gelesene Beiträge insgesamt:
3740741


Webseiten vergleichen
Kalender mit Feiertagen - 2028
Links finden und testen
Menschliche Datumsangaben
IP zu Domain herausfinden
Time live in Datum umwandeln
Perl für Windows



Mo Di Mi Do Fr Sa So
1234
567891011
12131415161718
19202122232425
2627282930

Impressum