/blog/perl


substr() in Perl
[77265 mal gelesen]
foreach in Perl
[69812 mal gelesen]
open() - Dateien öffnen in Perl
[64452 mal gelesen]
Arrays in Perl - Besonderheiten
[55725 mal gelesen]
chomp() in Perl
[52005 mal gelesen]
grep - Listen durchsuchen in Perl
[47272 mal gelesen]
split() in Perl - Zeichenketten teilen
[42081 mal gelesen]
push in Perl
[41270 mal gelesen]
sleep in Perl - Das aktuelle Script warten lassen
[30814 mal gelesen]
print in Perl
[27807 mal gelesen]


Arrays
Dateien
HTPC
Hashes
Leistungsoptimiert
PHP
Perl
RegEx
Schleifen
Script
Skalare
Sonstiges
System
Webserver
Zur Startseite


Mittwoch, 11.4.2007, 13:30:47 Uhr

Skalar durchsuchen und gefundene Ergebnisse in Array schreiben


Mal wieder etwas aus der Praxis:
Ich stand (stehe) vor dem Problem, daß ich ein Skalar, oder genauer gesagt dem HTML-Quelltext einer Webseite nach Links durchsuchen mußte.
Ich suchte also eine Möglichkeit, möglichst schnell alle Links nach dem Schema
<a href="test.htm" .....>Linktext</a>
zu finden und wenns denn geht gleich in ein Array zu schubsen.

Nach etwas Probiererei kam ich dann zu diesem Ergebnis:

my @array=();
$site=~ s/(<a .+?>.*?<\/a.*?>)/push (@array,$1)/gise;

print join("\n",@test);
exit;


wobei in $site der Quellcode steht und zum Schluß in @array alle Links.

Und wie gehts?
Also, ich habe ja hier über das ausführen von Befehlen in RegEx geschrieben, und dadurch kam ich dann auch drauf: Einfach das Link-Schema (<a.*?<\/a>) suchen lassen und gleich in das Array pushen.
Einfach, schnell, Perl eben...




Kommentare zum Beitrag "Skalar durchsuchen und gefundene Ergebnisse in Array schreiben"

Kommentar von Renee Bäcker

Statt dem

$site=~ s/(<a.*?<\/a>)/push (@array,$1)/gise;



kann man auch einfach

push @array, $site=~ /(<a.*?<\/a>)/gis;



schreiben - dann braucht man das eval nicht...

Kommentar von Admin

Ich habe übrigens die beiden Varianten bezüglich der Laufzeit einmal durchgetestet und herausgefunden, daß beide Varianten ungefähr gleich schnell sind. Eigentlich dachte ich, daß meine erste Variante mit dem /e etwas langsamer sein sollte. Dem ist aber anscheinend nicht so...

In Zahlen ausgedrückt:
50 Mio. Durchläufe mit /e: 48 Sekunden
50 Mio. Durchläufe ohne /e: 49 Sekunden

Die eine Sekunde Differenz schiebe ich mal auf meinen Rechner, da bei einem zweiten Durchlauf sich die Werte umgedreht haben, also da war die erste Variante langsamer.

Ich denke aber sowieso, daß in dieser Größenordnung (50 Millionen Durchläufe!) es relativ Wumpe ist, welche Variante nun wirklich ein paar tausendstel Prozent schneller ist, denn wann durchsucht man schon mal 50 Millionen mal einen Skalar...

Kommentar von Guido Beckmann
Ich hätte auf den ersten Blick vermutet, dass die Substitutionsmethode langsamer sei, da hier zusätzlich noch die Quellzeichenkette verunstaltet wird. Aber auf die Idee, überhaupt ein Array mittels push zu füllen, wäre ich gar nicht erst gekommen, da ein RegEx bereits ein Array liefert:


@array = $string =~ m/xxx/;


Aber ich denke, ihr habt recht, wenn es um Geschwindigkeit geht, da hier ein Array einem Array zugewiesen wird. Allerdings benötigen pushbedingt eure Methoden ein leeres Array. Wie wäre es hiermit?


$arr_ref = [ $site=~ /(<a.*?<\/a>)/gis ];
map ((print "**$_**\n"), @$arr_ref);


Bei genauerer Betrachtung scheint mir der RegEx zu ungenau zu sein, da er auf Tags wie area oder applet anschlägt. Weiterhin fehlt eine Analyse, ob es sich überhaupt um einen Verweis, oder nur einen Anker handelt.

Kommentar von Admin
Die Regex war wirklich noch etwas, na ich sag mal, unausgegoren.
Ich hatte sie deswegen schon länger mal in


$site=~ s/(<a .+?>.*?<\/a.*?>)/push (@array,$1)/gise;


ausgewechselt, aber wohl versäumt, dies hier zu aktualisieren. Sorry deswegen nochmals...
Eine Prüfung nach maps oder Applets müßte natürlich in der alten Version durchgeführt werden, da ja nur geprüft wird, ob ein <a vorkommt, was ja heißt, daß auch alles andere, was mit <a beginnt, gefunden wird.

In der neuen Version wird deswegen auf <a(Leerzeichen) geprüft, was nur <a-Tags durchläßt. Ob's dann aber wirklich ein Link ist oder ein Anker, wird später geprüft.

Kommentar von Guido Beckmann
Du kannst auch gleich auf einen Verweis prüfen, indem du auf ein "href" vor ">" prüfst:


m|(<a(?=[^>]+?href=).*?</a>)|gsi; # ungetestet





Thema: Perl Skalare Arrays RegEx

Der Beitrag "Skalar durchsuchen und gefundene Ergebnisse in Array schreiben" wurde 5147 mal gelesen.

Es wurde 7 x über diesen Beitrag abgestimmt.
Die durchschnittliche Beurteilung liegt bei
2.2 (1 = sehr gut - 6 = grottenschlecht).

Kommentar schreiben  Druckansicht  Seitenanfang 
Beurteilen 






 Zufällige Beiträge im /blog/perl

undef in Perl

Eine Datei zeilenweise einlesen mit Perl

Mein HTPC - Weitere Erfahrungen

Mein Cache-Modul für Perl - Fortsetzung

abs() in Perl - Absolutwert einer Zahl ermitteln

mkdir() - Ein Verzeichnis erstellen in Perl

seek() - Dateizeiger neu positionieren

Feiertage eines beliebigen Jahres errechnen mit Perl



0.0378561019897461 sec. to build


SSD-Festplatte - Wassn das???
Die Transliteration - Nur ein Zeichen in einem Skalar ersetzen
Select - Case in Perl
Windows 7 XP Mode – Wo finde ich den XP-Modus unter Windows 7?
Mac-Adresse beim Apple Macintosh herausfinden
SGN-Funktion für Perl
truncate - Dateigröße verändern in Perl
Eigene IP herausfinden mit Perl
Epoche live in Datum umwandeln
Firefox 3 - Exe-Files downloaden


Von: Sysdef Wonder
Kommentar:
Das verschiebt in den muelleimer :)

Zum Beitrag


Von: Graphy
Kommentar:
Zum Glück ist diese seltsame "select"-Variante nicht mehr seit Perl 5.10 nötig.

Zum Beitrag


Von: Alex2983
Kommentar:
Super. Wenn alle so eine Beschreibung abliefern würden, wäre es ein Traum. Besten Dank
Zum Beitrag


Von: Daniel
Kommentar:
Super Tipp, habe sie jetzt auch gefunden, nur bei mir ist es leider eine 16-stellige Nummer...Was mache ich denn jetzt damit??
Zum Beitrag


Von: Mothman
Kommentar:
Im obigen Kommentar sollten in der Zeile

Zum Beitrag



Gesamtverzeichnis
Februar 2010
Dezember 2009
Oktober 2009
Januar 2009
Dezember 2008
November 2008
September 2008
August 2008
Juli 2008
Juni 2008
Mai 2008
April 2008
Januar 2008
Dezember 2007
November 2007
Oktober 2007
September 2007
August 2007
Juli 2007
Juni 2007
Mai 2007
April 2007
März 2007
Februar 2007
Januar 2007
Dezember 2006


Mister Wong

RSS-Feed

Heute ist der
10.9.2010

Es ist
19:20:06 Uhr

Ihre IP:
38.107.191.92

Blog-Einträge: 186

Die letzten 24 Stunden im Überblick


Gelesene Beiträge insgesamt:
2069966


Webseiten vergleichen
Kalender mit Feiertagen - 2028
Links finden und testen
Menschliche Datumsangaben
IP zu Domain herausfinden
Time live in Datum umwandeln
Perl für Windows



Mo Di Mi Do Fr Sa So
12345
6789101112
13141516171819
20212223242526
27282930

Impressum