/blog/perl


substr() in Perl
[153476 mal gelesen]
foreach in Perl
[128980 mal gelesen]
Arrays in Perl - Besonderheiten
[125049 mal gelesen]
split() in Perl - Zeichenketten teilen
[113185 mal gelesen]
open() - Dateien öffnen in Perl
[108805 mal gelesen]
grep - Listen durchsuchen in Perl
[94455 mal gelesen]
chomp() in Perl
[93466 mal gelesen]
push in Perl
[90640 mal gelesen]
sleep in Perl - Das aktuelle Script warten lassen
[75792 mal gelesen]
index() in Perl - Zeichenkette in Zeichenkette suchen
[59234 mal gelesen]


Arrays
Dateien
HTPC
Hashes
Leistungsoptimiert
PHP
Perl
RegEx
Schleifen
Script
Skalare
Sonstiges
System
Webserver
Zur Startseite


Mittwoch, 11.4.2007, 13:30:47 Uhr

Skalar durchsuchen und gefundene Ergebnisse in Array schreiben


Mal wieder etwas aus der Praxis:
Ich stand (stehe) vor dem Problem, daß ich ein Skalar, oder genauer gesagt dem HTML-Quelltext einer Webseite nach Links durchsuchen mußte.
Ich suchte also eine Möglichkeit, möglichst schnell alle Links nach dem Schema
<a href="test.htm" .....>Linktext</a>
zu finden und wenns denn geht gleich in ein Array zu schubsen.

Nach etwas Probiererei kam ich dann zu diesem Ergebnis:

my @array=();
$site=~ s/(<a .+?>.*?<\/a.*?>)/push (@array,$1)/gise;

print join("\n",@test);
exit;


wobei in $site der Quellcode steht und zum Schluß in @array alle Links.

Und wie gehts?
Also, ich habe ja hier über das ausführen von Befehlen in RegEx geschrieben, und dadurch kam ich dann auch drauf: Einfach das Link-Schema (<a.*?<\/a>) suchen lassen und gleich in das Array pushen.
Einfach, schnell, Perl eben...




Kommentare zum Beitrag "Skalar durchsuchen und gefundene Ergebnisse in Array schreiben"

Kommentar von Renee Bäcker

Statt dem

$site=~ s/(<a.*?<\/a>)/push (@array,$1)/gise;



kann man auch einfach

push @array, $site=~ /(<a.*?<\/a>)/gis;



schreiben - dann braucht man das eval nicht...

Kommentar von Admin

Ich habe übrigens die beiden Varianten bezüglich der Laufzeit einmal durchgetestet und herausgefunden, daß beide Varianten ungefähr gleich schnell sind. Eigentlich dachte ich, daß meine erste Variante mit dem /e etwas langsamer sein sollte. Dem ist aber anscheinend nicht so...

In Zahlen ausgedrückt:
50 Mio. Durchläufe mit /e: 48 Sekunden
50 Mio. Durchläufe ohne /e: 49 Sekunden

Die eine Sekunde Differenz schiebe ich mal auf meinen Rechner, da bei einem zweiten Durchlauf sich die Werte umgedreht haben, also da war die erste Variante langsamer.

Ich denke aber sowieso, daß in dieser Größenordnung (50 Millionen Durchläufe!) es relativ Wumpe ist, welche Variante nun wirklich ein paar tausendstel Prozent schneller ist, denn wann durchsucht man schon mal 50 Millionen mal einen Skalar...

Kommentar von Guido Beckmann
Ich hätte auf den ersten Blick vermutet, dass die Substitutionsmethode langsamer sei, da hier zusätzlich noch die Quellzeichenkette verunstaltet wird. Aber auf die Idee, überhaupt ein Array mittels push zu füllen, wäre ich gar nicht erst gekommen, da ein RegEx bereits ein Array liefert:


@array = $string =~ m/xxx/;


Aber ich denke, ihr habt recht, wenn es um Geschwindigkeit geht, da hier ein Array einem Array zugewiesen wird. Allerdings benötigen pushbedingt eure Methoden ein leeres Array. Wie wäre es hiermit?


$arr_ref = [ $site=~ /(<a.*?<\/a>)/gis ];
map ((print "**$_**\n"), @$arr_ref);


Bei genauerer Betrachtung scheint mir der RegEx zu ungenau zu sein, da er auf Tags wie area oder applet anschlägt. Weiterhin fehlt eine Analyse, ob es sich überhaupt um einen Verweis, oder nur einen Anker handelt.

Kommentar von Admin
Die Regex war wirklich noch etwas, na ich sag mal, unausgegoren.
Ich hatte sie deswegen schon länger mal in


$site=~ s/(<a .+?>.*?<\/a.*?>)/push (@array,$1)/gise;


ausgewechselt, aber wohl versäumt, dies hier zu aktualisieren. Sorry deswegen nochmals...
Eine Prüfung nach maps oder Applets müßte natürlich in der alten Version durchgeführt werden, da ja nur geprüft wird, ob ein <a vorkommt, was ja heißt, daß auch alles andere, was mit <a beginnt, gefunden wird.

In der neuen Version wird deswegen auf <a(Leerzeichen) geprüft, was nur <a-Tags durchläßt. Ob's dann aber wirklich ein Link ist oder ein Anker, wird später geprüft.

Kommentar von Guido Beckmann
Du kannst auch gleich auf einen Verweis prüfen, indem du auf ein "href" vor ">" prüfst:


m|(<a(?=[^>]+?href=).*?</a>)|gsi; # ungetestet





Thema: Perl Skalare Arrays RegEx

Der Beitrag "Skalar durchsuchen und gefundene Ergebnisse in Array schreiben" wurde 10140 mal gelesen.

Es wurde 7 x über diesen Beitrag abgestimmt.
Die durchschnittliche Beurteilung liegt bei
2.2 (1 = sehr gut - 6 = grottenschlecht).

Kommentar schreiben  Druckansicht  Seitenanfang 
Beurteilen 






 Zufällige Beiträge im /blog/perl

ord() in Perl - ASCII-Zeichenwert eines Zeichens ermitteln

die - Perl-Script wegen eines Fehlers abbrechen

unlink() - Dateien löschen in Perl

Nochmal Links testen - mein Modul für Perl

Permanent redirect 301 - Wie leite ich eine Seite um?

Systemvoraussetzungen für Windows Vista

delete () - Ein Elementenpaar aus Hash löschen in Perl

Link in absoluten Link umwandeln

Wörter im Text automatisch verlinken, die endgültige Version

Vordefinierte Variablen in Perl



0.0286121368408203 sec. to build



...Blogsoftware in pure Perl - Powered by a lot of Coffee...


SSD-Festplatte - Wassn das???
Die Transliteration - Nur ein Zeichen in einem Skalar ersetzen
Select - Case in Perl
Windows 7 XP Mode – Wo finde ich den XP-Modus unter Windows 7?
Mac-Adresse beim Apple Macintosh herausfinden
SGN-Funktion für Perl

Eigene IP herausfinden mit Perl
Epoche live in Datum umwandeln
Firefox 3 - Exe-Files downloaden


Gesamtverzeichnis
Februar 2010
Dezember 2009
Oktober 2009
Januar 2009
Dezember 2008
November 2008
September 2008
August 2008
Juli 2008
Juni 2008
Mai 2008
April 2008
Januar 2008
Dezember 2007
November 2007
Oktober 2007
September 2007
August 2007
Juni 2007
Mai 2007
April 2007
März 2007
Februar 2007
Januar 2007
Dezember 2006


Mister Wong

RSS-Feed

Heute ist der
27.7.2024

Es ist
16:40:49 Uhr

Ihre IP:
18.218.241.155

Blog-Einträge: 186

Die letzten 24 Stunden im Überblick


Gelesene Beiträge insgesamt:
4406869


Webseiten vergleichen
Kalender mit Feiertagen - 2028
Links finden und testen
Menschliche Datumsangaben
IP zu Domain herausfinden
Time live in Datum umwandeln
Perl für Windows



Impressum