/blog/perl


substr() in Perl
[127954 mal gelesen]
foreach in Perl
[116806 mal gelesen]
Arrays in Perl - Besonderheiten
[109960 mal gelesen]
open() - Dateien öffnen in Perl
[98204 mal gelesen]
split() in Perl - Zeichenketten teilen
[89849 mal gelesen]
chomp() in Perl
[84912 mal gelesen]
grep - Listen durchsuchen in Perl
[82204 mal gelesen]
push in Perl
[79246 mal gelesen]
sleep in Perl - Das aktuelle Script warten lassen
[61806 mal gelesen]
print in Perl
[50043 mal gelesen]


Arrays
Dateien
HTPC
Hashes
Leistungsoptimiert
PHP
Perl
RegEx
Schleifen
Script
Skalare
Sonstiges
System
Webserver
Zur Startseite


Donnerstag, 29.11.2007, 03:05:38 Uhr

Unicode mit Perl - Einfache (?) Anwendung


Ich bin gerade ja dabei, meine alten Scripte mal so zu durchsuchen, ob sie alle Vista-Perl-fähig sind, und bin da auf ein altes Script gestoßen, das einen Indexer für ein Suchscript darstellt. Anders gesagt: das Script durchsucht Webseiten und filtert alle Wörter und Zahlenreihen aus Webseiten heraus und speichert sie mir in geeigneter Form ab. Wie gesagt, das Dingens ist schon uralt und verrichtet seine Dinge gut... aber nicht mit Unicode-Dateien!

Was läge also näher, als mal eben das Ganze so umzuschreiben, daß auch Unicode funktioniert... Und ich kann nur sagen: Auweia, wat ne Fummelei!

Erst hab ich's natürlich erstmal mit eigenem Wissen versucht, aber nach einiger Zeit war dann wieder surfen im Web angesagt. Und da findet man vieles, aber eben nicht so was richtig komplettes. Das Problem war eben, daß von vornherein nicht bekannt war, ob eine Datei utf8 ist oder eben nicht.
Und die meisten Scripte gehen eben davon aus, daß man vorher weiß, ob man von utf8 nach sonstwas oder von sonstwas nach utf8 konvertiert.

Die Lösung des Problemes liegt in LWP::UserAgent. Und zwar kann dieses Modul codierten Inhalt automatisch nach utf8 wandeln... allerdings auch erst dann, wenn es die Grundcodierung kennt!

Also muß man erst das charset auslesen und decoded_content zuweisen, dann gibts auch gutes utf8. Falls das charset auf UTF-8 steht oder nicht definiert ist, ist es schon utf8, zumindest auf allen möglichen Testseiten, die ich verwendet habe...

Hier nun auf jeden Fall mein "kleines" Script:

#!/usr/bin/perl
print <<EOF;
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />\n\n
<title>UTF-8-Test</title>
</head>
<body>
EOF
use CGI::Carp "fatalsToBrowser";

use strict;
use utf8;
use HTML::Entities;

# loading a site from www

#my $string=lade_seite("http://www.livebet.gr/");
#my $string=lade_seite("http://www.imerisia.gr");
my $string=lade_seite("http://www.hidemail.de/blog");
#my $string=lade_seite("http://www.wsws.org/tr/2005/nov2005/turk-o16.shtml");
#my $string=lade_seite("http://www.hi.is/");
#my $string=lade_seite("http://www.stern.de/");


decode_entities($string);

# we want only lower-case
$string=lc($string);

# a is nothing more than a space for us
$string=~ s/\ \;/ /g;

#deleting <script>-areas
$string=~ s/<script.*?\/script>/\n/gis;

# getting the title from the page
$string =~ s/<title.*?>(.*?)<\/title.*?>//s;
my $title=$1;
$title="No Title" if $title eq '';

$string=~ s/.*?<body.*?>//gis; # cut from the head to the body, we want only the content

print "Title $title<br>";

# delete the html-tags
$string =~ s{ < (?: [^>'"] * | ".*?" | '.*?' ) + > }{ }gsx;

# decode the html-entities -> make ä from ä and so on


# replace signs like . with \n
$string=~ tr/ \(\)\.\-\{\}\[\]\?\`\´\'\+\*\#\_\:\;\,\|\<\>\!\"\§\$\%\&\/\\\t\r\©\€\µ\”\“\»\=\@\µ/\n/;

# delete x-\n's, we need only one \n
$string=~ s/\n+/\n/gs;

utf8::encode($string);

my %woerter=();

#count words longer than 1 character
grep {$woerter{$_}++ if length($_) >1} split(/\n/,$string);

# and show
foreach (sort(keys %woerter)){print "$_: $woerter{$_} mal<br>\n";}


open (out,">test.txt") || die ("fehler");
#binmode(out, ":utf8");
foreach (sort(keys %woerter)){print out "$_: $woerter{$_} mal<br>\n";}
close out;


#######################
#lädt eine Seite aus dem Internet
####################################
sub lade_seite{
use LWP::UserAgent;
use HTTP::Request;
my ($url) = @_;
print $url;
my $content; my $encoding;
my $request = HTTP::Request->new(GET => $url);
my $ua = LWP::UserAgent->new;
$ua->agent('User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.4) Gecko/20070515 Firefox/2.0.0.4');

my $response = $ua->request($request);

if($response->is_success) {
$content = $response->content;

$content=~ /charset\=(.*?)\"/;

my $charset=$1;
#print "<br>Charset: $charset<br>";

$charset="utf8" if $charset eq '' || $charset eq 'UTF-8';

$content = $response->decoded_content(charset=>$charset);
#print $content;
return $content; # Content zurück
} else {
return ;
}
}

################################################################
#entfernt aus einer Liste doppelte einträge
################################################################
sub del_double{
my %all=();
@all{@_}=1;
return (keys %all);
}


Testen kann man das Script hier, es lädt dann die Startseite dieses Blogs.

Nachtrag
Wie ich gerade gemerkt habe, läuft das Script wieder mal nicht auf dem Server, da dasdecoded_content anscheinend nicht bekannt ist.

Wem das genauso geht, der kann statt dessen auch den Teil in lade_seite durch den folgenden Code ersetzen, der läuft anscheinend auch auf Perl-Steinzeit-Servern...

#######################
#lädt eine Seite aus dem Internet
####################################
sub lade_seite{
use LWP::UserAgent;
use HTTP::Request;
use Encode;
my ($url) = @_;
print $url;
my $content; my $encoding;
my $request = HTTP::Request->new(GET => $url);
my $ua = LWP::UserAgent->new;
$ua->agent('User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.4) Gecko/20070515 Firefox/2.0.0.4');

my $response = $ua->request($request);

if($response->is_success) {
$content = $response->content;

$content=~ /charset\=(.*?)\"/;

my $charset=$1;
#print "<br>Charset: $charset<br>";

$charset="utf8" if $charset eq '' || $charset eq 'UTF-8';

# $content = $response->decoded_content((charset=>$charset));
$content=decode($charset,$content);
#print $content;
return $content; # Content zurück
} else {
return ;
}
}


So, jetzt erstmal genug damit, das war schon ziemlich hartes Brot...




Kommentare zum Beitrag "Unicode mit Perl - Einfache (?) Anwendung"

Kommentar von Renee Bäcker
Wenn ich sowas sehen, kommt mir immer sofort Web::Scraper in den Sinn. Dann braucht man sich nicht mit den ganzen regulären Ausdrücken rumzuschlagen. Das Modul nimmt viel Arbeit von einem ab.

Ein paar Beispiele:
http://reneeb-perlblog.blogspot.com/2007/09/webscraper-ein-echt-ntzliches-modul.html
http://board.perl-community.de/thread/10633/startWithMessage=10

Kommentar von Admin
Ich denke, Du beziehst das auf die Auswertung des Titles und das Entfernen des HTML's... Nun, so richtig schön finde ich das auch nicht, aber es scheint für das kurze Beispiel wohl die "vernünftigste" Lösung zu sein...

Übrigens: Natürlich hab ich auf Deiner Seite auch über Webscraper gelesen und interessant ist's schon... allerdings: ich wollte mir das dann lokal installieren (ActiveState-Perl), und da gab es das Modul gar nicht... geschweige denn auf meinem Web-Server, da herrscht noch Perl-Steinzeit...

Aber was ich da so lese über Webscraper ist schon sehr interessant!



Thema: Skalare Webserver Perl Script

Der Beitrag "Unicode mit Perl - Einfache (?) Anwendung" wurde 5814 mal gelesen.

Kommentar schreiben  Druckansicht  Seitenanfang 
Beurteilen 






 Zufällige Beiträge im /blog/perl

chomp() in Perl

Dateien öffnen - Sicherheitsrisiko von Benutzereingaben

rename in Perl - Dateien umbenennen

Mac-Adresse herausfinden unter Windows Vista, Windows 7 und XP

Hash of Arrays - Oder: Wie bilde ich ein Hash aus Arrays?

LWP::Simple mit timeout-Funktion

Groß-Kleinschreibung in Regular Expression ändern

Reguläre Ausdrücke - Einfache Suche mit gemischten Zeichen

push in Perl

tell - Die Position eines Dateizeigers ermitteln



0.0226089954376221 sec. to build



...Blogsoftware in pure Perl - Powered by a lot of Coffee...


SSD-Festplatte - Wassn das???
Die Transliteration - Nur ein Zeichen in einem Skalar ersetzen
Select - Case in Perl
Windows 7 XP Mode – Wo finde ich den XP-Modus unter Windows 7?
Mac-Adresse beim Apple Macintosh herausfinden
SGN-Funktion für Perl
truncate - Dateigröße verändern in Perl
Eigene IP herausfinden mit Perl
Epoche live in Datum umwandeln
Firefox 3 - Exe-Files downloaden


Von: Fabian
Kommentar:
Hallo zusammen,
ich suche schon etwas im Internet und bin bisher nicht fündig geworden.
Zum Beitrag


Von: Schorschel eastcoast
Kommentar:
Danke. Das hat mir weitergeholfen.
Zum Beitrag


Von: Jessica
Kommentar:
Kann man auch zwei Datein parallel einlesen?

Zum Beitrag


Von: Xtravaganz
Kommentar:
Für

Zum Beitrag


Von: Xtravaganz
Kommentar:
Für

Zum Beitrag



Gesamtverzeichnis
Februar 2010
Dezember 2009
Oktober 2009
Januar 2009
Dezember 2008
November 2008
September 2008
August 2008
Juli 2008
Juni 2008
Mai 2008
April 2008
Januar 2008
Dezember 2007
November 2007
Oktober 2007
September 2007
August 2007
Juni 2007
Mai 2007
April 2007
März 2007
Februar 2007
Januar 2007
Dezember 2006


Mister Wong

RSS-Feed

Heute ist der
21.9.2018

Es ist
2:47:50 Uhr

Ihre IP:
54.198.142.121

Blog-Einträge: 186

Die letzten 24 Stunden im Überblick


Gelesene Beiträge insgesamt:
3714384


Webseiten vergleichen
Kalender mit Feiertagen - 2028
Links finden und testen
Menschliche Datumsangaben
IP zu Domain herausfinden
Time live in Datum umwandeln
Perl für Windows



Mo Di Mi Do Fr Sa So
12
3456789
10111213141516
17181920212223
24252627282930

Impressum