/blog/perl


substr() in Perl
[142004 mal gelesen]
foreach in Perl
[124293 mal gelesen]
Arrays in Perl - Besonderheiten
[119102 mal gelesen]
split() in Perl - Zeichenketten teilen
[104825 mal gelesen]
open() - Dateien öffnen in Perl
[104605 mal gelesen]
chomp() in Perl
[90757 mal gelesen]
grep - Listen durchsuchen in Perl
[88694 mal gelesen]
push in Perl
[86935 mal gelesen]
sleep in Perl - Das aktuelle Script warten lassen
[69822 mal gelesen]
print in Perl
[54100 mal gelesen]


Arrays
Dateien
HTPC
Hashes
Leistungsoptimiert
PHP
Perl
RegEx
Schleifen
Script
Skalare
Sonstiges
System
Webserver
Zur Startseite


Donnerstag, 6.12.2007, 17:25:53 Uhr

Google Sitemaps - Script zur Erstellung einer Sitemap-Datei für Google


Googles Sitemaps sollen helfen, daß einzelne Webseiten von Google auch dann gefunden werden, wenn sie nirgends verlinkt sind. Dies ist dann wichtig, wenn man häufig wechselnden Content hat und ältere Beiträge nicht verloren gehen sollen. Zudem verspricht Google, daß die Indizierung dann schneller erfolgt.
Was liegt also näher, als sich ein kleines Perl-Script zu schreiben, das eine solche Sitemap erzeugt, und zwar direkt auf dem Server?

Also machte ich mich mal ran an das Problem, und zwar mit folgenden Vorgaben:
- Leicht zu konfigurieren
- findet alle Dateien auf dem Server
- Angabe von Ordnern, auf Wunsch inkl. Unterordner
- korrekte Angabe von Umlauten und Sonderzeichen

Also hab ich mal folgendes Script geschrieben

#!/usr/bin/perl

print <<EOF;
Content-Type: text/html\n\n
<HTML>\n<HEAD>\n
<Title>Sitemapper for Google</Title>
</HEAD>
<Body>
EOF

#############
# Parameters
#############

my $domain='http://www.hidemail.de'; # Your domain without ending /
my $to_root='../';# Path to your HTDOCS-Root with ending /
my $filename='sitemap.xml';# Sitemap-File
my $folders='test';# Processed folders, separated by ,
# If you want to include subfolders, place a +before the foldername, for example '+sites'

my $filetypes='.htm.html.txt.php.shtml';# Filetypes


###############
# End of Params
###############
use CGI::Carp "fatalsToBrowser";
use URI::Escape qw(uri_escape_utf8);

$folders=~ s/\, +/\,/g;
my @folders=split(',',$folders);
my %files=();

foreach (@folders){
my $include_subdirs=0;
if (substr($_,0,1) eq '+'){$include_subdirs=1; $_=~ s/^\+//;}

@files=get_all_files("$to_root$_",$include_subdirs,$filetypes);
foreach my $file (@files) {
$file=~ s/\/\.\//\//;
$time=(stat($file))[9];
$file=~ s/^$to_root/$domain\//;
$files{$file}=$time;
}
}
print qq~<b>Processing Files</b><br>\n~;
open (my $sitemap,">",$to_root.$filename) || die ("Can not create Sitemap-File");

print $sitemap <<EOF;
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.google.com/schemas/sitemap/0.84"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.google.com/schemas/sitemap/0.84
http://www.google.com/schemas/sitemap/0.84/sitemap.xsd">
EOF


foreach (keys %files){print qq~$_<br>\n~;
my ($Sekunde, $Minute, $Stunde, $Tag, $Monat, $Jahr) = localtime($files{$_});
$Monat++;
$Jahr+=1900;
$Tag="0$Tag" if (length($Tag)==1);
$Monat="0$Monat" if (length($Monat)==1);
$Sekunde="0$Sekunde" if (length($Sekunde)==1);
$Minute="0$Minute" if (length($Minute)==1);
$Stunde="0$Stunde" if (length($Stunde)==1);
my $datum="$Jahr-$Monat-$Tag"."T";
my $zeit="$Stunde:$Minute:$Sekunde";
$_=~ s/</\<\;/g;
$_=~ s/>/\>\;/g;
$_=~ s/\&/\&\;/g;
$_=~ s/\'/\'\;/g;
$_=~ s/\"/\"\;/g;

$_=uri_escape_utf8($_,"\x00-\x1f\x7f-\xff" );
print $sitemap <<EOF;

<url><loc>$_</loc><lastmod>$datum$zeit+00:00</lastmod></url>
EOF

}

print $sitemap "</urlset>";
close $sitemap;

print "ready";

exit;


###################
# Parameter
# 0: Startdir ohne abschließendes /, aktuelles Verzeichnis = .
# 1: Unterverzeichnisse durchsuchen? 1: ja, 0: nein
# 2: Dateitypen in form .txt.htm.html , also direkt hintereinander, aber nur wenn nötig
#
# Neues Feature:
# Es kann ab sofort auch ein hash erzeugt werden, der als keys den Dateinamen mit Ordner usw. hat UND als Value den Dateinamen selbst
# 3: Nur kompletten Dateinamen oder Hash mit kompletten Dateiname und Dateinamen allein : 0 oder 1
# ansonsten wird alles gezeigt
#
# Einbindung per
# require 'lib.pl';
#
#
# Aufruf per:
#
# @dateien=get_all_files('c:/htdocs/',1,'.shtml.htm.txt');
#
# oder
#
# %dateien=get_all_files('c:/htdocs/',1,'.shtml.htm.txt',1);
#
# Autor: Peter Baumann
# Dieses Script darf bei Nennung des Autors frei verwendet werden
#############################################
sub get_all_files{

my $startdir=shift;
my $include_subdirs=shift;
my $endings=shift;
my $extendet=shift;

my %endings=();
$endings=~ s/\s//g;
my @endings=split('\.',$endings);
shift @endings;

my $endings=0;
$startdir=~ s/\/$//;

if (@endings != 0){
$endings=1; # wenn Endungen angegeben
foreach (@endings){
$endings{$_}=1;
}
}
@endings=();

my @dateien=();
push (my @all_directories,$startdir);

foreach my $akdir(@all_directories){

opendir (my $IN,$akdir);
my @all=readdir($IN);
closedir $IN;

foreach my $akdatei (@all){ next if ($akdatei eq '..' || $akdatei eq '.');
if (-d "$akdir/$akdatei") {
if ($include_subdirs == 1){
push (@all_directories,"$akdir/$akdatei");
next;
}
} else {
if ($endings==0){
push (@dateien,"$akdir/$akdatei");
push (@dateien,$akdatei) if ($extendet == 1);
}
else
{
my $lastpoint=rindex($akdatei,".");
next if $lastpoint == -1; # Keine Dateiendung gefunden

my $endung=substr($akdatei,$lastpoint+1-length($akdatei));

if ($endings{$endung} == 1){
push (@dateien,"$akdir/$akdatei");
push (@dateien,$akdatei) if ($extendet == 1);
}
}
}
}
}
return @dateien;
}



Naja, hier gibts die Version zum herunterladen...
Und wie funktioniert das nun?
Öffnen Sie die Datei mit einem Editor und edieren Sie die Parameter:
my $domain='http://www.ihredomain.de'; # Your domain without ending /
my $to_root='../';# Path to your HTDOCS-Root with ending /
my $filename='sitemap.xml';# Sitemap-File
my $folders='test';

Die $domain ist Ihre Domain, ohne abschließendes /.
$to_root gibt an, wo das Hauptverzeichnis liegt, in dem die zu durchsuchenden Seiten liegen, also im Normalfall '../'.
$filename ist der Dateiname der Sitemap, die später im HTML-Root angelegt wird.
$folder sind schließlich die Ordner, die durchsucht werden sollen, getrennt durch ein Komma. Sollen unterordner durchsucht werden, wird dem Ordnernamen ein + vorangestellt.
Will man das gesamte Document-Root, also die Ebene, in der die index.html oder .php oder shtml oder was auch immer liegt, so kann man '+./' angeben. Dann werden auch alle Unterverzeichnisse eingelesen. Aber wirklich ALLE!

Bringen Sie das Script in Ihren cgi-bin-Ordner und setzen Sie die Rechte auf 0755.

Der Aufruf erfolgt per: http://www.ihredomain.de/cgi-bin/sm.pl. Die Sitemap wird erzeugt.

Und wie funktioniert das Script?
Nun, das Script nutzt die Routine get_all_files, die ich hier schonmal vorgestellt habe. Es werden also alle Dateien mit der richtigen Endung gefunden. Anschließend werden die Daten der letzten Änderung gesucht und als passende Zeichenfolge in die Sitemap-Dateien geschrieben. Wichtig ist vorher, daß Umlaute wie ä ö ü codiert werden, und zwar nach Unicode. Sonst schimpft Google... Das macht die Zeile $_=uri_escape_utf8($_,"\x00-\x1f\x7f-\xff" );, die wirklich nur Sonderzeichen umwandelt, nicht aber / oder _-Zeichen.

Ich hoffe, das kleine Script gefällt...

Die Originalbeschreibung zu den Sitemaps gibt es hier zu lesen.
Übrigens
Wie man in der Dokumentation sehen kann, gibt es noch die Optionen changefreq und priority. Diese Optionen werden von diesem Script nicht unterstützt.

Genauso ist es nicht möglich, einzelne Dateien auszuschließen, wenn sie nicht indiziert werden sollen.


Thema: Webserver Perl Script

Der Beitrag "Google Sitemaps - Script zur Erstellung einer Sitemap-Datei für Google" wurde 5985 mal gelesen.

Es wurde 3 x über diesen Beitrag abgestimmt.
Die durchschnittliche Beurteilung liegt bei
2 (1 = sehr gut - 6 = grottenschlecht).

Kommentar schreiben  Druckansicht  Seitenanfang 
Beurteilen 






 Zufällige Beiträge im /blog/perl

rename in Perl - Dateien umbenennen

sleep in Perl - Das aktuelle Script warten lassen

open() - Dateien öffnen in Perl

Unshift Perl

close - Datei schließen in Perl

Mein Cache-Modul für Perl - Fortsetzung

Transform a website to unicode

Letzte Befehle wiederholen unter Windows Vista - doskey

Wörter im Text automatisch verlinken, die endgültige Version



0.0218799114227295 sec. to build



...Blogsoftware in pure Perl - Powered by a lot of Coffee...


SSD-Festplatte - Wassn das???
Die Transliteration - Nur ein Zeichen in einem Skalar ersetzen
Select - Case in Perl
Windows 7 XP Mode – Wo finde ich den XP-Modus unter Windows 7?
Mac-Adresse beim Apple Macintosh herausfinden
SGN-Funktion für Perl

Eigene IP herausfinden mit Perl
Epoche live in Datum umwandeln
Firefox 3 - Exe-Files downloaden


Von: alexander castro
Kommentar:
Hello I am very happy to share my testimony with everyone.
I received a Master Card just last week and it pays me € 5,000 (euros) at a spot, I tried today again and the same € 5,000 was paid out, This card will give me € 5,000 euros weekly for 180 days. If you are in need of urgent money you can get this card as well, The blank ATM withdraws money from any ATM machines and there is no name on it because it is programmed, just your PIN will be on it, it is not traceable and its easy to use: atmservices44@aol.com
Zum Beitrag


Von: Hummel
Kommentar:
@ Peter

Zum Beitrag


Von: Fabian
Kommentar:
Hallo zusammen,
ich suche schon etwas im Internet und bin bisher nicht fündig geworden.
Zum Beitrag


Von: Schorschel eastcoast
Kommentar:
Danke. Das hat mir weitergeholfen.
Zum Beitrag


Von: Jessica
Kommentar:
Kann man auch zwei Datein parallel einlesen?

Zum Beitrag



Gesamtverzeichnis
Februar 2010
Dezember 2009
Oktober 2009
Januar 2009
Dezember 2008
November 2008
September 2008
August 2008
Juli 2008
Juni 2008
Mai 2008
April 2008
Januar 2008
Dezember 2007
November 2007
Oktober 2007
September 2007
August 2007
Juni 2007
Mai 2007
April 2007
März 2007
Februar 2007
Januar 2007
Dezember 2006


Mister Wong

RSS-Feed

Heute ist der
27.1.2021

Es ist
16:51:14 Uhr

Ihre IP:
184.72.102.217

Blog-Einträge: 186

Die letzten 24 Stunden im Überblick


Gelesene Beiträge insgesamt:
4068528


Webseiten vergleichen
Kalender mit Feiertagen - 2028
Links finden und testen
Menschliche Datumsangaben
IP zu Domain herausfinden
Time live in Datum umwandeln
Perl für Windows



Mo Di Mi Do Fr Sa So
123
45678910
11121314151617
18192021222324
25262728293031

Impressum