Über dieses Projekt
An erster Stelle mein Tribut an die wichtigsten Open-Source-Projekte, die ich zum Betrieb und zur Entwicklung einsetze:
Hintergrund
Dieses Internetprojekt war zunächst nicht als ein solches gedacht. Ursprünglich brauchte ich nichts weiter als eine Software, die mir nach einem meiner ungezählten Abstürze mit meinem Raptor dabei helfen sollte, den Ersatzteil-Shop mit den günstigsten Preisen zu finden.
Also programmierte ich zunächst ein Perl-Skript, das den Webshops die Ersatzteilpreise auslesen konnte. Später erweiterte ich das Skript so daß die entsprechenden Seiten auch automatisch aus dem Internet geholt werden konnten. Gleichzeitig machte ich ein Skript, das auf der Konsole einen Preisvergleich für eine Liste von Ersatzteilen erstellen konnte. Danach war die Sache erstmal für mich zuhause anwendungsreif und die Weiterentwicklung hatte ein Jahr Pause.
Ab damit ins Internet!
Ich sprach mit einigen Fliegerkollegen beim MFC Rheinbach über das Programm und stellte fest, daß insgesamt einiges Interesse für so einem System innerhalb des Internets bestand.
Im Sommer 2006 hatte ich die erste Internet-Version der Software fertig. Ich bestellte die Domain www.raptor-ersatzteile.de und spielte das System auf. Trotz der unglaublich primitiven Bedingungen auf dem Hostsystem (kein root-accout etc) ließ sich alles mehr oder weniger gut in Betrieb nehmen. Der Hoster betreibt die Systeme unter Solaris, was einem eingefleischten Linux-Nutzer wie mir manchmal erhebliche Kompromiss-Bereitschaft abverlangt.
Die ersten Reaktionen
Die ersten Reaktionen waren durchweg positiv. Schon in den ersten Wochen kamen etwa 100 Zugriffe pro Tag zustande. Für ein so spezialisiertes Projekt wie dieses ist das ein ordentiches Ergebnis. Ich kam plötzlich in näheren Kontakt zu mehreren Händlern, die per Email um ein Telefongespräch ersuchten. Es gab einen Haufen Fragen, aber es kam nicht zu irgendwelchen Problemen.
Nicht Alles klappt auf Anhieb (etwas technischer!)
Dieses Programm "zieht" die Webseiten und bekommt die Daten so präsentiert wie jeder normale Internet-Surfer auch. Also als riesengroßen HTML-Salat. Sie müssen daher analysiert werden, bevor die Preise in die Datenbank eingetragen werden können. Dieses Vorgehen nennt man "Scraping" - zu Deutsch "kratzen". Das Ziehen der Seiten klappt aber nicht bei allen Shops.
Denn: Im Dialog mit einem Webshop (genauer: einem Webserver) gibt es zwei wichtige verschiedene Anfrage-Typen, die man unterscheiden muss: Den GET- und den POST-Zugriff. Der GET-Zugriff ist der Zugriff durch einen Link. Er wird zum Beispiel ausgeführt, wenn jemand im Browser soetwas wie www.raptor-ersatzteile.de eingibt oder auf einen Link klickt.
Shops, deren Seiten durch einen GET-Zugriff erreichbar sind,
kann diese Software automatisch absuchen. Der Shop der Firma
Modellbau-Friedel zu Beispiel kann so nicht zugegriffen
werden. Das ist nicht nur für raptor-ersatzteile.de ein
Nachteil, sondern auch für den Shop-Betreiber selbst, da so
gut wie keine Suchmaschine sich die Mühe macht, mit
POST-Zugriffen zu arbeiten. Täte sie es doch, hätte
niemand etwas von dem Suchergebnis, da das Klicken auf ein
Suchergebnis von Yahoo, Google und Co. immer ein GET-Zugriff
ist.
Nachtrag(10.10.07): Mittlerweile ist dieses Problem ohne Belang,
da ich für alle Shops einen Workaround gefunden habe.
Version 2.0
Die hier vorliegende zweite Version ist auf einer erweiterte technischen Basis aufgesetzt, um in Zukunft leichter Erweiterungen vornehmen zu können. früher oder später werde ich bei der Preissuche noch Servos hinzunehmen, da diese auch regelmäßig bei Abstürzen kaputt gehen. Bis dahin wünsche ich erstmal allen Raptor-Piloten viele absturzfreie Flüge und viel Spaß (darf man das sagen?) mit Raptor-Ersatzteile.de
Patrick Krusenotto, 23.September '07
This
work
is licensed under a
Creative Commons Attribution-Noncommercial-No Derivative Works 2.0 Germany License.