On-Site – Datenextraktion aus dem Teilekatalog

Die Herausforderung

On-Site benötigte strukturierte Produktdaten aus zwei großen Ersatzteilkatalogen von Herstellern – einer aus dem Bereich Landmaschinen, einer aus dem Bereich Powersports – im Auftrag der eigenen Kunden. Diese Kataloge sind tiefe, hierarchische Systeme: Eine Maschine wird über die Seriennummer gesucht und dann Ebene für Ebene in Baugruppen, Unterbaugruppen und Einzelteile zerlegt, jeweils mit eigener Explosionszeichnung und Teilenummerntabelle.

Das von Hand zu kopieren, kommt nicht infrage. On-Site brauchte einen wiederholbaren, überprüfbaren Extraktionsprozess, der saubere Excel-Exporte samt aller zugehörigen Zeichnungsbilder liefert – zunächst als kontrollierten Pilot auf einem kleinen Datensatz, mit der Option, ihn anschließend auf den vollständigen Katalog auszuweiten.

Unser Vorgehen

Wir haben einen eigenen Crawler in C# auf Basis von Selenium WebDriver gebaut, der einen echten Chromium-Browser steuert, sodass sich die JavaScript-lastige Navigation des Katalogs genau so verhält wie für einen menschlichen Nutzer. Der Crawler durchläuft je Seriennummer die vollständige Hierarchie, erfasst die Zeichnung für jede Ebene und schreibt das Ergebnis in eine strukturierte Excel-Arbeitsmappe – ein Tabellenblatt je Ebene, nach Ebene sortiert, mit Teilenummern, Beschreibungen und dem Verweis auf das passende Bild.

Der Pilot lief aus einer einzigen kontrollierten Umgebung, damit der Kunde die Datenqualität prüfen konnte, bevor er sich auf das Volumen festlegte. Für das zweite Projekt haben wir Bright Data integriert und die Erfassungsschicht auf ein verwaltetes Proxy-Netzwerk mit rotierenden IP-Adressen verlagert. Das gibt On-Site kontrolliertes, verteiltes Crawling, das auf einen vollständigen Katalog skaliert, ohne die Quellseite von einer einzigen Adresse aus zu überlasten.

Was wir geliefert haben

• Einen C#/Selenium-Crawler, der mehrstufige Ersatzteilkataloge nach Seriennummer bis in beliebige Tiefe durchläuft
• Excel-Exporte im exakt geforderten Format des Kunden – Tabellenblätter nach Ebene sortiert, einheitliche Spalten, bereit für den Import in die eigenen Systeme
• Vollständige Bildsätze der Explosionszeichnungen, eins zu eins den Exportzeilen zugeordnet
• Integration von Bright Data für verteiltes, kontrolliertes Crawling im Volumen des gesamten Katalogs
• Inkrementelles Crawling nur der fehlenden Modelljahre, sodass bereits erfasste Daten nie erneut verarbeitet wurden
• Ein Prüfdurchlauf bei jeder Lieferung: fehlende Bilder, Lücken in der Hierarchie und Formatabweichungen werden vor der Übergabe erkannt

Das Ergebnis

On-Site erhielt Testdatensätze schnell genug, um den Ansatz innerhalb weniger Tage mit dem eigenen Kunden zu bestätigen, und anschließend eine produktionsreife Pipeline für die vollständige Extraktion. Die Daten kommen in genau der Struktur an, die ihre Systeme erwarten, was den manuellen Nachbearbeitungsschritt vollständig entfallen lässt – und dieselbe Crawler-Architektur lässt sich auf weitere Kataloge richten, indem nur die Navigationslogik ausgetauscht wird.