Weiter zum Ihnhalt

Webcrawling Dashboard

21. Oktober 2021

Text, Face, Female

Inter­aktives Dashboard zur Analyse von Crawlin­g­re­sultaten

SENS möchte die Wieder­ver­wendung von Elektro­geräten in der Schweiz verfolgen, um poten­zielle Massnahmen und Entscheide daten­ge­stützt umzusetzen. Bereits wenige Wochen nach dem Kick-Off konnte SENS die ersten Datensätze auf einem massge­schnei­derten Analyse-Dashboard unter­suchen.

Dashboard, Webcrawling

Auslangslage

SENS fördert das nachhaltige Recycling von Elektro- und Elektro­nik­geräten. Für SENS ist neben dem Recycling auch die Wieder­ver­wendung von Geräten von Interesse. Um Massnahmen der Kreis­lauf­wirt­schaft gezielt zu fördern und damit wertvolle Ressourcen zu schonen, benötigt unser Kunde Hinweise zu Produkten sowie zur regionalen und saisonalen Mengen­ent­wicklung auf dem Sekun­därmarkt. SENS möchte daher Infor­ma­tionen zur Wieder­ver­wendung von Elektro- und Elektro­nik­geräten ermitteln und analy­sieren.

Projekt­vorgehen

Für dieses Projekt wählten wir ein iteratives Vorgehen, um möglichst flexibel auf neue Erkenntnisse reagieren zu können. Dabei entwi­ckelten wir in relativ kurzen Itera­tionen die entspre­chende Funktio­nalität, die dann an einem Review-Meeting vorge­stellt und besprochen wurde. Auf Basis der gewonnenen Erkenntnisse wurde jeweils die Planung für die nächste Iteration erstellt.

Am Kickoff-Meeting prüften wir mit SENS mögliche Daten­quellen. Basierend auf ihren Bedürf­nissen und der technischen Machbarkeit wählten wir eine geeignete Handels­plattform als primäre Quelle. In einer ersten Iteration entwi­ckelten wir innerhalb von zwei Wochen den Webcrawler, um die relevanten Daten regel­mässig abzurufen und aufbe­reitet in einer geeigneten Datenbank abzuspeichern. Im anschlies­senden Review-Meeting wurde mit SENS die Daten­qualität und die Daten­auf­be­reitung besprochen. Zudem skizzierten wir auf Grundlage der Analyse-Bedürfnisse verschiedene Möglich­keiten für das Dashboard.

SENS plant explo­rative Daten­analysen durch­zu­führen. Hierfür wurde ein flexibler und inter­aktiver Ansatz für das Dashboard gewählt, damit auch neu auftau­chende Frage­stel­lungen problemlos untersucht werden können. Während der nächsten Iteration entwi­ckelten wir innerhalb von drei Wochen das Dashboard im laufenden Austausch mit SENS, die bereits einen Testzugang erhielten, um die Entwicklung zu verfolgen. Im anschlies­senden Review-Meeting disku­tierten und priori­sierten wir letzte Optimie­rungs­ansätze. In einer letzten Entwick­lungsi­te­ration wurde der Webcrawler und das Dashboard innerhalb weniger Wochen finalisiert.

“Datahouse hat meine Bedürfnisse perfekt abgeholt, mich laufend über den Entwicklungsstand informiert und meine Wünsche stets ernst genommen.”

Pasqual Zopp, Stv. Geschäftsführer, Leiter Back Office

Endprodukt

Die Gewer­be­sta­tistik wurde erfolgreich digita­lisiert. Die Plattform erleichtert den Mitgliedern eine effiziente und korrekte Daten­er­fassung und ermöglicht es, indivi­dua­li­sierte Branchen- oder Kunden­reports zu erstellen. Spezia­li­sierte Benut­zer­rollen für die Geschäfts­stelle und das Dataoffice erleichtern die Adminis­tration und ermög­lichen die weitere Skalierung der Gewer­be­sta­tistik.

Eingesetzte Technologien

SENS hat exklusiven Zugriff auf ein massge­schnei­dertes Analyse-Dashboard. Auf diesem kann SENS alle erhobenen Daten analy­sieren und nach Wunsch expor­tieren. Datahouse stellt im Hintergrund den Betrieb des Dashboards sowie des Webcrawlers sicher und überwacht laufend die Daten­qualität aus den automa­ti­sierten regel­mässigen Abfragen.

Mehr erfahren

Stehen Sie vor ähnlichen Heraus­for­de­rungen oder haben Sie ein vergleichbares Projekt, bei dem Sie Hilfe benötigen? Dann zögern Sie nicht, unseren Senior Expert Data Scientist Thomas Maier zu kontak­tieren.