Weiter zum Ihnhalt

Webcrawling Dashboard

21. Oktober 2021

Text, Face, Female

Inter­aktives Dashboard zur Analyse von Crawlin­g­re­sultaten

SENS möchte die Wieder­ver­wendung von Elektro­geräten in der Schweiz verfolgen, um poten­zielle Massnahmen und Entscheide daten­ge­stützt umzusetzen. Bereits wenige Wochen nach dem Kick-Off konnte SENS die ersten Datensätze auf einem massge­schnei­derten Analyse-Dashboard unter­suchen.

Dashboard, Webcrawling

Auslangslage

SENS fördert das nachhaltige Recycling von Elektro- und Elektro­nik­geräten. Für SENS ist neben dem Recycling auch die Wieder­ver­wendung von Geräten von Interesse. Um Massnahmen der Kreis­lauf­wirt­schaft gezielt zu fördern und damit wertvolle Ressourcen zu schonen, benötigt unser Kunde Hinweise zu Produkten sowie zur regionalen und saisonalen Mengen­ent­wicklung auf dem Sekun­därmarkt. SENS möchte daher Infor­ma­tionen zur Wieder­ver­wendung von Elektro- und Elektro­nik­geräten ermitteln und analy­sieren.

Projekt­vorgehen

Für dieses Projekt wählten wir ein iteratives Vorgehen, um möglichst flexibel auf neue Erkenntnisse reagieren zu können. Dabei entwi­ckelten wir in relativ kurzen Itera­tionen die entspre­chende Funktio­nalität, die dann an einem Review-Meeting vorge­stellt und besprochen wurde. Auf Basis der gewonnenen Erkenntnisse wurde jeweils die Planung für die nächste Iteration erstellt.

Am Kickoff-Meeting prüften wir mit SENS mögliche Daten­quellen. Basierend auf ihren Bedürf­nissen und der technischen Machbarkeit wählten wir eine geeignete Handels­plattform als primäre Quelle. In einer ersten Iteration entwi­ckelten wir innerhalb von zwei Wochen den Webcrawler, um die relevanten Daten regel­mässig abzurufen und aufbe­reitet in einer geeigneten Datenbank abzuspeichern. Im anschlies­senden Review-Meeting wurde mit SENS die Daten­qualität und die Daten­auf­be­reitung besprochen. Zudem skizzierten wir auf Grundlage der Analyse-Bedürfnisse verschiedene Möglich­keiten für das Dashboard.

SENS plant explo­rative Daten­analysen durch­zu­führen. Hierfür wurde ein flexibler und inter­aktiver Ansatz für das Dashboard gewählt, damit auch neu auftau­chende Frage­stel­lungen problemlos untersucht werden können. Während der nächsten Iteration entwi­ckelten wir innerhalb von drei Wochen das Dashboard im laufenden Austausch mit SENS, die bereits einen Testzugang erhielten, um die Entwicklung zu verfolgen. Im anschlies­senden Review-Meeting disku­tierten und priori­sierten wir letzte Optimie­rungs­ansätze. In einer letzten Entwick­lungsi­te­ration wurde der Webcrawler und das Dashboard innerhalb weniger Wochen finalisiert.

„Datahouse hat meine Bedürfnisse perfekt abgeholt, mich laufend über den Entwicklungsstand informiert und meine Wünsche stets ernst genommen.“

Pasqual Zopp, Stv. Geschäftsführer, Leiter Back Office

Endprodukt

SENS hat exklusiven Zugriff auf ein individuelles Analyse-Dashboard. Sie können alle gesammelten Daten analysieren und nach Wunsch exportieren. Datahouse stellt den Betrieb des Dashboards und des Webcrawlers im Hintergrund sicher und überwacht kontinuierlich die Datenqualität aus den automatisierten, regelmässigen Abfragen.

Eingesetzte Technologien

Das Dashboard wurde mit dem R Shiny Framework entwickelt. Für das Webcrawling setzen wir Python Scrapy ein und unsere bewährte Spezialinfrastruktur zur Koordination und Überwachung. Alle Daten liegen in einer MongoDB Datenbank.

Mehr erfahren

Stehen Sie vor ähnlichen Heraus­for­de­rungen oder haben Sie ein vergleichbares Projekt, bei dem Sie Hilfe benötigen? Dann zögern Sie nicht, unseren Senior Expert Data Scientist Thomas Maier zu kontak­tieren.