Schmutzige Daten - Insight HPI

Data Science lernen: Schmutzige Daten erkennen und bereinigen

Fehlerhafte Adressen, Tippfehler und doppelte Einträge: Schmutzige Daten können Analysen verfälschen und unnötige Kosten verursachen. In unserem kostenlosen openHPI-Kurs lernst du, wie du solche Fehler erkennst und die Datenqualität verbesserst.

Du entdeckst Verfahren wie die Levenshtein-Distanz und die Kölner Phonetik, um Daten zu vergleichen. Außerdem erfährst du, wie du große Datenmengen effizient nach Duplikaten durchsuchst und diese zusammenführst. So kannst du praxisnah Data Science lernen und deine Datenkompetenz erweitern.

Erlebe wie eine echte Bachelor-Vorlesung am HPI aussehen kann! Dieser Kurs ist der Auftakt der HPI-Insight-Serie auf openHPI und gibt dir einen Einblick ins Studium.

Lernziele

Datenfehler verstehen: Du erkennst, wie schmutzige Daten entstehen und welche Folgen sie haben.

Duplikate aufspüren: Du lernst Ähnlichkeitsmaße wie Levenshtein-Distanz, Soundex und Kölner Phonetik kennen.

Daten effizient durchsuchen: Du nutzt Blocking und Sorted Neighborhood, um große Datenbestände abzugleichen.

Ergebnisse bewerten: Du lernst, Duplikaterkennung mit Precision, Recall und F-Maß zu beurteilen.

Datenqualität verbessern: Du erfährst, wie erkannte Duplikate zusammengeführt werden.

Unsere Dozent:innen

Prof. Dr. Felix Naumann

Prof. Felix Naumann beschäftigt sich mit einer zentralen Frage unserer digitalen Welt: Wie können wir riesige Datenmengen sinnvoll nutzen – auch wenn sie fehlerhaft, unübersichtlich oder über viele Quellen verteilt sind?

Seit 2006 leitet er das Fachgebiet Informationssysteme am Hasso-Plattner-Institut (HPI) in Potsdam. Mit seinem Team erforscht er neue Methoden zur Datenanalyse, Datenreinigung, Informationsintegration und zum Text Mining. Sein Wissen gibt er in Vorlesungen an Studierende weiter und betreut zahlreiche Doktorand:innen.

Felix Naumann studierte Wirtschaftsmathematik an der TU Berlin und erhielt für seine Promotion den Dissertationspreis der Gesellschaft für Informatik. Weitere Stationen führten ihn unter anderem an das IBM Almaden Research Center in Kalifornien, die Humboldt-Universität zu Berlin sowie zu internationalen Forschungseinrichtungen.

Steckbrief zu Prof. Felix Naumann:

So bin ich zur Informatik gekommen - Ich habe Wirtschaftsmathematik studiert und mich im Hauptstudium auf die diskrete Mathematik spezialisiert. Das Thema meiner Diplomarbeit entstand in Kooperation mit einem Informatikinstitut und so rutschte ich dann in eine Informatikpromotion.
Das coolste Projekt, an dem ich gearbeitet habe - Interdisziplinäre Projekte bringen immer besonders viel Spaß. In jüngster Zeit habe ich verschiedene Studierendenprojekte mit Partnern aus der Kunstwelt durchgeführt und dabei sehr viel gelernt.
Mein Tipp für Erstsemester - Halten Sie sich nicht zurück, auch mal eine Professorin oder einen Professor anzusprechen oder anzuschreiben.
Mein persönlicher Lieblingsort auf dem Campus -
Hobby außerhalb der Informatik - Nach 20 Jahren am HPI habe ich mein Büro ganz nach meinen Wünschen eingerichtet und fühle mich wohl.