Projekte mit NOKIA HERE und Zalando SE
Fashion-Crawl
Welche Webseiten berichten über "unsere" Marken? Welches sind die einflussreichsten Fashion-Webseiten? Welche Schuhe trägt Brad Pitt auf der letzten Gala? Wird negativ über unsere Marken berichtet?
Ein Team von vier Studenten der Medieninformatik erarbeitete zusammen mit Daniel Weinland von Zalando SE und Alexander Löser, Torsten Kilias und Sebastian Arnold von der Beuth-Hochschule in der Vorlesung "Enterprise Data Management" einen fokussierten Crawling-Ansatz zur Beschaffung von Daten. Die Beantwortung der Fragen erfolgt in SQL auf Basis der Datenbank Cloudera IMPALA und einer Weiterentwicklung der Beuth-Hochschule "INDREX" zur Verarbeitung der Text Daten. Für das Crawling nutze das Team das Apache Projekt "Nutch", White- bzw. Blacklists sowie statische Seeds vom DMOZ Projekt.
Schnelle "Tile Queries" mit Spark
Können wir Anwendungen, wie HERE Maps, befähigen, Aggregate auf Tiles (Kacheln eines Kartenausschnitts) in unter einer Sekunde zu berechnen? Auf Basis der Technolgien des Projektes Apache Spark, wie RDDs? Mit Daten von HERE auf dem HDFS?
Ein Team von vier Studenten der Medieninformatik erarbeitete zusammen mit Nicolas Neubauer und Oleksandr Lysenko von HERE Deutschland GmbH (einer Tochter von NOKIA) und Alexander Löser, Torsten Kilias und Sebastian Arnold von der Beuth-Hochschule eine Anfrageoptmierung für Tile Queries auf Basis von Technologien des Projektes Apache Spark. Der Ansatz wurde für Real-Life Daten von HERE Maps getestet und erreicht für den Spezialfall der Tile-Queries um bis zu zwei Größrenordnungen schnellere Antwortzeiten als der Standardansatz SpatialHadoop.
[DEMO] [PDF]
Masterprojekt: Facts As You Type
FAYT ist ein interaktives Textfeld, welches den Benutzer beim Erkennen und Disambiguieren von Named Entities unterstützt. Wie funktioniert FAYT? Der Nutzer schreibt einen Satz, welcher parallel analysiert wird. Die Entitäten werden automatisch erkannt und als Tags dargestellt. Der Benutzer kann die Tags dann interaktiv bearbeiten, löschen oder neue Tags hinzufügen.
[DEMO] [PDF]
