Datenbankzugriffe parallelisieren mit ØMQ
Datenbankzugriffe parallelisieren mit ØMQ
By Peter Holzer (hjp) aus Vienna.pm
Datum: Freitag Oktober 10, 2014 13:30
Dauer: 40 Minuten
Target audience: Mittel
Language: Deutsch
Tags: databases parallelization perl ømq
Mehr Informationen gibt es auf der Seite des/der Vortragenden:
- Vortrag (Slides usw.): http://www.hjp.at/publ/zmq/
Die volkswirtschaftliche Datenbank des WIFO besteht seit 1973 und
enthält eine bunte Mischung wirtschaftswissenschaftlicher Daten in Form
von Zeitreihen.
Nach der Umstellung von einer hierarchischen Datenbank auf Unisys auf
eine relationale Datenbank (Oracle) unter Unix Anfang der 90er-Jahre
steht nun der zweite große Rewrite an.
Für typische Querys müssen potentiell große Teile der Datenbank
durchsucht werden, das Datenmodell erlaubt aber eine effiziente
Parallelisierung.
Querys werden daher in einfachere Querys aufgespaltet, diese werden
parallel von mehreren Worker-Prozessen abgearbeitet und die Ergebnisse
schließlich wieder kombiniert.
Die Kommunikation zwischen den beteiligten Prozessen erfolgt über ØMQ,
ein sprachunabhängiges, low-level Framework für
Interprozesskommunikation.
Attended by: Markus Förster, Thomas Heine, David Schmidt (davewood), Stephen Riehm, Johann Rolschewski (jorol), Philipp Gortan (mephinet), Stefan Seifert (Nine), Peter Holzer (hjp), Nina Bieringer, Sebastian Hofer, Ernst Lammer, Elizabeth Mattijsen (liz), Roland Ortner, Timo Paulssen (timotimo), Wendy Van Dijk (woolfy),
