Wissenschaftlicher Angestellter (w/m/d) Datenstrommanagement in RDMA-Hochleistungsnetzwerken
Berlin
Aktualität: 20.09.2023
20.09.2023, Zuse Institute Berlin
Berlin
Wissenschaftlicher Angestellter (w/m/d) Datenstrommanagement in RDMA-Hochleistungsnetzwerken
Im Rahmen des vom BMBF geförderten Projektes "CBM/FLES: Elastizität und heterogene Datenvolumina in FLESnet» (CBM-FLES-EHDF), das Teil des CBM Verbundes ist, der den Aufbau eines Teilchenbeschleunigerexperiments am GSI/FAIR in Darmstadt vorantreibt, sollen Experimentdaten aus mehreren Hundert Datenströmen kontinuierlich zusammengefasst und zur weiteren Analyse auf verteilten Rechnerressourcen bereitgestellt werden. Um die zu erwartende Gesamtdatenrate von bis zu einigen Terabyte/s handhaben zu können werden Hochleistungsnetzwerke wie Infiniband und direkter entfernter Speicherzugriff (RDMA) in einem Clustersystem eingesetzt. Hierbei ist das Ziel trotz heterogener Datenpaketgrößen auf den einzelnen Kanälen und ggf. unterschiedlicher Leistungsfähigkeit und Verfügbarkeit der einzelnen Netzwerkverbindungen im Cluster, eine möglichst stabile, hohe Gesamtbandbreite bei niedriger Datenverteilungslatenz zu erreichen. Als Grundlage dient bisherige Forschung und das vom CBM-Projekt entwickelte FLESnet System. Entwickelt und erforscht werden sollen beispielsweise neue Techniken und passgenaue Methoden für das Congestion-Control für RDMA-basierte Kommunikation bei Many-to-Many-Übertragungen unter Berücksichtigung aktueller Pufferfüllstände und Verfügbarkeit der einzelnen Kommunikationspartner.
Forschung und Entwicklung im Rahmen des oben genannten Projekts,
Erforschung, Entwicklung und Evaluation von Datenstrom-Steuerungsmechanismen für RDMA-basierte Netzwerke,
Erprobung und Anpassung der entwickelten Verfahren auf innovativer Hardware (Infiniband, OmniPath, RDMA),
Aktive Zusammenarbeit und Abstimmung mit den Projektpartnern,
Klares und effizientes Berichten und Präsentieren der Forschungs- und Entwicklungsarbeit, mündlich und schriftlich,
Zielorientiertes, wissenschaftliches Arbeiten und Publizieren.
Überdurchschnittlicher Universitätsabschluss (Master/Diplom oder äquivalent) in Informatik, Mathematik, oder verwandten Disziplinen,
Fortgeschrittene Kenntnisse in Verteilten Systemen, Netzwerken und Algorithmen,
Gute Programmierkenntnisse, idealerweise in C, C++ oder verwandten Sprachen,
Möglichst Erfahrungen mit Netzwerkprogrammierung, RDMA, ibverbs, libfabric,
Sehr gute Kenntnisse im täglichen Umgang mit Linux/Unix, möglichst auch Slurm,
Gute Englischkenntnisse in Wort und Schrift,
Methodische und konzeptuelle Stärke, Kreativität und Teamfähigkeit,
Hohes Engagement und Selbstständigkeit bei der Bearbeitung der Forschungsfragen und Problemstellungen mit dem Ziel, praxistaugliche Lösungen zu entwickeln.