Infrastruktur

Zur Bearbeitung von Forschungsfragen und Projekten steht eine Reihe von
Systemen zur Verfügung. Kern ist ein Hadoop-Cluster, der durch einen Server
mit GPUs für In-Memory-Computing sowie einen Spark-Cluster ergänzt wird.

 

 

Hadoop Cluster

Hadoop Cluster

Der Hadoop Cluster besteht aus einem NameNode und mehreren
DataNodes sowie einer entsprechenden Netzwerk-Umgebung:

1 NameNode

  • 2x Intel© Xeon E5-2630v2, 6-Core 2.6GHz
  • 64 GB RAM
  • 512 GB HD

5 DataNodes mit je

  • 2x Intel© Xe on  E5-2630v2, 6-Core 2.6GHz
  • 64 GB RAM
  • 12 TB HD für Daten

Insgesamt stehen 60 TB brutto an Speicherkapazität zur Verfügung,
was bei einem Replikationsfaktor von 3 und der Speicherung von
MapReduce-Zwischenergebnissen ca. 14 TB an effektivem
Speicher entspricht.

GPU-Cluster

GPU

Der GPU-Cluster umfasst drei NVIDIA® Tesla K20C und
2x Intel® Xeon® Ivy Bridge-EP Processor E5-2640 v2,
2.00 GHz mit 8-Core.

GPUs bestehen aus tausenden Prozessoreinheiten und können
gerade in komplexen und parallelisierbaren Berechnungen einen
Performanzvorteil gegenüber CPUs erzielen. Die parallele
Verarbeitung erhöht die Geschwindigkeit von Zugriffen und der
parallelisierte Ausführung von Algorithmen In-Memory.

Spark Cluster

Der Spark Cluster besteht aus drei Nodes

  • ein Node mit 2x Intel® Xeon® Ivy Bridge-EP Series Processor
    E5-2630 v2, 2.60 GHz, 6-Core, 128 GB RAM und 2 TB HD
  • zwei Nodes mit je 2x Intel® Core i7 3930K Processor, 3.20 GHz,
    6-Core, 64 GB RAM und 2 TB HD