Hadoop, Dockers und noch vieles mehr

OpenStack

• Cloud erzeugen, verwalten, bearbeiten

Ceph

• Bereitstellung von Objekt-, Block- oder Dateisytem-Speicher
• schneller Zugriff, parallel große Anzahl von Zugriffen möglich
• RADOS Reliable Autonomic Distributed Object Store
• Ausführung in einem Storage-Cluster
• Applikationen in C, C++, Java, Python & PHP möglich
• RADOS Gateway unterstützt OpenStack Swift & Amazon S3
• Ceph bietet ein File System mit POSIX Semantik an, was andere Systeme wohl nicht haben
• RBD RADOS Block Device

 Apache Hadoop

• Framework für skalierbare, verteilt arbeitende Software
• freie Software in Java geschrieben
• basiert auf einem MapReduce Algorithmus von Google
• Hadoop ermöglicht es intensive Rechenprozesse mit großen Datenmengen auf Computerclustern durchzuführen
• HDFS (Hadoop Distributed File System) ist ein hochverfügbares Dateisystem zur Speicherung sehr großer Datenmengen auf den Dateisystemen mehrer Rechner
• HBASE skalierbare Datenbank zur Verwaltung sehr großer Datenmengen innerhalb eines Hadoop Clusters; basiert auf Google Big Table (Hochleistungs Datenbanksystem)
• HIVE -> Erweiterung um Data Warehouse Funktionalität; Anfragesprache HIVE QL und Indizes (SQL ähnlich)
• Pig: Erstellen von MapReduce Programme für Hadoop mit der Sprache Pig Latin
• Chukwa: Echtzeitüberwachung sehr großer verteilter Systeme
• ZooKeeper: Dient der verteilten Konfiguration von verteilten Systemen
• auf der Homepage werden noch wesentlich mehr Module beschrieben

Elasticsearch

• Suchmaschine
• Vusalisierung heißt Marvel
• JSON Dokumente -> Daten sind immer Dokumente

Dockers

• Container Verwaltung, die unterschiedlichste Anwendungen (in Containern) bereitstellt. Dabei ist es völlig unerheblich aus welcher Umbegung sue aufgerufen wird
• Im Gegensatz zu VMs fehlt Dockers das GuestOS. Dockers teilt den Kernel mit allen anderen Containern. Sie laufen als isolierter Prozess auf dem Host-System

LinuxContainers

• Bereitstellung einer Distro- & Anbieter-neutralen Umgebung zur Entwicklung von LinuxContainer Technologien
• Bereitstellung einer Umgebung ohne Kernel & Hardware Simulation (wie es bei einer VM der Fall ist)
• LXC (lex-cee): Set mit WErkzeugen, Templates,, Bibliotheken und Programmierschnittstellen -> Erzeugung von Containern
• LXD (leex-dee): Container-Hypervisor
• systemweiter Daemon (lxd)
• Kommandozeilen Client (lxc)
• OpenStack Nova plugin (nova-compute-lxd) was ab Ubuntu 15.04 mitgeliefert wird
• REST-API wird über den Daemon bereitgestellt (lokal & über Netzwerk)

• LXCFS: Dateisystem, welches aktuell noch mit einigen Beschränkungen auf dem Linux-Kernel arbeitet. Möglich ist u.a.:
• Bereitstellung eines cgroupfs-like Baum, der dem Container bekannt ist und mit dem CG Manger arbeitet
• Bereitstellung eines Datei-Sets, welches über die originale /proc eingebunden wird um CGroup-Werte bereit zustellen

REST (Representational State Transfer)

• Programmierparadigma für verteilte Systeme, insbesonders für Webseiten
• Abstraktion der Struktur und Verhalten des WWW

MapReduce

• Programmiermodul von Google für nebenläufige Berechnungen über mehrere Petabyte große Datenmengen auf Computerclustern

NAS (Network Attached Storage)

• Speicher der direkt an ein Netzwerk angeschlossen ist
• Verwaltung der Dateien über Netzwerkprotokolle wie SMP/ CIFS, NFS (dateibasiert) oder iSCSI und FCoE (blockbasiert)
• NAS-Systeme arbeiten autonom

Hypervisor:

• Virtual Machine Monitor (VMM)
• abstrahierende Schicht zwischen tatsächlicher Hardware (inkl. installiertem OS) und weiteren Betreibssystemen
• Definition einer virtuellen Umgebung (hardwareresourcen, z.B. CPU, Speicher, FEstplattenplatz, verfügbare Peripherie)
• Die definierte Umgebung ist völlig unabhängig von der realen Hardware, auf der sie eingerichtet wurde
• VirtualBox, VMWare, XEN

KVM (Kernel-based Virtual Machine)

• Hypervisor ohne Bedienoberfläche
• Im Linux-Kerne fest implementiert

XEN

• Hypervisor 
• Citrix-Systems

Object Storage
Block Storage
Dateisystem Storage
Cluster
RabbitMQ