In Indien mit Hochgeschwindigkeit
Im November 2022 wurde, nach einigen Monaten gründlicher Vorbereitung, das „Indien-Projekt“ fertiggestellt und die im Rechenzentrum in Mumbai aufgebaute Cloud-Infrastruktur in Betrieb genommen. Ein wirklich spannendes Projekt, über das die Kolleginnen und Kollegen nun hier ein bisschen was erzählen wollen.
Moin zusammen! Das „Indien-Team“ – wer ist das eigentlich?
Finja: Ich bin Finja! Auszubildende zur IT-System-Elektronikerin und aktuell im 2. Lehrjahr. Von mir gab es auf dem Newsblog schon das ein oder andere Mal etwas zu lesen 
(Ein xZubi stellt und vor, Willkommen an Bord)
Jan: Moin! Jan, ich bin IT-Systemtechniker und der Ausbilder im Bereich IT-System-Elektronik bei x-ion. Ich bin, neben der Ausbildung von Finja, verantwortlich für die Betreuung und Planung in unseren Datacentern. Eigentlich gehöre ich fast zum Inventar der x-ion, ich bin nämlich schon seit 2015 dabei. Damals habe ich auch nicht gedacht, dass ich mal Infrastruktur in Indien aufbauen werde!
Christopher: Tach! Ich bin Christopher und als Account Executive der Dreh- und Angelpunkt, wenn es um die Kommunikation mit Kunden, Partnern, und Lieferanten geht. In diesem anspruchsvollen Projekt habe ich als Projektmanager dafür gesorgt, dass alle Mosaiksteine rechtzeitig dahin kommen, wo sie hinkommen sollen – eine echte Herausforderung!
Fabian: Ja, Moini! Ich bin Fabi, Network Engineer und seit Februar 2022 bei der x-ion GmbH. Für Indien war primär die Planung der Netzwerkarchitektur, Automatisierung und das Backbone meine Aufgabe. Mein erster Gedanke zu „Es geht nach Indien!“ war: „Okay, mega. Ich fliege jetzt zum zweiten Mal in meinem Leben und dann einfach mal 8000 km weit weg von zuhause. Warum nicht? Let’s gooo!“ 
Fangen wir doch ganz vorne an: Wie kam es eigentlich zum „Indien-Projekt“ ?
Christopher: Seit vielen Jahren sind wir der präferierte Infrastruktur-Partner des weltweit größten unabhängigen Anbieters für Open-Source E-Mail. Dieser Kunde hat uns aufgrund unserer bisherigen sehr guten Zusammenarbeit im europäischen und nordamerikanischen Raum mit dem Aufbau einer Private Cloud-Infrastruktur für ihn in Indien beauftragt – eine super Chance zu zeigen, dass wir als Hamburger Cloud Service Provider global performen können!
Was genau habt ihr denn da eigentlich aufgebaut?
Jan: Unser Kunde braucht eine Lösung, um Daten in einer sicheren und hochverfügbaren Cloud-Umgebung zu speichern und zu verarbeiten. Um diesen Anforderungen gerecht zu werden, haben wir dort einen High-Availability Multi-Site-Storage-Cluster und einen Dual-Site-Compute-Cluster auf AMD-Basis aufgebaut. Ein Setup, das sich dadurch auszeichnet, auch beim Wegfall einer Site, z.B. durch Wartung oder Ausfall, immer noch voll verfügbar zu sein.
Für den Multi-Site-Storage-Cluster nutzen wir die Software Ceph. Mit dieser Software sind wir in der Lage, große Datenmengen im Petabyte Bereich zu speichern und zu verwalten. Ein weiterer großer Vorteil bei Ceph ist zudem die Skalierbarkeit. Der Cluster besteht aus mehreren Standorten, wobei jeder Standort über einen 1 Gbit/s-Uplink zum Internet verfügt. Die Skalierbarkeit des Uplinks auf 10 Gbit/s oder höher bietet die Möglichkeit, die Verbindung entsprechend des Bedarfs zu erhöhen und so sicherzustellen, dass die Netzwerkleistung immer den aktuellen Anforderungen gerecht wird. Die Standorte sind über redundante Interconnections mit 100 GBit/s verbunden, um eine nahtlose Kommunikation zu gewährleisten. Dank dieser Konfiguration ist der Storage-Cluster in der Lage, die Daten zuverlässig zu speichern und bei Bedarf besonders schnell bereitzustellen.
Für den Dual-Site-Compute-Cluster haben wir uns für OpenStack entschieden. Das Cluster ist auf zwei Standorte aufgeteilt, wobei jede Site den Betrieb autark/alleine durchführen kann. Natürlich sind auch diese beiden Standorte wieder über redundante Interconnections mit 100 GBit/s verbunden.
Welche Vorteile hat diese Lösung?
Jan: Ein großer Vorteil ist hier definitiv die hohe Ausfallsicherheit, die wir mit einer Redundanz über drei Standorte erreichen! Wir können einen Standort updaten, wie z.B Security Updates oder Patches, ohne dass der Kunden einen Impact spürt. Wenn ein Standort ausfallen sollte, kann der Kunde weiterhin ohne größere Einschränkungen weiterarbeiten, da die Daten auch auf den anderen Standorten via 100G Interconnects synchronisiert werden. Sollte es zu einem erhöhten Datenaufkommen (Traffic Flow) vom Kunden kommen, könnte man den Traffic über die drei Standorte aufteilen.
Jeder Standort ist so aufgebaut, dass er Standalone betrieben werden könnte und verfügt über einen eigenen Fiber Uplink. Hier sind natürlich auch die anderen technischen Voraussetzungen für einen Standalone Betrieb auf dem Campus wie z.B Generatoren, Klimageräte, Datacenter Zugänge, Security Personal usw. vorhanden.
Welche Herausforderungen sind euch bei der Umsetzung begegnet?
Finja: In Indien ist erstmal grundsätzlich alles anders! Um in Hotels, Einkaufszentren und auch Rechenzentren zu kommen, durchläuft man alle möglichen Sicherheitsvorkehrungen – wie an einem Flughafen. Dadurch vergeht sehr viel Zeit, bis man tatsächlich mit der Arbeit beginnen kann. Vom Betreten des Rechenzentrums bis hin zu dem Moment, an dem man vor den Racks steht, durchläuft man verschiedene Sicherheitsmaßnahmen. Der ganze Prozess dauert durchschnittlich um die 20 Minuten.
Jan: Alles, was man mit ins Rechenzentrum nehmen möchte, wird via Ticket angemeldet, wie z.B. USB-Sticks, Laptop, Werkzeug (u.a. Messer und Scheren), COM-Adapter, Kabel etc. In unseren Standorten wird alles, was an Equipment mit ins Rechenzentrum genommen wird, noch in Büchern (Ledgern) eingetragen. Nach dem Verlassen des Gebäudes wird jeden Tag das gesamte Equipment wieder ausgetragen. Und am nächsten Tag geht der Prozess wieder von vorne los.
Finja: Für alle möglichen Aufgaben, egal wie groß oder klein, gibt es eine Person, die allein dafür zuständig ist. Auch bei vermeintlich “kleinen” Arbeitsschritten benötigt man dann die Unterstützung dieser Personen – zum Beispiel um Hardware aus dem Lager vor das Rack zu bekommen, damit diese dann eingebaut werden kann. Auch die Arbeitsabläufe sind sehr getaktet, da wird nichts nach vorne oder hinten verschoben. Das ist manchmal eine echte Umstellung für uns gewesen.
Fabi: Kontrollen im Rechenzentrum, Fahrten vom Hotel ins DC, Empfangsprobleme mit dem Handynetz und allgemeine Netzwerkprobleme vor Ort, Listen über Listen, kaum etwas digitalisiert. Sehr lange Wartezeiten und eine komplett andere Lebens- und Arbeitsphilosophie in Indien. Wie Finja schon erwähnt hat, ist die Arbeitsmentalität sehr speziell. Ein Beispiel hierfür: In Deutschland wird ein LKW mit 30 Paletten in 5-15min vom Fahrer ausgepackt und per “Ameise” ins Lager gefahren. In Indien haben 10-15 Mitarbeiter knapp 5 Stunden gebraucht, um das Material abzuladen. Helfen darf man da nicht, weil man sonst den Job und den “Purpose” wegnimmt. Das sind große Probleme, die auch zeitlich sehr viel vom eng bemessenen Projekt wegnehmen und natürlich auch die Nerven und Geduld auf die Probe stellen.
Christopher: Ein Projekt dieser Größe war sowohl für unseren Kunden als auch für uns ein Novum. Noch dazu sollte es in Indien umgesetzt werden, einem Land, mit dem wir vorher keine Berührungspunkte hatten. Wir mussten uns also mit einer komplett neuen Herangehensweise an dieses Projekt machen und wurden quasi jede Woche mit neuen Herausforderungen konfrontiert. Hinzu kam, dass die Auswirkungen der Corona-Pandemie noch deutlich zu spüren waren. Unter anderem war die von uns benötigte Hardware nicht verfügbar bzw. die Lieferzeiten waren noch länger als sonst. Die Prozesse sowie die Genehmigungen, die wir benötigten, um die Hardware ins Land zu bekommen, dauerten viel länger als gedacht. Unsere Freude war riesig, als wir dann endlich rüberfliegen und die Hardware in Empfang nehmen konnten! In der Sekunde wurde es einem bewusst, dass sich die ganzen Strapazen gelohnt haben!
Man fliegt ja auch nicht jeden Tag „mal eben“ nach Indien – wie war das für euch? Gibt es etwas, das euch besonders beeindruckt hat?
Fabi: Es ist einfach nicht vorstellbar und in Worte zu fassen. Indien ist ein wunderschönes Land, die Menschen sind liebevoll und zuvorkommend (gegenüber Gästen, anderweitig kann ich es nicht beurteilen) und die Küche ist meiner Meinung nach die beste der Welt.
Im krassen Kontrast dazu stehen viele Probleme, die Indien hat, wie z.B. die enorme Verschmutzung der Städte oder vom Kontrast zwischen Arm und Reich. Natürlich weiß man vorher von vielen Problemen. Man hat davon bereits einiges in Reportagen gesehen oder gehört. Wie enorm präsent jedoch das Alles tatsächlich im Alltag ist, davon kann man sich bei aller Vorbereitung einfach keine Vorstellung machen.
Ansonsten ist Indien eine der schönsten Erfahrungen, die ich je in meinem Leben hatte. Die Arbeit war bis auf die Kontrollen und tausenden Listen natürlich wie jede andere Rechenzentrumsarbeit in Deutschland o.ä. – vorausgesetzt die Racks haben Strom, Sicherungen sind nicht falsch angeschlossen und verursachen keine Kurzschlüsse.
Man hat viel Lärm, Kälte, Hitze im DC und es macht einfach nur Spaß, Storage- und Computing Cluster aufzubauen und im Endeffekt zu sehen, was man im Team alles erreicht hat und wie dann die Systeme nach und nach online sind! 
Christopher: Vor Antritt der Reise hatte ich so meine Zweifel, was unseren Aufenthalt in Indien angeht. Ich hatte ein gewisses Bild vom Leben dort im Kopf. Und die Vorurteile gegenüber dem Leben auf dem Subkontinent, die wir Europäer haben, waren mir sehr präsent. Im Nachhinein kann ich aber ganz klar sagen, dass die Umsetzung dieses Kundenprojektes eine der nachhaltigsten Erfahrungen für mich war! Wir haben das Land und die Leute natürlich nicht als Touristen kennengelernt, sondern in einem Arbeitskontext. Doch die Herzlichkeit, die Freundlichkeit, die Arbeitsmoral und die Offenheit der Menschen dort sind anders als ich es z.B. aus Deutschland her kenne. Zu sehen, wie IT, Cloud und Kommunikation da gelebt werden, war super spannend! Ich habe Indien und seine Bewohner zu schätzen gelernt!
Finja: Man kann sich in Indien keine Stille vorstellen. Es ist einfach überall laut. Selbst nachts um 4 Uhr hört man in seinem Hotelzimmer den Verkehr der vor dem Fenster vorbei fließt. Zurück in Deutschland, auf dem Weg vom Flughafen nach Hause fällt einem der Unterschied wirklich auf. Nicht nur an die Deutsche Zeit (4,5h Unterschied) musste man sich erstmal wieder gewöhnen, sondern auch an die Ruhe. Selbst den Verkehr in Hamburg würde man als Stille bezeichnen, und das will schon was heissen!
Würdet ihr nochmal so ein Projekt durchführen? (Und welches Land würdet ihr euch wünschen? )
Finja: Ich würde sagen: Hauptsache weg! Ich bin bei allem dabei. Generell bin ich sehr dankbar für die Chance, so etwas überhaupt in der Ausbildung miterleben zu dürfen. Das hat man nicht überall! 
Fabi: Let’s goooo! Ich bin auch dabei. 3 Wochen sind schon sehr lang und ich würde gern maximal für 14 Tage im Ausland sein, aber ansonsten bin ich bei jedem Projekt gerne dabei. Von Anfang bis Ende!
Christopher: Dieses Projekt war wirklich anspruchsvoll und hat uns viel abverlangt. Zudem war Indien privat nie ein geplantes Reiseziel von mir. Doch in der Retrospektive kann ich mit Fug und Recht behaupten, stolz darauf zu sein, was wir geleistet haben. Ich habe wirklich viel Glück, dass ich die Gelegenheit erhalten habe, eine so tolle Geschäftsreise dorthin zu machen. Es hat mir vor Augen geführt, wie wichtig das Reisen ist, um seinen persönlichen Horizont zu erweitern. Deshalb kann ich mir auch gut vorstellen, in weiteren Ländern Kundenprojekte umzusetzen. Natürlich wäre es von Vorteil, wenn ich in dem jeweiligen Land mindestens in der englischen Sprache kommunizieren könnte.
Danke, dass ihr eure Eindrücke und Erfahrungen aus Indien mit uns geteilt habt! Wir sind gespannt, wo es die xCrew als nächstes hin verschlägt
Autor/Autorin: Finja, Jan, Christopher & Fabian („Das Indien-Team“), Team Marketing
