Rechenzentren: Die häufigsten Fehler bei Planung, Bau und Betrieb und wie man sie vermeidet

Rechenzentren werden mehr und mehr zum Rückgrat der Wirtschaft und jedes einzelnen Unternehmens. Kaum ein Geschäftsprozess lässt sich heute noch reibungslos ohne den Einsatz von IT-Services abwickeln, oft geht ohne EDV gar nichts. Bei Konzeption, Bau und Betrieb von ­Rechenzentren kann man viele Fehler machen, die am Ende schlimmstenfalls Sicherheit und Verfügbarkeit gefährden. Zu hohe Betriebskosten entstehen vor allem, wenn die Energie­effizienz vernachlässigt wird.

Sorgfältige Planung im Vorfeld
Ein optimales Rechenzentrum fängt mit der Planung an. Besonders fatal wirkt es sich aus, wenn an den späteren Leistungs- und Verfügbarkeitsansprüchen vorbei geplant wird. Die Definition der gewünschten Leistungsparameter des Rechenzentrums sollte nicht nur Verarbeitungskapazität der Rechner, Speicher und übrigen Systeme umfassen, sondern auch Aspekte wie Klimatisierung, Sicherheit oder komplexe IT-Prozesse.

Maßgeblich sind hinsichtlich Leistung und Verfügbarkeit die Ansprüche der zukünftigen Anwender. Die für die angestrebte Verfügbarkeitsklasse nötige RZ-Architektur lässt sich anhand der Definitionen des Uptime-Instituts detaillieren. Es klassifiziert Rechenzentren je nach Verfügbarkeit in Tier I (geringe Verfügbarkeitsanforderungen) bis IV (Hochverfügbarkeit). Für jeden Tier sind eindeutige Anforderungen beispielsweise hinsichtlich der Redundanz der Stromversorgungen festgelegt, die bei der Planung berücksichtigt werden sollten.

Es empfiehlt sich daher schon weit im Vorfeld des eigentlichen Bauprozesses eine detaillierte Vorplanung, die alle Erwartungen an Leistung, Effizienz und Sicherheit des Rechenzentrums umfassen sollte. Zu letzterem gehören detaillierte Überlegungen hinsichtlich des Zugriffs auf die Infrastruktur mit Schutzmaßnahmen und einer Berechtigungsstruktur. Am Planungsprozess sollten alle betroffenen Bereiche einschließlich der Anwender beteiligt werden. Als Resultat entsteht ein Pflichtenheft, das als Grundlage für sämtliche späteren Prozesse dient.

Elektrischer Strom ist im Rechenzentrum eine rund um die Uhr unterbrechungsfrei notwendige Basisressource. In die Konzeption und Realisierung der Stromversorgung sollte man daher die größtmögliche Sorgfalt investieren. Schon mancher Rechenzentrumsbau hat sich verzögert, weil die nötigen Versorgungsleitungen nicht schnell genug in der gewünschten Kapazität bereitgestellt werden konnten. Die günstige und ausreichende Verfügbarkeit von Strom ist daher ein wichtiger Faktor bei der Standortsuche, der im Zuge des Umstiegs auf Erneuerbare Energien noch weit wichtiger werden dürfte.

Generalunternehmer verantwortet den Neubau
Am eigentlichen Bau des Rechenzentrums sind viele Gewerke beteiligt. Dadurch entsteht hoher Abstimmungsaufwand. Zudem sind oft genug die Verantwortlichkeiten nicht klar genug gegeneinander abgegrenzt. Die Folge: Planungs- oder Abwicklungsfehler, die sich später in höheren Material-, Arbeits- oder Betriebskosten niederschlagen. Werden etwa die vorgesehenen Bodenraster des Lochbodens nicht eingehalten, erschwert das später Wartungsarbeiten, weil der Boden sich da, wo es nötig wäre, nicht öffnen lässt.

Selten gibt es unternehmensintern einen Mitarbeiter, der so erfahren ist, dass er die Tücken der unterschiedlichen Gewerke und ihres Zusammenspiels im Detail kennt. Schließlich gehören Fachwissen zu Brandschutz, Klimatisierung oder Elektroinstallation nicht direkt zur Kernkompetenz eines RZ-Verantwortlichen. Den Bau eines neuen Datenzentrums „nebenbei" zu verantworten, dürfte nur den wenigsten optimal gelingen. Oft ist es daher besser, einen erfahrenen Planer schon im Vorstadium zu Rate zu ziehen und später einen Generalunternehmer zu beauftragen, der die Umsetzung der Pläne bis zur Übergabe an den Kunden verantwortet.

Zertifizierte Komponenten verwenden
Auch an die notwendigen Zertifizierungen wird oft nicht gedacht. Wer sich erst nach dem Bau damit befasst, muss mit einem längeren Zertifizierungsprozess rechnen und im schlimmsten Fall nachbessern. Es gilt: Wer zertifizierte Lösungen für Teilbereiche vorschreibt, hat es auch bei der Zertifizierung des gesamten RZ einfacher. Gerade beim Thema Sicherheit sollte man sich auf zertifizierte Lösungen verlassen, um spätere Zertifizierungsprozesse fürs Rechenzentrum nicht zu verlängern. Außerdem verbessern solche Lösungen die Ratings von Versicherungen und bei der Kreditvergabe. Insoweit sie schon kodifiziert sind, sollte man sich an die aktuellen europäischen IT-Sicherheitsstandards halten. Die steigert nicht zuletzt das Vertrauen bei ex- oder internen Kunden.

Schränke und Racks zukunfts­sicherdimensionieren
Nicht nur das RZ-Gebäude muss mit Blick auf die Zukunft und die Anforderungen der Kunden geplant werden. Das Gleiche gilt für die Basis-Infrastruktur aus Netzwerkschränken und Serverracks. Wer zum Beispiel keine ausreichend tragfähigen Serverracks auswählt, stößt bei den hochkompakten Blade-Systemen der virtualisierten Rechenzentren der Zukunft schnell an Grenzen. Dann ist eine komplette und entsprechend teure Umrüstung fällig.

Das gesamte Schranksystem sollte auf Flexibilität und Sicherheit vor unbefugten Zugriffen ausgelegt sein und Anbauten in möglichst vielen Richtungen gestatten. Modulare, skalierbare Lösungen, die verschiedene Abmessungen innerhalb einer Serie anbieten, gleichzeitig aber alle gängigen Normen beinhalten, sind hier erste Wahl. Sonst entsteht bei Erweiterungen eine heterogene Umgebung mit allen damit verbundenen Nachteilen. Die sorgfältige Auswahl des Schranksystems garantiert, dass spätere Erweiterungen schnell und kostengünstig ablaufen.

Sicherheit modularisieren
Aus Anwendersicht ist Sicherheit neben Verfügbarkeit das wichtigste Qualitätskriterium für Rechenzentren. Wurden wichtige Informationen entwendet oder gelöscht, nehmen sich die Kosten ausreichender Sicherheitsmaßnahmen neben dem entstandenen Schaden oft gering aus. Andererseits sollte man auch in diesem Bereich nicht überdimensionieren, um Kosten zu sparen. So brauchen nicht unbedingt alle Bereiche des Rechenzentrums die gleiche Sicherheitsstufe. Für viele Räume wird ein Grundschutz genügen, die Server allerdings sollten auf der höchsten vom Anwender gewünschten Sicherheitsstufe betrieben werden. Modulare Konzepte und Hochsicherheits-Serverzellen ermöglichen sinnvolle Abstufungen des Sicherheitsgrades. Das senkt die Kosten, ohne das Sicherheitsniveau zu beeinträchtigen.

Prozesse und Parameter überwachen
Zur Sicherheit gehört auch, die eigentlichen RZ-Prozesse stets zu überwachen. Sonst bleiben Fehler oder sich anbahnende Probleme zu lange unbeachtet, und es kann zu Schäden oder Ausfällen mit entsprechenden Kosten kommen. Hier helfen Sensoren in Racks und Systemen in Verbindung mit einer Monitoring-Software dem Administrator, immer den nötigen Überblick zu behalten. Allerdings geht der schnell wieder verloren, wenn das System Berge unsortierter Meldungen ausspuckt, in denen das wirklich Relevante untergeht. Also sollten Systeme vorgezogen werden, mit denen sich Meldungen intelligent bündeln lassen, aus denen definierte Aktionen abgeleitet werden. Wird zudem ein Notfallhandbuch für denkbare Risikosituationen erstellt, weiß bei Krisen und Problemen jeder sofort, was er zu tun hat. Das hilft, potenzielle Schäden zu minimieren und schnell Abhilfe zu schaffen.

Leichtsinnig verhält sich, wer für die verwendeten Produkte keine Service- oder Wartungsverträge abschließt. Wie beim Auto die Inspektion Pannen vorbeugt, so stellt die regelmäßige Wartung der RZ-Komponenten sicher, dass es im Idealfall gar nicht erst zu Störungen kommt. Sollte es dennoch zu einem Fehler kommen, sind RZ-Verantwortliche mit Service-Vertrag besser dran. Sie können sich darauf verlassen, dass fehlerhafte Komponenten schnell repariert oder ausgetauscht werden. Hier zu sparen, ist also wenig sinnvoll.

USVs richtig dimensionieren und auswählen
Intern garantieren unterbrechungsfreie Stromversorgungen (USV), dass die Systeme bis zum Anlaufen eines Notstromaggregats oder schlimmstenfalls bis zu einem abgesicherten Shutdown weiterlaufen, wenn die externe Stromversorgung ausfällt. Bei Rechenzentren sind oft längere Überbrückungszeiten gefragt, um vereinbarte Servicelevel durchgängig zu garantieren. Schließlich hängen meist Kerngeschäftsprozesse der RZ-Kunden von der Verfügbarkeit der zentralen IT-Services ab.

sollte man die USVs hinsichtlich Kapazität und Überbrückungsdauer äußerst sorgfältig und auf jeden Fall ausreichend dimensionieren. Wer beispielsweise nur den Strombedarf der Server einkalkuliert, den von Speichern, Kühlung und Switches aber ignoriert, muss sich im Ernstfall schnell mit einem riskanten Engpass herumschlagen. Besonders wichtig ist eine genaue Beschreibung des nötigen Lastbereichs. Wer seine Server-Farm auf Blade-Systeme konsolidiert, braucht auf jeden Fall ein System, das nun kapazitive Lasten ebenso effizient abfangen kann.
Sparen zahlt sich bei USVs nur selten aus: Niedrige Wirkungsgrade, monolithische, nicht erweiterbare Lösungen, kurze Lebensdauer der Batterien, fehlende Safe-Swap-Funktion für den Modulaustausch bei laufendem Betrieb, fehlende Batterieüberwachung oder ungünstige Wartungsvereinbarungen senken zwar vielleicht die primären Anschaffungskosten, treiben dafür aber Betriebskosten und Ersatzbeschaffungsbedarf nach oben. Schlimmstenfalls führen sie zu unvorhersehbaren Ausfällen.

USVs und internes Stromnetz pflegen
Falsche Behandlung kann USV-Systeme schädigen oder ihre Funktion beeinträchtigen. Wer etwa die Batterien von der Anlage bei Temperaturen über 25 Grad einsetzt, senkt deren Lebensdauer. Derzeit erlauben die Richtlinien von ASHRAE, der amerikanischen Vereinigung der Kühl- und Klimatisierungsexperten, bereits Temperaturen im Serverraum des Rechenzentrums bis zu 27°C. Wird dieser Spielraum komplett genutzt, sollten die USV-Batterien in einem anderen, niedriger temperierten Bereich untergebracht werden. Außerdem müssen Batterien regelmäßig gewartet werden, um ihre Kapazität nicht vorzeitig zu verlieren. Diese Aufgabe überlässt man am besten dem Spezialisten. Auch das interne Stromnetz über die USV hinaus verdient Beachtung: Wenn die Unterverteilung des erzeugten Stroms nicht regelmäßig geprüft wird, kann es zu Ausfällen beispielsweise aufgrund defekter Netzteile und Schalter kommen, gegen die auch die beste USV-Anlage machtlos ist.

Kühlen mit optimaler PUE
Schon während der Planungsphase sollte ein Kühlkonzept erarbeitet werden, das mit dem späteren Layout der Rechnerräume optimal korrespondiert. Das spart nicht nur viel Geld, sondern senkt auch den PUE-Wert. Eine niedrige PUE (Power Usage Effectiveness, Effektivität des Stromeinsatzes) gilt heute zunehmend als ein Effizienzausweis. PUE setzt den Gesamtstromverbrauch eines Rechenzentrums ins Verhältnis zu dem Energieanteil, der von der IT selbst (Server/Speicher/Netzwerke) verbraucht wird. Dabei steht der Verbrauch der IT im Nenner, der Gesamtstromverbrauch im Zähler. Das ideale Datenzentrum hat eine PUE von 1, die aber in der Praxis unerreichbar ist. Realistisch für Neudesigns sind heute PUE-Werte ab 1,2, Hier entsteht also ein Strombedarf für die Kühlung und die übrige Infrastruktur, der bei 20 % des Strombedarfs für die IT liegt. Vereinzelt werden sogar bessere Resultate gemeldet. Bei vielen älteren, unrenovierten oder schlecht ausgelasteten Datenzentren findet man PUEs zwischen 2 und 3 oder sogar darüber.

Beim Kühlkonzept kommt es auf‘s Detail an: Wer beispielsweise das Umluft-Kühlgerät möglichst weit von den Racks mit der größten Leistungsdichte entfernt vorsieht, darf sich über überhitzte Rechner dort nicht wundern - die Kaltluft wird dieses Rack unter Umständen nicht oder nicht im nötigen Volumen erreichen. Bei großen Leistungsdichten im Datenzentrum sollte man sich grundsätzlich von der Umluftkühlung verabschieden und zu Rack- oder Reihen-basierenden Klimatisierungslösungen übergehen. Denn ein Serverausfall kostet oft mehr als die Investition in verbesserte Kühltechnik.
Besondere Sorgfalt erfordert die Dimensionierung von Split-Kühlgeräten: Wer die Leistungsanforderungen an das System falsch einschätzt, verkürzt dessen Lebensdauer durch dauerndes Ein- und Ausschalten, sobald die Solltemperatur erreicht wird, über- oder unterschritten wird. Genaue Planung und Analyse vor dem Einkauf sowie laufende Überwachung der aktuellen Leistungsanforderungen verhindern das.

Racks gleichmäßig befüllen
Vollgestopfte Racks, aber auch solche mit großen „Löchern", womöglich auch noch ohne Abdeckung, erschweren die optimale Kühlung. Zu volle Schränke werden heiß, leere kälter als sie sein müssten. Die Racks sollten daher möglichst gleichmäßig ausgelastet sein. Kabel dürfen nicht die Lüftungswege verstopfen, leere Höheneinheiten sollten geschlossen werden, da diese zu Luftkurzschlüssen führen. Blindpanels, sparsame Verkabelung genau nach Plan und eine geordnete Kabelführung schaffen hier Abhilfe.

Auch wer den Kühlbedarf eines Racks falsch einschätzt, beispielsweise weil aufgrund laufender Änderungen der Gerätebestand ein anderer ist als am Anfang, verschenkt Kühlenergie oder kühlt zu wenig. Auch im laufenden Betrieb unterliegt der Kühlbedarf ständigen Änderungen, beispielsweise, weil am Wochenende weniger Systeme im Betrieb sind. Hier können automatische Inventarisierung und sensorgestützte Überwachung des Racks Schäden und Verschwendung verhindern und damit die Kosten beträchtlich senken.

Kalt- und Warmgänge einbauen
Durchgesetzt hat sich inzwischen die Implementierung getrennter Kalt- und Warmgänge. Ohne sie vermischen sich Kalt- und Warmluft unberechenbar und der Energiebedarf für die Kühlung steigt erheblich. Wo Luftkurzschlüsse entstehen, kann es zu Hotspots kommen. Am besten ist es, den Kaltgang zusätzlich durch eine Decke, Tür und Wände abzuschotten. Dann kann kalte Luft nicht entweichen und das Gesamtsystem lässt sich mit höheren Temperaturen fahren. Wie oben bereits erwähnt, eröffnen die Richtlinien der ausschlaggebenden Fachverbände hier inzwischen größere Spielräume. Wer Kalt- und Warmgänge einbaut, muss übriges anschließend auch die Brandlöschanlage an die neue Situation anpassen. Sonst landet im Brandfall das Löschpulver statt im Brandherd wirkungslos auf dem Dach des Kaltganges. Das Beispiel zeigt, dass man bei Umbauten generell sämtliche Auswirkungen auf andere Bereiche des Datenzentrums im Auge behalten muss, um Ausfälle zu vermeiden.

Freie Kühlung erwägen
Zumindest in gemäßigten mittel- und nordeuropäischen Klimazonen sollte immer die freie Kühlung mit Umgebungsluft erwogen werden. Sie eignet sich mindestens bis 21 Grad Außentemperatur, wird in manchen Rechenzentren aber noch bei weit höheren Außentemperaturen verwendet. Häufig reicht sie für den größten Teil des Jahres aus, was den Einbau von Chillern unnötig macht. Kühlwasser sollte auf keinen Fall kälter als nötig sein. Wer hier zu viel tut, verschenkt wertvolle Energie und treibt die Kosten in die Höhe.

Verzichtet man dagegen auf eine Be- und Entfeuchtung, kann die Luftfeuchtigkeit unter Umständen zu hoch oder zu niedrig für die empfindlichen Geräte sein. Allerdings wurden auch hier die zulässigen Bereiche schon erweitert. Im Zweifel sollte ein Spezialist anhand der Wetterbedingungen vor Ort und der Details des geplanten Rechenzentrums entscheiden, inwieweit auf Kühl- und Klimatisierungsaggregate verzichtet werden kann.

Fazit: Viel Raum zum Sparen
Wer die wichtigsten Regeln bei Planung, Bau und Betrieb von Rechenzentren berücksichtigt, kann gegenüber anderen Verfahrensweisen die Kosten bemerkenswert senken. Sicherheit, Leistung und Verfügbarkeit leiden darunter nicht, sondern profitieren im Gegenteil von einem konsistenten, durchdachten Bau- und Betriebskonzept.