Server in Hochleistungsrechenzentren

Neben der exponentiell stei­genden Rechenleistung im Be­reich mehrerer Petaflops – Billiar­den Rechenschritte pro Se­kunde – wird die energierelevante Infrastruktur der Rechen­zentren immer mehr zur Herausforderung. Es gilt zugleich, die notwendige elektrische Energie für den Serverbetrieb dauerhaft und unterbrechungsfrei zu ge­währ­leisten und die von den Ser­vern produzierte Wärme sicher abzuführen. Durch die not­wendigen Redundanzen sowie den Rund-um-die-Uhr-Betrieb ergeben sich hohe laufende Kosten. Insbesondere die Art der Kühlung beeinflusst die Effizienz erheblich. Weitere maßgebliche Faktoren sind die energetischen Verluste durch ungünstige Wirkungsgrade von Komponenten wie der USV oder der Transformatoren.

Belastbare und zuverlässige Bewertungskriterien

Kenngröße für die Energieeffizienz von Rechenzentren ist die „Power Usage Effectiveness“ (PUE). Sie wird bestimmt, indem die Leistungsaufnahme der IT-Komponenten mit der des gesamten Rechenzentrums in Relation gesetzt wird. Das Ziel ist immer, ein möglichst niedriger Wert. Der PUE-Faktor eines zeitgemäßen Rechenzentrums in Deutschland liegt bei kleiner oder gleich 1,3. Das heißt, dass mindestens der 1,3-fache Energiebedarf der IT zusätzlich für die Energieversorgung und Klimatisierung benötigt wird. Der PUE-Wert alleine lässt jedoch keinen verlässlichen Vergleich zu, denn Messungen im Winter ergeben durch den geringeren Kühlbedarf ein besseres Ergebnis als eine Messung im Sommer. Darum wurde seitens des BITKOM der PUE-Faktor mit den Kategorien PUE0 bis PUE3 eingeführt. Dabei stellt der PUE3 die genaueste Bewertung dar. Diese erfolgt anhand kontinuierlicher Messungen über das gesamte Jahr und direkt an der IT-Komponente.

Vergleich der technischen Varianten zur Kühlung

Zur Kühlung von Servern stehen grundsätzlich drei Möglichkeiten zur Verfügung: Luft-, Kaltwasser- und Warmwasser­kühlung.

1) Luftkühlung

In herkömmlichen Rechenzentren wird im Server-Rack und im Raum mechanisch erzeugte Kaltluft als Kühlmedium verwendet. Für die Luftkühlung [1] wird systembedingt die der Luft entzogene Wärme an die Umgebung abgegeben.

Die gebräuchlichste und wirkungsvollste Lösung für diese Art der Raumkühlung ist das Kaltgangprinzip: Dabei werden die Server-Racks, die standardmäßig die konditionierte Zuluft an der Vorderseite ansaugen, so aufgestellt, dass abwechselnd Warm- und Kaltgänge entstehen. Die Kaltluftzuführung erfolgt über einen Doppelboden von unten (Bild 1). Die Temperaturspreizung zwischen Luftein- und -austritt ist dabei durch die maximal erlaubten Luftaustrittstemperaturen der IT-Komponenten begrenzt. Die einzuhaltenden Raumkonditionen für Serverräume sind z. B. in der Richtlinie 2010 der ASHRAE (American Society of Heating, Refrigerating and Air-Conditioning Engineers) geregelt.

Der Flaschenhals für die Versorgung der Racks mit konditionierter Luft liegt in erster Linie im Doppelboden. Hier befindet sich eine Vielzahl von Strömungshindernissen wie Verkabelungen oder Verrohrungen, die die gleichmäßige Verteilung der Kühlluft im gesamten Raum einschränken. Zur Reduzierung der Energieverluste werden heute vermehrt Cool-Wall-Systeme eingesetzt, die dank wesentlich größerer Wärmetauscherflächen als klassische Präzisionskältemaschinen effizienter betrieben werden können.

2) Kaltwasserkühlung

Bei einer Kaltwasserkühlung entfällt die Verteilung der Kaltluft über den Doppelboden. Die Umluftkühlung wird hierbei direkt über ein kaltwassergekühltes Rack oder die direkte Installation im Kaltgang realisiert. Der Wärmetauscher und die Ventilatoren zur Luftförderung befinden sich direkt am Rack. Das Ergebnis ist eine höhere Kühlleistung durch geringere Verluste. Das benötigte Kaltwasser stellen Kältemaschinen bereit. Das übliche Temperaturniveau für die Serverkühlung liegt aktuell bei circa 14 bis 18 °C. Um weitere Energieeinsparungen zu ermöglichen, ist es nötig, die Systemtemperaturen weiter zu erhöhen. Dadurch kann die Kühlung zum Großteil des Jahres über Freikühlbetrieb – also ohne zusätzlichen Energieverbrauch – ermöglicht werden.

In derzeitigen Rechenzentren findet man häufig kombinierte Varianten von Luftkühlung und direkter Rackkühlung, da nicht alle Server-Systeme das gleiche Temperaturniveau benötigen. Kaltwasser gekühlte Server werden in der Regel als Mischvariante in Kombination mit luftgekühlten Systemen eingesetzt (Bild 2). Vor allem größere Rechenzentren profitieren durch diesen Parallelbetrieb, da so ein gewisses Maß an Flexibilität gewährleistet ist.

3) Warmwasserkühlung

Klassische, luftgekühlte Rechenzentren benötigen für die Kühlung ca. 50 % ihres Energiebedarfs zusätzlich, weil die Kälte mechanisch erzeugt werden muss. Einen energetischen Vorteil bietet der Einsatz von warmwassergekühlten Server-Racks. Bei ihnen wird für die Wärmeabfuhr keine mechanische Kälte eingesetzt, so kann der Energieverbrauch stark reduziert werden. Der Trend bei Hochleistungsrechnern geht daher zu vollständig warmwassergekühlten Servern. Das Leibniz-Rechenzentrum für die Münchener Universitäten und die bayrische Akademie der Wissenschaften oder das Karlsruher Institut für Technologie KIT gehören zu den Vorreitern dieses Technologiewandels.

Die Warmwasserkühlung erfolgt direkt am Serverblade (Bild 3). Die Vorlauftemperatur beträgt dabei 40 °C, die Rücklauftemperatur 45 °C. Dieses Temperaturniveau eignet sich hervorragend für die indirekte freie Kühlung in klima­tisch gemäßigten Regionen, in de­nen die Außentemperatur nicht über 39 °C steigt.

Ein weiterer Vorteil ist die Mög­lichkeit zur sinnvol­len Ab­wär­menutzung, etwa für Heizprozesse. Die als Abfallprodukt zur Verfügung stehende Wärme wird dann nicht über Rückkühler an die Umgebung abgegeben, sondern genutzt, um in anderen Gebäudeteilen Heizenergie einzusparen. Ähnlich der Kaltwasserkühlung wird bei der Konzeption größerer Rechenzentren auch dieses System häufig mit luftgekühlten Servern kombiniert (Bild 4), um mehr Flexibilität zu erreichen.

Beispiel Rechenzentrum

Das folgende Beispiel zeigt eine Gegenüberstellung von Kalt- und Warm­was­serkühlung sowie jeweils ge­eignete Rückkühlvarianten. Beide Varianten gehen von einem Rechenzentrum mit einer installierten Rechenleistung von 1 MW aus. Für diese Re­chen­leistung ist eine Kühlung vor­zusehen. Außerdem wird unterstellt, dass ein zusätzlicher Kälte­bedarf für die Kühlung der peri­pheren technischen Ein­rich­tun­gen, wie z. B. Batterieräumen oder Nieder- und Mittelspannungshauptverteilungsräumen, erforderlich ist. Dieser wird über eine dy­na­mi­sche Luftkühlung, die er­fah­rungs­gemäß rund 25 % der ins­tallierten Rechnerleistung ausmacht, angesetzt.

In fünf Tabellen sind die beiden Varianten der Kalt- und Warm­wasserkühlung anhand eines Beispiels mit Zahlen belegt. Die Tabellen 1 und 2 beziehen sich auf die Kalt­wasser­-, die Tabellen 3 bis 5 auf die Warmwasser­kühlung.

1) Kaltwasserkühlung

Tabelle 1 zeigt die installierten Kälteleistungen sowie die Dimensionen der Kälteerzeuger. Die Kälteleistung zur Rechnerkühlung liegt bei 1000 kW, weitere 250 kW werden für die Peripherie benötigt. Damit ergibt sich eine gesamte Kälteleistung von 1250 kW. Um diese Kälteleistung abzudecken, wurden zwei Kälte­maschinen (n+1 Redundanz) mit jeweils 1250 kW gewählt.

In Tabelle 2 sind die dafür notwendigen Rückkühlleistungen zusammengestellt. Die Dimensionierung der Rückkühler ergibt sich aus 1250 kW Gesamtkälteleistung + 208 kW elektrische Leistungsaufnahme der Kältemaschine = 1458 kW Rückkühlleistung. Im Beispiel wurden drei Rückkühler mit 730 kW (n+1 Re­dundanz) gewählt.

2) Warmwasserkühlung

Die Warmwasserkühlung wird ausschließlich für die Kühlung der Server eingesetzt. Im Beispiel sind dies 1000 kW. Diese werden über Rückkühler oder eine geeignete Abwärmenutzung rückgekühlt. Für diesen Kühlprozess wird keine mechanisch erzeugte Kälte, also keine zusätzlichen Kältemaschinen benötigt. Denn aufgrund der hohen Kühlwassertemperaturen von 40 bzw. 45 °C ist eine Rückkühlung ausschließlich mit Hilfe der Außenlufttemperatur möglich. Lediglich bei Bedarf erfolgt eine unterstützende adiabatische Verdunstungskühlung durch Besprühen mit VE-Wasser. Es sind le­dig­lich drei Rückkühler (n+1 Redundanz) vorgesehen (Tabelle 3). Mechanisch erzeugte Kälte wird dann, wie bereits oben beschrieben, nur für die Peripherie benötigt. Die erforderliche Leis­tung dazu ist in Tabelle 4 zus­ammengefasst. Tabelle 5 zeigt die erforderlichen Rückkühlleistungen.

3) VE-Wasser

Für die oben erwähnte Verdunstungskühlung durch Besprühen kommt ausschließlich demineralisiertes, also vollentsalztes VE-Wasser in Betracht. Dieses Wasser enthält, anders als z.B. herkömmliches enthärtetes Wasser, keinerlei gelöste Stoffe und verhindert so u.a. das Verkalken von Wärmetauschern. Die besonders hohen Anforderungen und Qualitätskriterien, die es erfüllen muss, erfordern einen großen technischen und damit auch kostenintensiven Aufwand bei der Herstellung und Aufbereitung. Zur Reduzierung der Energiekosten gilt es demnach, einen möglichst geringen Verbrauch an VE-Wasser anzustreben.

Bei der Warmwasserkühlung wird ab Außentemperaturen von 33 °C und darüber VE-Wasser genutzt, um die Ansaugluft der Rückkühler durch Verdunstung (adiabatische Kühlung) vorzukühlen. Dies ist notwendig, um die geforderten Kühlwassertemperaturen von 38 bzw. 43 °C auch bei höheren Außentemperaturen zu erreichen.

Bereits bei Außentemperatu­ren ab 27 °C benötigen die Rückkühler zur Kaltwasserkühlung ebenfalls ein Besprühen mit VE-Wasser, um Kühlwassertemperaturen von 32 bzw. 38 °C an der Kältemaschine einzuhalten.

Ausgehend von einer maximalen Außenlufttemperatur von 37 °C ist bei der Warmwasserkühlung eine Vorkühlung der Ansaugluft an 31 h pro Jahr notwendig. Denn nur in diesem Zeitraum liegt die Außentemperatur über 33 °C. Im Gegensatz dazu erfordert die Kaltwasserkühlung eine Vorkühlung über eine wesentlich längere Periode von 305 h pro Jahr, da sie bereits bei Temperaturen ab 27 °C eine zusätzliche Kühlung mit VE-Wasser benötigt. Aus diesen Randbedingungen sowie dem jeweils entsprechenden Kältebedarf ergeben sich die in Bild 5 dargestellten Wasserverbrauchswerte. Im Vergleich benötigt die Warmwasserkühlung bis zu zwei Drittel weniger VE-Wasser als die Kaltwasserkühlung.

VE-Wasser kommt außerdem als Medium zum Transport der benötigten Kälte bei der Kaltwasser- wie auch bei der Warmwasserkühlung zum Einsatz. VE-Wasser ist hier notwendig, um der Verkalkung von Wärmetauschern in den Server-Racks vorzubeugen.

4) Jährlicher Strombedarf für Kalt- und Warmwasserkühlung

Der Strombedarf bei Warm- und Kaltwasserkühlung ergibt sich maßgebend aus den Bedarfswerten der Kältemaschinen und den Bedarfswerten der Rückkühler. Es zeigt sich: Bei der Kaltwasserkühlung ist der Strombedarf für die mechanische Kälteerzeugung sowie die Rückkühlung mit 1250 kW erheblich größer als bei der Warmwasserkühlung, die im Vergleich nur 250 kW benötigt.

Der jährliche Stromverbrauch für die Warmwasserkühlung liegt damit um ca. 77 % unter dem der Kaltwasserkühlung (Bild 6).

Fazit

Durch die im Beispiel ermittelte Verringerung des jährlichen Stromverbrauchs bei der Warmwasserkühlung um ca. 780 MWh und damit um 77 % ergibt sich bei einem Strompreis in Höhe von im Schnitt 0,20 €/kWh ein Kosteneinsparpotential von 155 000  €/a. Da künftig mehr Hersteller Lösungen zur Warmwasserkühlung von Server-Racks anbieten werden, ist mit fallenden Preisen der Sys­teme und damit geringeren In­ves­titionskosten zur rechnen. Der Amortisierungszeitraum wird sich weiter verkürzen. Mit den mög­lichen Kosteneinsparungen ist die Warmwasserkühlung eine sinnvolle, alternative Lösung zur klassischen Luftkühlung im Server­bereich bei Hochleistungsrech­nern und hoffentlich bald auch bei Standardservern.

Literatur