Klima und Kälte für Rechenzentren (Teil 1)

Im vorliegenden Teil 1 des Berichtes werden die aktuelle Situation der Rechenzentren, die geschichtliche Entwicklung sowie die heutige Situation ihrer Klima-Systeme, die Energieeffizienz und die Außenluftversorgung behandelt.

Aktuelle Situation der Rechenzentren

Die in der Einleitung beschriebene Entwicklung resultiert aus dem stetigen Anwachsen der Rechnerkapazität. Eine typische Entwicklung der spezifischen Rechnerleistung in Serverräumen zeigt Bild 2. Als Folge steigen die Raumlufttemperaturen der Serverräume, reicht die Leistung der Klimaanlagen zur Abführung der Kühllasten nicht mehr aus und schmelzen die Redundanzen dahin. In der Praxis wird auf das wilde Wachsen nicht reagiert, weil die redundanten Reserven den Leistungszuwachs zunächst noch abdecken. Durch die schleichende Leistungsentwicklung fällt die abnehmende Redundanz zunächst nicht auf, bis erste Probleme auftreten, und es höchste Zeit für eine Sanierung der Klima- und Kälteanlagen wird. Oft sind die Leistungszuwächse so groß, dass eine Totalsanierung erforderlich wird, zumal bei einer älteren Infrastruktur. Mit den beschriebenen Defiziten geht meist auch eine schlechte Energieeffizienz der betagten Klimaanlagen einher. Von solchen Szenarien sind inzwischen dreiviertel der befragten Betreiber betroffen. Sie planen in den nächsten Jahren eine Sanierung und Erweiterung ihrer Rechenzentren.

Geschichtliche Entwicklung

der Klimaanlagen-Systeme für Rechenzentren

Bevor die einzelnen Maßnahmen einer Sanierung erläutert werden, sei nachfolgend ein kurzer Abriss über die geschichtliche Entwicklung der Klimaanlagensysteme für Rechenzentren vorangestellt

Bis in die achtziger Jahre wurden Rechenzentren meist von zentralen Klimaanlagen mit großen Kastengeräten und Kanalnetzen versorgt. Mit ihrem Mischluftbetrieb hatten sie den Vorteil der direkten freien Kühlung in der kalten Jahreszeit. Die Befeuchtung erfolgte mit Wäschern oder Elektrodampfbefeuchtern. Unter Berücksichtigung der geringen spezifischen Kühlleistung, des Angebotes an Klimageräten und Kälteerzeugern sowie der günstigen Energiepreise entsprach dieses System damals dem Stand der Technik und war wirtschaftlich vertretbar.

Daneben gab es bereits Systeme mit Umluftklimaschränken, die auch als Umluftkühlgeräte oder kurz als UKG bezeichnet werden. Nachfolgend wird diese Abkürzung verwendet. Die UKG saugen warme Abluft unter der Raumdecke an, filtern und kühlen sie und blasen sie als Zuluft nach unten in den Doppelboden, aus dem sie durch Bodenauslässe in den Serverraum eintritt. Manchmal wurden die UKG mit Kälteverdichtern ausgerüstet und durch luftgekühlte Kondensatoren außerhalb der Rechnerräume rückgekühlt. Meist aber enthielten sie Luftkühler für die Fluidkühlung. Diese Geräte haben sich gut bewährt und werden auch heute noch erfolgreich eingesetzt; ihre Ventilatoren werden mit EC-Motoren angetrieben. Bild 1 zeigt ein solches UKG. Das Fluid, meist Kaltwasser oder Sole in Form eines Glykol-Wasser-Gemisches, wurde in Kältemaschinen der verschiedensten Arten erzeugt, z. B. durch wassergekühlte Kaltwassersätze oder luftgekühlte Kältemaschinen für Außenaufstellung.  Bei diesen Maschinen gab es bis in die neunziger Jahre mit Ausnahme der Kühltürme keine Freikühleinrichtung, deshalb waren sie energetisch verbesserungswürdig.

Heutige Klimaanlagen-Systeme für Rechenzentren

Um das Jahr 2000 waren dann die ersten luftgekühlten Kompakt-Kälteerzeuger für Außenaufstellung mit Freikühleinrichtung auf dem Markt (Bild 3). Bei ihnen strömt das Kühlmedium zunächst durch ein Freikühlregister und dann durch den in Reihe geschalteten Verdampfer. Im Sommer erfolgt die Kühlung nur im Verdampfer, in der Übergangszeit wird im Freikühlregister vor- und im Verdampfer nachgekühlt und im Winter wird ausschließlich im Freikühlregister gekühlt. Es handelt sich somit um eine gleitende freie Kühlung. Damit kann über einen großen Teil der jährlichen Betriebsstunden auf mechanische Kühlung verzichtet oder diese erheblich eingeschränkt werden, wodurch sich der Energieverbrauch deutlich vermindert. Die Kühlluft wird von den Axialventilatoren zunächst durch das Freikühlregister und dann durch den unmittelbar dahinter angeordneten Kondensator gesaugt, daher die Bezeichnung Kompakt-Kälteerzeuger. Diese Konzeption hat allerdings auch Nachteile. Der Luftwiderstand des zweiten Wärmetauschers muss auch dann von den Ventilatoren überwunden werden, wenn er nicht genutzt wird. Zur Aufrechterhaltung einer Mindestdruckdifferenz am Expansionsventil in der Übergangsphase von reiner Freikühlung auf gleitende Freikühlung wird die Luftleistung gedrosselt, was zu einer Verminderung der Freikühlleistung führt.

Diese Nachteile werden vermieden beim Einsatz von separat stehenden Kühlern, doch erhöhen sich bei diesem System der Platzbedarf und die Herstellkosten, so dass eine Wirtschaftlichkeit oft nicht erreicht wird. Kompakt-Kälteerzeuger mit gleitender Freikühleinrichtung sind eine wirtschaftliche Lösung für Rechenzentren mittlerer Größe von ca. 300 bis 1000 kW Kühllast. Die Effektivität der Freikühlung ist abhängig vom Temperaturniveau des Kühlmediums; sie ist umso besser, je höher das Temperaturniveau ist. Tabelle 1 und Bild 4 zeigen die erzielbare Energieeinsparung durch eine gleitende Freikühlung.

Für kleine Rechenzentren mit Kühllasten bis etwa 300 kW gibt es inzwischen UKG mit integrierter energieeffizienter Kälteerzeugung, die zwar nicht ganz den günstigen Energieverbrauch der Freikühl-Systeme erreichen, aber infolge der deutlich niedrigeren Herstellkosten dennoch die wirtschaftlichste Lösung darstellen können. Bild 5 zeigt ein solches UKG. Diese Geräte verfügen über mehrere energieoptimierte Merkmale, die sich besonders im Teillastbetrieb auswirken und die nachfolgend beschrieben werden. Infolge der Redundanzforderung stehen in den Serverräumen mehr UKG, als zur Kühllastabfuhr notwendig sind. Somit können sie im Normalbetrieb in Teillast mit verminderter Luft- und Kälteleistung laufen, eine entscheidende Grundlage für den energiesparenden Betrieb.

Die Ventilatoren dieser UKG werden von stetig geregelten, elektronisch kommutierten EC-Motoren angetrieben. Sie erreichen in allen Betriebszuständen, besonders aber im Teillastbetrieb, die niedrigste mögliche Stromaufnahme. Gegenüber herkömmlichen AC-Motoren verbrauchen sie bis zu 30 % weniger Energie. Wenn möglich, werden die Ventilatoren im Doppelboden angeordnet, so dass die Luftumlenkung im UKG wegfällt und der Druckverlust sinkt. Durch diese Maßnahme steht im Geräteteil oberhalb des Doppelbodens mehr Platz zur Verfügung, der zur Vergrößerung der Luftkühler- und Luftfilter-Anströmflächen genutzt wird und den Druckverlust weiter vermindert. Die niedrigen Druckverluste führen zu geringen Luftförderkosten. Durch den Einsatz der Multikompressionstechnik mit drei parallel geschalteten Verdichtern in einem Kältekreis können im Teillastbetrieb bis zu 50 % Energie eingespart werden. Bei Teillast laufen nur ein oder zwei Verdichter, ihnen stehen aber die gesamten großzügig dimensionierten Wärmetauscherflächen von Direktverdampfer und luftgekühltem Kondensator zur Verfügung, wodurch die energetische Effektivität des Kältekreises steigt. Das elektronische Expansionsventil reduziert durch punktgenaue Regelung der Verdampfungstemperatur den größten Teil der Verluste traditioneller thermostatischer Ventile. Bei niedrigen Außenlufttemperaturen wird die Kondensationstemperatur gesenkt und somit die Leistungsaufnahme und die Laufzeit der Verdichter minimiert. All diese Maßnahmen stellen sicher, dass der Kühlstufen-Teillastbetrieb einen hohen EER aufweist. Als EER (energy efficiency ratio) wird die Leistungszahl bezeichnet, die aus dem Quotienten Q_K / N_el gebildet wird und somit das Verhältnis aus der Kälteleistung und der aufgenommen elektrischen Leistung der Kältemaschine darstellt. Er beträgt im Auslegungsfall ca. 3,4 und steigt im Teillastbetrieb bis zu ca. 7,4. Durch digitale Verdichterregelung ist ein Betrieb mit konstanter Zulufttemperatur möglich. Bild 6 zeigt den Kaltdampf-Kompressionsprozess konventioneller und energieoptimierter UKG im h-log p-Diagramm.

Für große Rechenzentren mit Kälteleistungen über 1000 kW stellen UKG mit einer zentralen Kälteerzeugung in Form mehrerer Schrauben- oder Turbo-Kältemaschinen für Rückkühlung mittels Hybridkühlern die günstigste Lösung dar. Diese Systeme verursachen dank der großen Anlagenleistungen keine höheren spezifischen Investitionskosten als die zuvor beschriebenen, eher sogar niedrigere, und erreichen zudem die günstigsten spezifischen Energieverbrauchswerte.

Schrauben-Kältemaschinen sind hinsichtlich der Herstellkosten günstiger als Turbos. Ihr EER liegt im Auslegungsfall geringfügig über dem der Turbos, im Teillastbetrieb bleibt er zunächst etwa konstant und fällt bei kleiner Teillast ab. Unter den Turbo-Kältemaschinen haben sich in letzter Zeit jene mit mehreren magnetgelagerten Verdichtern herausgehoben, die auf gemeinsame Verdampfer und Kondensatoren arbeiten. Ihr EER ist zwar im Auslegungsfall etwas geringer, steigt jedoch bei Teillast an. Bei konstanter Kühlleistung ist der Anstieg moderat, erst bei gleichzeitig sinkender Kühlleistung und Außenlufttemperatur ist der Anstieg des EER signifikant. Welche dieser beiden Kältemaschinen-Arten die günstigste für den jeweiligen Einsatzfall ist, kann durch eine Wirtschaftlichkeitsberechnung ermittelt werden. Bild 7 zeigt den EER-Verlauf verschiedener Kältemaschinen.

Als Rückkühler haben sich die Hybridkühler durchgesetzt (Bild 8). Obwohl sie mehrfach teurer sind als die bisher verbreiteten offenen Kühltürme, amortisieren sie sich meist in kurzer Zeit. Die geringen Druckverluste ihrer großzügig dimensionierten Wärmetauscher verursachen geringe Ventilator-Stromkosten. Über die längste Zeit des Jahres arbeiten sie als Trockenkühler, nur an warmen Tagen wird die Wasserberieselung der Tauscher zugeschaltet. Damit verzeichnen sie einen deutlich niedrigeren Wasserverbrauch als Kühltürme. Weitere Vorteile sind Vermeidung der Schwadenbildung, geringere Lautstärke, geringerer Wartungsaufwand und geringe Legionellenproblematik.

Zusammenfassend zeigt Tabelle 2 Vergleichsdarstellungen der Herstellkosten und Energieverbrauchswerte verschiedener Klima- und Kältesysteme für Rechenzentren. Berücksichtigt sind die Kosten für UKG, Kälteerzeugung und Kälteverteilung, MSR-Technik und Leckageüberwachung sowie jeweils zwei redundante UKG und ein redundanter Kälteerzeuger. Nicht enthalten sind die Baukosten, die beim System mit Schrauben-Kältemaschinen und Hybridkühlern nicht zu unterschätzen sind. Auf die Angabe absoluter Kosten wurde verzichtet, weil sie von den individuellen örtlichen Gegebenheiten, den Redundanzanforderungen der hydraulischen Netze und der MSR-Technik sowie den Kunden-Standards abhängen. Das günstige Ergebnis für die relativ aufwändige Technik der Kälteerzeugung mit Schrauben-Kältemaschinen und Hybridkühler ist bedingt durch die große zugrunde gelegte Anlagenleistung; bei kleinerer Anlagenleistung steigen die spezifischen Herstellkosten an.

Neben diesen hauptsächlich eingesetzten klassischen Systemen gibt es eine ganze Reihe weiterer, die Abwandlungen oder Synthesen darstellen. Einige sind infolge spezieller Ausführungen der UKG und Kälteerzeuger an ihre Hersteller gebunden. Es würde den Rahmen dieses Berichtes sprengen, sie alle zu behandeln. Zwei seien jedoch kurz erwähnt. Beim ersten System handelt es sich um UKG mit integrierter Mischlufteinheit. Dabei wurde das Mischluftprinzip aus den Zentralanlagen in die UKG übertragen. Mit diesem System ist eine direkte freie Kühlung möglich, d.h. eine Kühlung des IT-Raumes mit kalter Außenluft, die der Zuluft je nach Kühllast und Außenlufttemperatur stetig beigemischt wird. Dieses System ist in energetischer Hinsicht den zuvor beschriebenen Freikühlsystemen überlegen. Nachteilig sind der Platzbedarf für die großvolumigen UKG sowie die Außen- und Fortluftführung in Form von Schächten über Dach oder Wetterschutzgittern in der Außenhaut des Gebäudes.

Das zweite System ist die Reihenkühlung. Sie besteht aus Direktkühleinheiten, die in Racksysteme von High-Density-Servern integriert werden. Eine solche Kühleinheit hat die Tiefe und Höhe der Racks, eine Breite von 300 bis 600 mm und besteht aus einem oder mehreren Wärmetauschern, die mit Kaltwasser oder Sole aus dem Gebäudenetz versorgt werden, und einem oder mehreren Gebläsen, die die Kühlluft horizontal in die benachbarten Racks verteilen. Derartige Systeme sind prädestiniert für die Kühlung von High-Density-Servern, mit ihnen können Kühlleistungen von bis zu 30 kW pro Rack abgeführt werden.

Beispiel einer energetischen Sanierung

In einem konkreten Fall wird folgende Situation angetroffen. Ein Rechenzentrum mit einer spezifischen Kühllast von 850 W/m² ist an seine Leistungsgrenze gestoßen. Hohe Raumlufttemperaturen verursachen Störungen im IT-Betrieb.  Das Klimasystem besteht aus Mischluftanlagen mit großen Zentralgeräten und langen Luftkanälen. Infolge der hohen Luftgeschwindigkeiten in den Geräten und Kanälen entstehen hohe Energiekosten. Eigentlich wäre eine Totalsanierung die beste Lösung. Doch die Klimaanlagen sind noch relativ neu und in einem guten Zustand. Die Betreiber sehen nicht ein, dass diese Anlagen einer Sanierung zum Opfer fallen sollen. In diesem Fall ist es sinnvoll, zunächst eine Leistungsbilanzierung durchzuführen und danach einen energieoptimierten Mix aus alten und neuen Anlagen zu gestalten. Der Energieverbrauch zur Luftförderung der Altanlagen lässt sich durch Anwendung des Proportionalitätsgesetzes senken. Eine Verminderung der Luftleistung um 20 % bringt eine Senkung des Ventilator-Stromverbrauchs um 50 %. Diese Leistungsreduzierung der Zentralanlagen führt zunächst zu einer Verminderung der Kühlleistung für den IT-Raum, obwohl eine Erhöhung erforderlich ist. Deshalb werden zur Erzeugung der eingebüßten sowie zur Deckung der zusätzlich erforderlichen Kühlleistung im Serverraum neue energieoptimierte UKG aufgestellt. Die Redundanzanforderungen könnten durch ein zusätzliches UKG erfüllt werden. Um jedoch den Energieverbrauch noch weiter zu senken, werden zwei Redundanzgeräte vorgesehen. Damit ist es möglich, alle UKG in einem extrem niedrigen Teillastbetrieb mit deutlich reduziertem Energieverbrauch für die Ventilatoren und Kälteerzeugung zu betreiben. Die Wirtschaftlichkeitsberechnung zeigt, dass sich die zur energetischen Optimierung erforderlichen zusätzlichen UKG bereits nach drei Jahren amortisieren.

Die Zuluft der vorhandenen Mischluftanlagen wird mit elektrisch erzeugtem Dampf befeuchtet. Trotz dieser teuren Befeuchtungsart wird der Außenluftanteil variabel gefahren und in Abhängigkeit von der erforderlichen Zulufttemperatur geregelt. Aus der Energieberechnung geht hervor, dass mit dieser Regelstrategie übers Jahr mehr Befeuchtungsenergie erforderlich ist, als durch die Freikühlung mit kalter Außenluft eingespart wird. Die Anlage sollte deshalb durch eine intelligente h-x-Regelstrategie ergänzt werden, die für jeden Betriebspunkt den energetisch optimalen Außenluftanteil berechnet und regelt.

Die geschilderten Maßnahmen vermindern den spezifischen Energieverbrauch um ca. 40 %. Obwohl die Kühlleistung für die IT-Räume um 40 % erhöht wird, sinkt der Energieverbrauch um ca. 10 %. Dieses Beispiel zeigt, dass Betreiber von Rechenzentren vor Sanierungen nicht zurückschrecken sollten, da sich die Modernisierung der Klima- und Kälteanlagen aus energetischer und finanzieller Sicht lohnt.

Energieeffizienz

Mit steigender Rechenleistung erlangt der Energieverbrauch der Klima- und Kältetechnik mehr und mehr an Bedeutung. In herkömmlichen Rechenzentren macht ihr Energieverbrauch etwa 40 % des Gesamtverbrauchs aus, weitere ca. 10 % entfallen auf Schaltanlagen, USV und Beleuchtung. Bild 9 zeigt eine Energieverteilung in einem herkömmlichen Rechenzentrum. In Rechenzentren mit energieeffizienten Klima- und Kältesystemen ist deren Anteil am Gesamtenergieverbrauch deutlich geringer. Bild 10 zeigt eine Energieverteilung in einem energieeffizienten Rechenzentrum.

Zur Bewertung der Energieeffizienz von Rechenzentren wurde 2007 der PUE-Wert (PUE = power usage effectivness) eingeführt. Er ist definiert mit dem Quotienten aus dem Gesamtenergiebedarf eines Rechenzentrums, also IT-Geräte, Klimatisierung, Schaltanlagen, USV, Batterien, Beleuchtung usw. und dem reinen Stromverbrauch der IT-Geräte, also PUE = N_el,ges / N_{el, IT.} Damit stellt er nur ein Verhältnis dar und keinen absoluten Bezugswert zum Verbrauch. Somit kann der PUE in einem Rechenzentrum mit betagten stromverschlingenden Rechnern und energetisch ineffizienter Kühlanlage den gleichen Wert erreichen wie in einem modernen Rechenzentrum mit stromsparenden Rechnern und energieoptimierter Kühlung. Auch gibt es keine einheitlichen Kriterien zur Definition der Verhältnisse und zur Erhebung der Messdaten. Deshalb ist der PUE als Vergleichswert zwischen verschiedenen Rechenzentren mit Vorsicht anzuwenden, dagegen gut geeignet zur Beurteilung der energetischen Ertüchtigung eines einzelnen Rechenzentrums. Der durchschnittliche PUE aller deutschen Rechenzentren liegt bei ca. 2,0. Die besten derzeit erreichten PUE liegen um 1,35. Tabelle 3 zeigt die Bewertung der PUE-Zahlenwerte.

Außenluftversorgung

Bei den früher üblichen Mischluftanlagen betrug der Mindestaußenluftanteil etwa 20 % der Zuluftleistung. Bei Zuluftraten um 150 m³/hm² bedeutete das eine Mindestaußenluftrate von 30 m³/hm². Das war viel mehr, als aus Gründen der Schadstoffabfuhr und Frischluftversorgung erforderlich gewesen wäre. In der VDI-Richtlinie 2054 „Raumlufttechnische Anlagen für Datenverarbeitung“ wird ein Mindest-Zuluftstrom (gemeint ist der Außenluftstrom) von 10 m³/hm² zur Be- und Entfeuchtung empfohlen. Bei kleinen Rechnerräumen wird dieser als konstanter Außenluftstrom der Abluft beigemischt und von den UKG aufbereitet. Bei mittleren und größeren Rechenzentren werden separate Außenluftanlagen vorgesehen. Laut EnEV 2009 sind diese mit einer Wärmerückgewinnung auszustatten, die mit einer Feuchterückgewinnung kombiniert werden sollte. Zur Außenluftkonditionierung ist eine separate kleine Kälteanlage mit Direktverdampfer sinnvoll, da im Sommer entfeuchtet werden muss, was mit der Kälteerzeugung für die UKG mit ihren aus energetischen Gründen hohen Vorlauftemperaturen von 12 bis 15 °C nicht möglich ist. Wie die Erfahrungen zeigen, ist die Luftrate gemäß VDI 2054 von 10 m³/hm² zu groß. Da in IT-Räumen normalerweise kein Personal anwesend ist, es sich somit nicht um ständige Arbeitsplätze handelt, und da keine nennenswerte Schadstoffe anfallen, kann die Außenluftrate erfahrungsgemäß bis auf ca. 2 m³/hm² gesenkt werden, was einem Luftwechsel von ca. 0,5 1/h entspricht.

Die Zuluft wird durch Kanäle in die IT-Räume gefördert, dort verteilt und mit Gittern eingeblasen. Die Abluft kann durch Überströmung zur Belüftung der Flure verwendet werden. Hierbei sind die Druckverhältnisse zu beachten; IT-Räume werden mit einem leichten Überdruck betrieben.

Teil 2 des Beitrags wird in der kommenden Ausgabe der TAB Technik am Bau veröffentlicht. Darin werden folgende Themen behandelt: Hydraulische Kältenetze,Raumluftströmung, Hot-Spots, Regelung und Überwachung, Sicherheitsanforderungen, Redundanzen, Hochlauf nach Stromausfall, vorbeugender Brandschutz und Umbau im laufenden Betrieb.