RU2653499C1 - Cooling system for massively parallel computer systems - Google Patents
Cooling system for massively parallel computer systems Download PDFInfo
- Publication number
- RU2653499C1 RU2653499C1 RU2017106993A RU2017106993A RU2653499C1 RU 2653499 C1 RU2653499 C1 RU 2653499C1 RU 2017106993 A RU2017106993 A RU 2017106993A RU 2017106993 A RU2017106993 A RU 2017106993A RU 2653499 C1 RU2653499 C1 RU 2653499C1
- Authority
- RU
- Russia
- Prior art keywords
- cabinets
- equipment
- air
- row
- series
- Prior art date
Links
- 238000001816 cooling Methods 0.000 title claims abstract description 28
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20536—Modifications to facilitate cooling, ventilating, or heating for racks or cabinets of standardised dimensions, e.g. electronic racks for aircraft or telecommunication equipment
- H05K7/20554—Forced ventilation of a gaseous coolant
- H05K7/2059—Forced ventilation of a gaseous coolant within rooms for removing heat from cabinets, e.g. by air conditioning device
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- Thermal Sciences (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Cooling Or The Like Of Electrical Apparatus (AREA)
Abstract
Description
Изобретение относится к области вычислительной техники, а именно к охлаждающим системам массивно-параллельных вычислительных систем, в том числе суперкомпьютеров эксамасштаба, содержащих оборудование для обработки электронных данных.The invention relates to the field of computer technology, namely to cooling systems of massively parallel computing systems, including ex-scale supercomputers containing electronic data processing equipment.
В вычислительных центрах и на промышленных предприятиях широко используется установка IT-оборудования в шкафах. Такие шкафы имеют достаточное пространство для размещения множества типов IT-оборудования, плотно установленного друг над другом. Для функционирования этих электронных устройств наряду со снабжением их электрической энергией и данными необходимо также обеспечивать их достаточное охлаждение. Для воздушного охлаждения обычно используются устройства кондиционирования, служащие для выработки охлаждающего воздуха, который при помощи устройств подачи воздуха, расположенных в электронных устройствах, пропускается через электронные устройства и при этом отбирает теплоту электронных компонентов. Отличительной особенностью массивно-параллельных вычислительных систем является наличие большого количества шкафов (сотни штук) и большая энергетическая плотность IT-оборудования в шкафах (70 кВт и выше). Также для этих вычислительных систем нужны дорогостоящие высокоскоростные коммуникационные сети и сети управления.In computer centers and industrial enterprises, the installation of IT equipment in cabinets is widely used. Such cabinets have enough space to accommodate many types of IT equipment, tightly mounted on top of each other. For the operation of these electronic devices, in addition to supplying them with electric energy and data, it is also necessary to ensure their sufficient cooling. For air cooling, air conditioning devices are usually used to generate cooling air, which, through air supply devices located in electronic devices, is passed through electronic devices and at the same time takes away the heat of the electronic components. A distinctive feature of massively parallel computing systems is the presence of a large number of cabinets (hundreds of pieces) and a high energy density of IT equipment in the cabinets (70 kW and above). Also, these computing systems need expensive high-speed communication networks and control networks.
Вследствие наблюдаемого в последнее время существенного возрастания объемов обрабатываемых данных возрастает количество шкафов с вычислительным оборудованием и, как следствие, увеличение занимаемой ими площади. Для размещения подобного вычислительного оборудования и систем его жизнеобеспечения требуются огромные помещения. Современные центры обработки данных уже сейчас содержат тысячи стоек. А согласно международным оценкам, это число только возрастает с течением времени.Due to the recently observed significant increase in the volume of processed data, the number of cabinets with computing equipment increases and, as a result, the increase in the area occupied by them. To accommodate such computing equipment and its life support systems, huge rooms are required. Modern data centers already contain thousands of racks. And according to international estimates, this number only increases over time.
В связи с вышесказанным, по всему миру ведутся научно-исследовательские работы по минимизации затрат на создание и эксплуатацию вычислительных систем. В настоящее время при построении массивно-параллельных вычислительных систем наибольшее распространение получили системы воздушного охлаждения шкафов с IT -оборудованием на базе внутрирядных или межстоечных кондиционеров, обеспечивающих отвод тепла подобной мощности с высокой эффективностью. Внутрирядные кондиционеры предназначены для эффективного отведения повышенных тепловых нагрузок в современных центрах обработки данных и вычислительных системах; идеально подходят для применения в рамках конфигураций с холодными и горячими коридорами. Кондиционеры устанавливаются между шкафами в ряду, забирают горячий воздух из горячего коридора, после охлаждения воздух доставляется в холодный коридор к IT-оборудованию.In connection with the foregoing, research is being conducted around the world to minimize the cost of creating and operating computer systems. Currently, in the construction of massively parallel computing systems, air-cooling systems for cabinets with IT equipment based on inter-row or inter-rack air conditioners that provide heat dissipation of similar power with high efficiency are most widely used. Intra-row air conditioners are designed to efficiently remove increased heat loads in modern data centers and computer systems; Ideal for cold and hot aisle configurations. Air conditioners are installed between the cabinets in a row, they take hot air from the hot corridor, after cooling, the air is delivered to the cold corridor to the IT equipment.
Известна система охлаждения на уровне рядов шкафов, установленных по принципу чередования холодного и горячего коридоров (См. Rittal - The System/ [Электронный ресурс] / Пресса / Технологичное решение для энергоэффективного охлаждения центров обработки данных: Охлаждение на уровне рядов стоек. / 2016 г. - Режим доступа: WWW.rittal.com/ru/unternehmen/presse/pressemeldunger/pressemeldung_26880.jsp свободный. - Загл. с экрана). Система охлаждения представляет собой помещение со шкафами IT-оборудования. Ряды шкафов вычислительной системы устанавливаются таким образом, что передние стороны двух рядов шкафов обращены друг к другу, между ними расположен так называемый «холодный коридор». В нем циркулирует холодный воздух, который подается соответствующими блоками охлаждения внутрь шкафов и проходит через размещенное на них IT-оборудование. Задние стенки серверных шкафов обращены в так называемые «горячие коридоры». Горячий воздух из них забирается блоками охлаждения, охлаждается и выбрасывается в «холодный» коридор. Описываемая система показана на фигуре 1. В зависимости от требований, «горячий» или «холодный» коридоры могут быть изолированы от окружающей среды с помощью соответствующих специальных решений. Это предотвращает смешение холодного и горячего воздуха, обеспечивая максимально возможную разницу температур с тем, чтобы блоки охлаждения работали с наибольшей эффективностью. Но такие решения нередко приводят к заниманию еще больших территорий. В настоящее время эта технологическая тенденция воздушного охлаждения наиболее популярна, наиболее экономична и является фактически мировым стандартом.There is a well-known cooling system at the level of the rows of cabinets, installed on the principle of alternating cold and hot corridors (See Rittal - The System / [Electronic resource] / Press / Technological solution for energy-efficient cooling of data centers: Cooling at the level of rows of racks. / 2016 - Access mode: WWW.rittal.com/en/unternehmen/presse/pressemeldunger/pressemeldung_26880.jsp free. - Heading from the screen). The cooling system is a room with IT equipment cabinets. The rows of cabinets of the computing system are installed in such a way that the front sides of the two rows of cabinets are facing each other, between them is the so-called “cold corridor”. It circulates cold air, which is supplied by the appropriate cooling units inside the cabinets and passes through the IT equipment placed on them. The back walls of the server cabinets face the so-called “hot corridors”. Hot air is taken from them by cooling units, cooled and discharged into the “cold” corridor. The described system is shown in figure 1. Depending on the requirements, “hot” or “cold” corridors can be isolated from the environment using appropriate special solutions. This prevents the mixing of cold and hot air, providing the greatest possible temperature difference so that the cooling units work with the greatest efficiency. But such decisions often lead to the occupation of even larger territories. Currently, this technological trend of air cooling is the most popular, most economical and is actually the world standard.
Недостатком известной системы является то, что для ее реализации требуются огромные помещения, увеличенная длина дорогостоящих кабельных связей, высокая закупочная стоимость и стоимость эксплуатации, низкие характеристики коммуникационных сетей.A disadvantage of the known system is that its implementation requires huge rooms, an increased length of expensive cable connections, high purchase and operating costs, and low characteristics of communication networks.
Вышеуказанная система охлаждения является наиболее близкой по технической сущности к заявляемому техническому решению и поэтому выбрана в качестве прототипа.The above cooling system is the closest in technical essence to the claimed technical solution and therefore is selected as a prototype.
Решаемой задачей является создание новой системы охлаждения, обеспечивающей высокоплотную компоновку шкафов массивно-параллельных вычислительных систем при сохранении способности отвода тепла высокой мощности от шкафов, что позволяет уменьшить или полностью устранить вышеназванные недостатки.The task to be solved is the creation of a new cooling system that provides a high-density layout of cabinets for massively parallel computing systems while maintaining the ability to remove high-power heat from the cabinets, which allows to reduce or completely eliminate the above disadvantages.
Достигаемым техническим результатом является отсутствие «холодных» коридоров и, следовательно, отсутствие смешивания охлажденного и нагретого воздуха, а также значительное увеличение производительности систем с сохранением масштабов занимаемых площадей за счет увеличения плотности размещения шкафов.Achievable technical result is the absence of “cold” corridors and, consequently, the absence of mixing of chilled and heated air, as well as a significant increase in the performance of the systems while maintaining the scale of the occupied space by increasing the density of the cabinets.
Для достижения технического результата в системе охлаждения для высокоплотного размещения высоконагруженных шкафов массивно-параллельных вычислительных систем с рядами вычислительного оборудования, которые разделены между собой воздушными коридорами, при этом каждый ряд вычислительного оборудования состоит из чередующихся между собой шкафов с IT-оборудованием и кондиционеров, новым является то, что каждый ряд вычислительного оборудования состоит из основного ряда с чередующимися между собой шкафами с IT-оборудованием и кондиционерами, и дополнительного ряда, также состоящего из чередующихся между собой шкафов с IT-оборудованием и кондиционеров, шкафы с IT-оборудованием и кондиционеры основного и дополнительного рядов установлены вплотную лицевыми сторонами друг к другу так, что нагретый воздух из шкафов с IT-оборудованием основного ряда поступает в «горячий» коридор слева от основного ряда, а нагретый воздух шкафов с IT-оборудованием дополнительного ряда поступает в «горячий» коридор справа от дополнительного ряда, при этом охлажденный воздух из кондиционеров основного ряда поступает во вплотную расположенные к ним шкафы с IT-оборудованием дополнительного ряда, а охлажденный воздух из кондиционеров дополнительного ряда поступает во вплотную расположенные к ним шкафы с IT-оборудованием основного ряда.To achieve a technical result in a cooling system for high-density placement of highly loaded cabinets of massively parallel computing systems with rows of computing equipment that are separated by air corridors, each row of computing equipment consists of alternating cabinets with IT equipment and air conditioners, the new one is the fact that each row of computing equipment consists of a main row with alternating cabinets with IT equipment and air conditioning ami, and an additional row, also consisting of alternating cabinets with IT equipment and air conditioners, cabinets with IT equipment and air conditioners of the main and additional rows are installed closely facing each other so that the heated air from the cabinets with IT equipment of the main row enters the "hot" corridor to the left of the main row, and the heated air of cabinets with IT equipment of the additional row enters the "hot" corridor to the right of the additional row, while the cooled air from the air conditioners is mainly a power series flows into closely located thereto cabinets with additional equipment IT-series, and the cooled air from air conditioners additional row enters the closely located thereto cabinets with IT-equipment main row.
Новая совокупность существенных признаков обеспечивает:A new set of essential features provides:
- размещение большего на 33% количества шкафов вычислительной системы без расширения занимаемых площадей;- placement of a 33% larger number of cabinets of a computer system without expanding the occupied space;
- использование меньшей площади при заданном количестве шкафов;- use of a smaller area with a given number of cabinets;
- использование существенно более коротких кабелей сетей управления и кабелей коммуникационных сетей, что снижает закупочную стоимость, величину задержки сигналов, упрощает монтаж и эксплуатацию, снижает потребление электроэнергии;- the use of significantly shorter cables for control networks and cables for communication networks, which reduces the purchase cost, signal delay, simplifies installation and operation, reduces power consumption;
- обеспечение, практически, 100% утилизации шкафами с IT-оборудованием охлажденного кондиционерами воздуха, что повышает эффективность работы системы охлаждения;- providing almost 100% utilization by cabinets with IT equipment of chilled air conditioners, which increases the efficiency of the cooling system;
- возрастание адресности подачи охлажденного воздуха, появление возможности мониторинга процесса охлаждения и регулировки поступающего в шкаф объема охлажденного воздуха в зависимости от величины нагрузки IT-оборудования;- increasing the addressing of the supply of chilled air, the possibility of monitoring the cooling process and adjusting the volume of chilled air entering the cabinet depending on the load of IT equipment;
- появление возможности отказа от использования части системных вентиляторов IT-оборудования за счет наличия мощных вентиляторов кондиционеров с регулируемой скоростью вращения, что снижает энергозатраты;- the possibility of abandoning the use of part of the system fans of IT equipment due to the presence of powerful fans of air conditioners with adjustable speed, which reduces energy consumption;
- обеспечение охлаждения шкафов с высокой потребляемой мощностью;- providing cooling cabinets with high power consumption;
Отсутствие холодных коридоров и, следовательно, отсутствие смешивания охлажденного и нагретого воздуха.The absence of cold corridors and, consequently, the lack of mixing of chilled and heated air.
Изобретение реализуется схемой, представленной на фигуре 2.The invention is implemented by the circuit shown in figure 2.
Заявляемая система охлаждения работает следующим образом. Рассмотрим работу основного ряда 1 и дополнительного ряда 2. Нагретый воздух из шкафов с IT-оборудованием основного ряда 1 поступает в «горячий» коридор на фигуре 2 слева от основного ряда 1. Из «горячего» коридора теплый воздух забирается кондиционерами основного ряда 1, охлаждается в теплообменниках. Охлажденный воздух из кондиционеров основного ряда 1 поступает во вплотную расположенные к ним шкафы дополнительного ряда 2. Из шкафов дополнительного ряда 2 нагретый воздух поступает в «горячий» коридор справа от дополнительного ряда 2. Из «горячего» коридора справа от дополнительного ряда 2 нагретый воздух забирается кондиционерами дополнительного ряда 2, охлаждается и поступает в шкафы основного ряда 1. Аналогичным образом работают и все остальные ряды на фигуре 2. Подобное взаимное расположение основного и дополнительного рядов исключает необходимость организации выделенных «холодных» коридоров и позволяет повысить на 33% плотность размещения шкафов с IT-оборудованием по сравнению со стандартным взаимным расположением рядов прототипа (см. фиг. 1).The inventive cooling system operates as follows. Consider the operation of the
Согласно изобретению на фигуре 2 шкафы и кондиционеры основного и дополнительного рядов установлены передними сторонами вплотную друг к другу. IT-оборудование и кондиционеры с передних сторон имеют пульты управления. IT-оборудование с передней стороны имеет устройство крепления в шкаф. Задача обеспечения доступа к пультам управления и к устройству крепления может быть решена при помощи перенесения их на заднюю сторону IT-оборудования и кондиционеров, соответственно. После перенесения пультов управления и устройств крепления все обслуживание будет осуществляться с задних сторон шкафов и кондиционеров. Конструкция части IT-оборудования позволяет осуществлять его обслуживание с задней стороны шкафов без модернизации.According to the invention, in figure 2, the cabinets and air conditioners of the main and additional rows are installed by the front sides close to each other. Front-side IT equipment and air conditioners have control panels. The IT equipment on the front side has a mounting device in the cabinet. The task of providing access to the control panels and to the mounting device can be solved by transferring them to the back side of IT equipment and air conditioners, respectively. After transferring the control panels and mounting devices, all maintenance will be carried out from the rear sides of the cabinets and air conditioners. The design of a part of IT equipment allows its maintenance from the back of the cabinets without modernization.
Claims (1)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2017106993A RU2653499C1 (en) | 2017-03-02 | 2017-03-02 | Cooling system for massively parallel computer systems |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2017106993A RU2653499C1 (en) | 2017-03-02 | 2017-03-02 | Cooling system for massively parallel computer systems |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2653499C1 true RU2653499C1 (en) | 2018-05-10 |
Family
ID=62105525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2017106993A RU2653499C1 (en) | 2017-03-02 | 2017-03-02 | Cooling system for massively parallel computer systems |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2653499C1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2834860C1 (en) * | 2024-07-03 | 2025-02-14 | Общество с ограниченной ответственностью "СиТри СК" | Modular complex of engineering systems for uninterrupted operation of it equipment with in-line air conditioner |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070062685A1 (en) * | 2002-05-31 | 2007-03-22 | Patel Chandrakant D | Controlled cooling of a data center |
RU2444868C1 (en) * | 2010-07-13 | 2012-03-10 | Эндал Инвестментс Лимитед | Modular processing centre and functioning thereof |
RU126357U1 (en) * | 2012-11-21 | 2013-03-27 | Закрытое акционерное общество "Астерос" | DATA PROCESSING CENTER |
US20140216683A1 (en) * | 2010-07-06 | 2014-08-07 | Gary Meyer | Universal Telescopic Louvered Panel Attachment and System for Passive Stack Effect Cooling in a Data Center |
RU151237U1 (en) * | 2014-08-04 | 2015-03-27 | Закрытое акционерное общество "Энвижн Груп" (ЗАО "Энвижн Груп") | MOBILE DATA PROCESSING CENTER |
CN205040134U (en) * | 2015-08-27 | 2016-02-17 | 中兴通讯股份有限公司 | Air conditioner between row and data center who constitutes thereof |
-
2017
- 2017-03-02 RU RU2017106993A patent/RU2653499C1/en active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070062685A1 (en) * | 2002-05-31 | 2007-03-22 | Patel Chandrakant D | Controlled cooling of a data center |
US20140216683A1 (en) * | 2010-07-06 | 2014-08-07 | Gary Meyer | Universal Telescopic Louvered Panel Attachment and System for Passive Stack Effect Cooling in a Data Center |
RU2444868C1 (en) * | 2010-07-13 | 2012-03-10 | Эндал Инвестментс Лимитед | Modular processing centre and functioning thereof |
RU126357U1 (en) * | 2012-11-21 | 2013-03-27 | Закрытое акционерное общество "Астерос" | DATA PROCESSING CENTER |
RU151237U1 (en) * | 2014-08-04 | 2015-03-27 | Закрытое акционерное общество "Энвижн Груп" (ЗАО "Энвижн Груп") | MOBILE DATA PROCESSING CENTER |
CN205040134U (en) * | 2015-08-27 | 2016-02-17 | 中兴通讯股份有限公司 | Air conditioner between row and data center who constitutes thereof |
Non-Patent Citations (2)
Title |
---|
CN 205040134 U, 17.02.2016, на английском языке. * |
реферат на английском языке. * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2834860C1 (en) * | 2024-07-03 | 2025-02-14 | Общество с ограниченной ответственностью "СиТри СК" | Modular complex of engineering systems for uninterrupted operation of it equipment with in-line air conditioner |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109247082B (en) | Data center including fanless and coolerless liquid-to-gas cooling apparatus | |
US7145772B2 (en) | Data center cooling system | |
US9148981B2 (en) | Apparatus and method for facilitating cooling of an electronics rack | |
US7969727B2 (en) | Cooling | |
CN203340497U (en) | Modularization data center | |
EP2452248B1 (en) | Integrated building based air handler for server farm cooling system | |
EP2484187B1 (en) | Modular system for data center | |
US7499273B2 (en) | Rack-mounted air deflector | |
US20100248609A1 (en) | Assembly For Providing A Downflow Return Air Supply | |
US20170202111A1 (en) | Server system | |
EP3474648B1 (en) | Cooling module | |
US9795061B2 (en) | Data center facility design configuration | |
US20100275618A1 (en) | System and method for cooling fluid distribution | |
JP5767247B2 (en) | Electric radiator using a computational processor as a heat source | |
EP2792226B1 (en) | Reconfigurable shelf for computing modules | |
US9920750B1 (en) | Energy production from waste heat using a shape memory drive or heat engine | |
US20120024515A1 (en) | Data center and heat dissipating system thereof | |
RU2653499C1 (en) | Cooling system for massively parallel computer systems | |
Erden et al. | Energy assessment of CRAH bypass for enclosed aisle data centers | |
Huang et al. | RACK‐LEVEL COOLING AND SERVER‐LEVEL COOLING | |
Lin et al. | Five Reasons to Adopt Liquid Cooling | |
CN113453480B (en) | Data center's computer lab and data center | |
CN209949707U (en) | Air-cooling and water-cooling combined server group | |
CN207603056U (en) | Control rack in high-efficient heat-dissipating room | |
Fulton | Control of Server Inlet Temperatures in Data Centers-A Long Overdue Strategy |