Обзор Dell PowerEdge R6715: Мощный 1U сервер на AMD EPYC с жидкостным охлаждением
Версия Dell PowerEdge R6715 с жидкостным охлаждением отличается от других. Система отводит тепло от процессора AMD EPYC с помощью жидкостного охлаждения, что выгодно выделяет ее на фоне других. В нашем обзоре мы рассмотрим эту систему и усилия Dell по созданию привлекательной платформы для тех, кто использует вычислительные стойки с жидкостным охлаждением процессора.
Обзор внешнего оборудования Dell PowerEdge R6715
PowerEdge R6715 — это сервер высотой 1U и глубиной чуть более 815 мм или 32 дюймов.
Несмотря на то, что мы рассматриваем версию с прямым жидкостным охлаждением (ПЖО), номер модели такой же, как у R6715 с воздушным охлаждением. Большая часть системы очень похожа. У R6715 есть множество опций, помимо охлаждения, поэтому имейте в виду, что это всего лишь одна конфигурация.
Эта конфигурация имеет восемь отсеков для 2,5-дюймовых дисков. Есть ещё один вариант с десятью отсеками для 2,5-дюймовых дисков, а также другие варианты для EDSFF. Есть даже вариант с 3,5-дюймовыми отсеками.
Задняя часть шасси также имеет множество вариантов исполнения.
Интересно, что блоки питания расположены с обеих сторон корпуса. В этой тестовой системе используются блоки питания 80Plus Titanium мощностью 1,5 кВт, чего более чем достаточно для данной конфигурации.
В центре Dell находится настраиваемый набор опций для переходников и даже для задней панели хранения данных. Здесь мы видим порт VGA, два порта USB 3 и внеполосной порт управления iDRAC. Сверху также находится переходник PCIe Gen5 x16.
В центральной части находится слот OCP NIC 3.0 и два твердотельных накопителя для загрузки. Некоторые другие производители используют внутренние накопители M.2 для загрузки, поскольку твердотельные накопители на порядок надёжнее жёстких дисков. Тем не менее наличие возможности обслуживания с задней стороны — это хорошо.
Справа по центру находится ещё один слот PCIe Gen5 x16 и ещё один слот OCP NIC 3.0. Здесь есть множество вариантов для установки до трёх графических процессоров мощностью 75 Вт, нескольких сетевых адаптеров 400GbE (или двух 200GbE).
Кроме того, сзади расположены сопла для жидкостного охлаждения. Здесь мы видим разъёмы Staubli: синий — для входящей охлаждающей жидкости, а красный — для выходящей жидкости, направляющейся в более тёплый коллектор. В новых стойках OCP коллекторы жидкостного охлаждения и сопла для узлов стандартизированы и встроены в стойки. Это сделано для более традиционной установки горячего и холодного коллекторов.
Как и следовало ожидать, задние стойки Dell выглядят очень стильно.
Верхний центральный слот особенно удобен благодаря наличию сетевой карты OCP NIC 3.0 и низкопрофильного слота PCIe Gen5 x16.
Это очень маленькая деталь, но в верхней части стояка есть фиксатор OCP, который позволяет снять сетевую карту OCP без необходимости разбирать весь узел.
Теперь давайте заглянем внутрь сервера, чтобы посмотреть, как он работает.
Вот передняя объединительная плата для накопителей с разъёмами MCIO для передних дисков.
За объединительными платами для хранения данных расположены вентиляторные модули высотой 1U.
Модули вентиляторов, которые использует Dell, значительно превосходят многие серверы типа «белый ящик» по простоте замены. Это небольшая, но приятная особенность.
В основе системы лежит один процессор AMD Socket SP5. Он предназначен для одного процессора AMD EPYC серии 9004/9005, а Dell поддерживает до 160 ядер в сервере. Ещё одна интересная особенность этой платформы — 24 слота DDR5 RDIMM, то есть 12 каналов и по 2 модуля DIMM на канал (2DPC). Это много ядер и памяти для сервера с одним сокетом.
Главное отличие этой платформы в том, что процессор охлаждается жидкостью. В системе по-прежнему есть вентиляторы, но они предназначены для других компонентов. Процессор охлаждается с помощью этого блока жидкостного охлаждения.
Вот так выглядит нижняя часть блока охлаждения.
Кстати, в 19-дюймовом стоечном корпусе с разъёмом AMD Socket SP5 и 24 модулями DDR5 RDIMM недостаточно места для второго процессора рядом с первым.
Для обеспечения возможности подключения на плате имеется множество разъемов MCIO.
Ещё одна небольшая, но приятная особенность — быстросъёмные фиксаторы на материнской плате.
Вот другая сторона блока питания, подключённого к серверу.
Вот встроенный в материнскую плату слот OCP NIC 3.0.
Вот ещё один снимок центра под большим комплексом стояков. Здесь мы видим два загрузочных твердотельных накопителя и карту iDRAC
Система управления Dell iDRAC 10
Одной из главных причин использования серверов Dell является система управления iDRAC. Новое поколение — iDRAC 10. Вот плата контроллера.
iDRAC 10 во многом похож на решения предыдущих поколений.Похоже, что сейчас больше внимания уделяется ускорению работы, и в интерфейсе управления Dell доступно гораздо больше информации, чем у многих других производителей серверов. Здесь есть функция инвентаризации с низким уровнем детализации, а также функция iKVM на базе HTML5, к которой мы уже привыкли. В системе Dell также установлено множество датчиков, которые позволяют настраивать охлаждение для конкретных сценариев использования, что важно для такой гибкой системы.
Теперь давайте обсудим производительность.
Производительность Dell PowerEdge R6715
На этом сервере у нас был AMD EPYC 9845. Это 160-ядерный процессор Zen 5c. Для многих, кто переходит с платформ Intel Xeon Scalable 1-го и 2-го поколения, этого достаточно, чтобы в одном сокете получить производительность, позволяющую заменить 3–4 сервера с достаточно высокими характеристиками новым сервером с одним сокетом. Конечно, мы хотели это проверить.
Мы решили взять этот процессор и сравнить его с эталонным 2U-сервером с воздушным охлаждением и таким же процессором AMD EPYC 9845.
Производительность примерно одинаковая. Для ясности: это ожидаемый и хороший результат. Во-первых, мы сравниваем сервер высотой 2U с воздушным охлаждением и сервер высотой 1U с жидкостным охлаждением. Во-вторых, при достаточном энергоснабжении и охлаждении современные процессоры работают примерно одинаково. Основное отличие заключается в том, что эта система в два раза ниже платформы для сравнения и потребляет меньше энергии.
Теперь давайте обсудим энергопотребление.
Энергопотребление Dell PowerEdge R6715
В нашей системе было два блока питания 80Plus Titanium мощностью 1,5 кВт. Это блоки питания премиум-класса для традиционных односокетных вычислительных серверов.
В итоге мы запустили этот сервер с мощностью около 750–800 Вт. Ради интереса мы сняли сетевые карты и установили их в сервер высотой 2U, который мы использовали в качестве эталона. Обычно серверы высотой 2U более энергоэффективны благодаря большим вентиляторам. Тем не менее на платформе высотой 2U мы использовали примерно на 50 Вт больше. Отчасти это связано с блоками питания, но отчасти и с жидкостным охлаждением. Жидкостное охлаждение отводит огромное количество тепла из системы, поэтому вентиляторы работают на более низких оборотах.
Сразу оговоримся, что прямое сравнение воздушного и жидкостного охлаждения провести довольно сложно. У нас не было версии с воздушным охлаждением для параллельного тестирования. Даже в случае с жидкостным охлаждением многое зависит от способа отвода тепла, используемых контуров и даже используемых жидкостей. Тем не менее, судя по направлению, мы находимся в пределах ожидаемых значений, которые мы должны были увидеть на основе других систем, протестированных параллельно.
Заключительные слова
В некотором смысле это действительно интересная концепция. Dell PowerEdge R6715 — это компактный сервер высотой 1U, независимо от системы жидкостного охлаждения. Большинство таких серверов будут устанавливаться в стойки вместо устаревших серверов, и сегодня это, как правило, масштабируемые системы Intel Xeon 1-го и 2-го поколения на базе LGA3647. Даже при использовании популярных высокопроизводительных процессоров Xeon той эпохи замена трёх или четырёх серверов с двумя сокетами на один сервер с одним сокетом — это отличная возможность. 160 ядер в односокетном сервере высотой 1U — это здорово. Возможность жидкостного охлаждения этого чипа расширяет возможности настройки этого гибкого сервера.
