Обзор серверной материнской платы ASRock Rack EPC621D6U-2T16R на 30+ дисков

Сегодня мы рассматриваем материнскую плату ASRockRack, которая создана для тех, кто собирает сервер для Big Data или систему хранения данных на сотни Терабайт. Модель EPC621D6U-2T16R напоминает рассмотренную нами ранее EPC612D4U-2T8R под Socket 2011-3, но с той лишь разницей, что в этот раз производитель не стал себя ограничивать устаревшей платформой. Только представьте себе, материнская плата EPC621D6U-2T16R позволяет подключить 30 (тридцать) SATA устройств, а плюс ещё NVME диск и USB флешку.

То есть, с помощью одной только платы можно подключить все 3.5-дюймовые фронтальные отсеки 4U корпуса, так ещё и останутся свободные каналы для размещённых внутри или сзади SSD. А чтобы не было мало, у вас есть порт Slimlink для подключения NVME U2 накопителей, у вас есть загрузка с SATA DOM и два 10-гигабитных RJ45 порта для подключения к вашей инфраструктуре, и всё это - в формате MicroATX. Конечно, с таким анонсом эта плата так и просится в сборку, но давайте сначала выясним, почему она именно такая.

Процессор - LGA3647 Xeon Scalable

Вообще, если материнская плата имеет много каналов для подключения SSD/HDD, она скорее всего создана для хранения информации, а не для её обработки.

Сегодня и Intel и AMD имеют специальные недорогие процессоры для применения в СХД, такие как Xeon-D или EPYC 3000. Если не ввязываться в вечный спор «Intel vs AMD», то выбор в пользу дискретного процессора Xeon Scalable даёт вам следующие плюсы:

• во-первых, у вас 6-канальный контроллер памяти против 4-канального у Xeon-D
• во-вторых, у вас южный мост Intel C621 имеет 16 каналов SATA с поддержкой программного RAID
• в-третьих, вы можете использовать самый дешёвый процессор Xeon Bronze 3104 с 6-ю ядрами, поддержкой самой дешёвой памяти DDR4-2133 ECC Reg и частотой 1.7 ГГц без Turbo Boost. Его мощности вполне хватит для файл-сервера, а стоит он дешевле чем Xeon-D.

Вообще, идея сборки СХД на 6-ядерном Xeon Bronze интересна ещё и тем, что этот процессор имеет очень низкое энергопотребление, в районе 50 Вт, поэтому в обычном сервере ему может хватить пассивного радиатора, такого как Supermicro SNK-P0068PS, что позволит вам собрать очень тихую систему хранения данных, которую можно держать в открытом шкафу в Open Space. При выборе кулера учитывайте, что ASRock Rack EPC621D6U-2T16R имеет сокет Narrow ILM, и если вы до сих пор не в курсе, чем этот сокет отличается от Square ILM, рекомендую почитать наш обзор кулеров под Xeon Scalable. Младшие 6-ядерные процессоры Intel имеют 48 каналов PCI Express, столько же сколько у топовых Xeon Gold и Platinum, так что с точки зрения подключений вы ничего не теряете.

Конечно, вы можете установить сюда хоть самый мощный 28-ядерный CPU, 6-фазовые модули VRM готовы к высокой нагрузке, но едва ли это решение оправдано с точки зрения СХД. Отдельного списка совместимости с процессорами производитель не выпустил, и как правило, это означает, что поддерживается вся серия Skylake вплоть до Xeon Platinum 8280.

Кстати, сразу хочу заметить, что плата имеет более простую схему фильтрации питания памяти, чем скажем двухпроцесорная монструозная EP2C621D12-WS для рабочих станций. Оно и понятно: формат MicroATX итак небольшой, и место на материнке приходится экономить. Для процессора применена 6-фазовая хема питания и 2-фазовая для модулей памяти, и производитель заявляет о поддержке DDR4 ECC RDIMM с частотами от 2133 до 2933 МГц. Последняя работает с процессорами на архитектуре Cascade Lake и новейшими версиями BIOS.

Сеть - Intel X550-BT2

В области высокоскоростных оптических интерфейсов каждый год происходит какая-то революция, а стандарт 10GBase-T застопорился на уровне прошлых лет (читайте сравнение 10G SFP+ и 10GBase-T), и с моей точки зрения, лучшим сетевым контроллером здесь остаётся Intel X550-T2. На материнской плате серии EPC621D6U может устанавливаться либо 2-портовый 1-гигабитный контроллер Intel i350 (в моделях без индекса «2T»), либо 2-портовый 10-гигабитный Intel X550-BT2.

На каких-то материнских платах вы можете встретить контроллер X550-AT2, но его отличие «BT2» кроется только в поддержке PCI Express 3.0, в то время как «BT2» поддерживает PCI Express 2.1 с шириной канала до 8x. По пропускной способности это различие не имеет никакого значения, но хочу вас предостеречь от прошивки сетевых контроллеров прошивками версии 2.10 с официального сайта Intel. В нашем тестлабе три различных версии Intel X550 (одна дискретная и две, встроенные на материнские платы), начали терять второй порт после перепрошивки на микропрограмму версии 2.1, и пришлось откатываться на версию 1.08.

Теоретически, контроллер поддерживает промежуточные скорости стандарта NBase-T, равные 2.5 Гбит/с по кабелю 5-й категории и 5 Гбит/с по 6-й, но только под Linux, и более того - эти скорости не заявлены производителем материнки. В любом случае, я не думаю что это промежуточные скорости имеют значения для СХД на 30 дисков. Встроенной сетевой картой поддерживается загрузка с PXE, а так же подключение к IPMI контроллеру в out-of-band режиме, а если вы выбираете 1-гигабитную версию материнской платы, то там поддерживается и загрузка по iSCSI.

Подсистема хранения данных

Распределение каналов хранения данных следующее: 12 портов SATA-600 выведены с южного моста Intel C621 через 4-канальные разъёмы SFF8643 в левом нижнем углу платы. Ещё два SATA-600 представлены обычными портами, причём красненький имеет питание для SATA DOM накопителей, а беленький - запараллелен с M.2 слотом, и отключится, как только вы установите SSD M.2 накопитель с SATA интерфейсом, поэтому используйте последний только для NVME, тем более, что этот слот подключен по шине PCI-E напрямую к процессору.

Отдельного упоминания заслуживает порт Slimline U.2 x8 для подключения корзины с PCI Express накопителями напрямую к процессору. Сегодня стоимость PCI-E SSD сравнялась с ценой SATA накопителей, и единственная причина установки последних - это отсутствие достаточного количества линий для подключения PCI-E устройств. При этом, PCI Express накопители, как утверждает Micron, в некоторых случаях позволяют снизить задержку доступа в 100 раз!

Ну и, конечно же, жемчужиной данной материнской платы является HBA-контроллер LSI3616, который поддерживает как SAS-12 и SATA-600, так и PCI Express накопители (в том числе NVME). Этот чип обещает производительность на уровне 1 миллиона IOPS, возможность работы на скоростях SAS-12Gb/s при использовании SAS-600 бэкплейнов и автоматическое распределение PCI Express линий в конфигурациях 4х4, 16х1 или 1х16.

Выход с контроллера LSI3616 осуществляется через 4 порта SFF8643, то есть вам доступны: 16 каналов SATA-600, 12 SAS-12 или 4 NVMe PCIe Gen3.0. Режим работы контроллера (PCI-E или SAS/SATA) переключается двумя джамперами возле портов SFF8643, то есть вы можете два порта задействовать для PCI-E устройств и пару - для 8-ми SAS/SATA устройств.

Естественно, LSI3616 задействует все 16 линий шины PCI Express 3.1, а потому на плате он подключен параллельно со слотом PCI-E4 через делитель, и если вы установите в данный слот плату расширения, то контроллер работать не будет. То есть, образно говоря, у вас один слот для плат расширения, который вы можете использовать без ограничений, другой же принесён в жертву SAS-12 контроллеру, и на данной плате совершенно бесполезен.

Ещё один неприятный момент, связанный с размещением LSI3616 на плате состоит в том, что чип имеет слишком большой радиатор, перекрывающий самый верхний слот PCI Express в корпусе. Тут вопрос экономии: обычный корпус под MicroATX имеет 4 слота для плат PCI, один из которых логично задействовать для FC-контроллера, а другие - для салазок под SSD. Так вот, нижний слот вы теряете из-за особенностей PCI Express коммутатора, верхний - из-за радиатора HBA контроллера, и вам остаётся один PCI отсек над портом M.2 и один полноценный слот PCI Express 16x.

К счастью, если вы не придерживаетесь высоких моральных принципов и на короткой ноге с поставщиком материнских плат, радиатор чипа LSI3616 можно слегка подпилить: он здесь явно взят с избытком для 10-Ваттного контроллера (именно столько максимум потребляет HBA LSI3616 без RAID), и лишившись гарантии, вы сможете установить 4 SSD накопителя в пустующие отсеки для PCI плат. Допустимая температура чипа составляет 85 градусов Цельсия, но в обычном режиме контроллер не нагревается выше 60 градусов даже с "модифицированным" радиатором.

Ясное дело, что эту материнскую плату покупают не для того, чтобы установить в нижний слот PCI-E4 какую-то плату расширения, потеряв при этом встроенный контроллер LSI 3616, но если вы ставите туда салазки для SSD, имейте в виду, что они могут перекрывать доступ к колодке для COM-порта, опять же если он вам для чего-то нужен.

В принципе, ASRock Rack итак совершила чудо, поставив на одну MicroATX плату огромный сокет LGA3647, сетевой контроллер и SAS HBA, оставив при этом Slimlink X8, чтобы вы могли собрать самую быструю СХД на PCI Express дисках. Но почему-то разработчики совершенно забыли, что и на «спине» материнки пустует очень много места, задействуя которое они смогли когда-то совершить подвиг и установить Xeon Scalable на Mini-ITX.

BIOS, удалённое управление и мониторинг

Настройки BIOS достаточно стандартные: режимы работы PCI слотов, SATA контроллеров, а так же базовые свойства энергопотребления, в том числе ограничение на TDP процессора. Хочу заметить, что ASRock Rack EPC621D6U-2T16R позволяет управлять скоростями только PWM вентиляторов, а по 3-контактным доступен только мониторинг скорости.

Как и все современные материнские платы, ASRock Rack имеет отдельный 1-гигабитный сетевой порт для удалённого управления на базе чипа ASpeed AST2500. Этот чип вам даёт полноценное HTML5 управление с интерфейсом, оптимизированным для смартфонов, а так же IPMI интерфейс для подключения систем централизованного мониторинга. Вот как выглядит экспорт данных IPMI в текстовом формате:

[email protected]:/tmp# ipmitool -H 192.168.1.206 -U admin -P admin sensor
3VSB             | 3.400      | Volts      | ok    | 2.880     | 3.060     | na        | na        | 3.740     | 3.900     
5VSB             | 5.040      | Volts      | ok    | 4.260     | 4.500     | na        | na        | 5.490     | 5.760     
CPU1_VCORE       | 1.790      | Volts      | ok    | 1.250     | 1.320     | na        | na        | 1.980     | 2.070     
VCCM ABC         | 1.230      | Volts      | ok    | 1.020     | 1.080     | na        | na        | 1.320     | 1.380     
VCCM DEF         | 1.210      | Volts      | ok    | 1.020     | 1.080     | na        | na        | 1.320     | 1.380     
CORE_PCH         | 1.000      | Volts      | ok    | 0.720     | 0.760     | na        | na        | 1.100     | 1.150     
1.05_PCH         | 1.050      | Volts      | ok    | 0.890     | 0.950     | na        | na        | 1.160     | 1.210     
1.80_PCH         | 1.790      | Volts      | ok    | 1.530     | 1.620     | na        | na        | 1.980     | 2.070     
BAT              | 3.140      | Volts      | ok    | 2.000     | 2.700     | na        | na        | 3.400     | 3.560     
3V               | 3.320      | Volts      | ok    | 2.880     | 3.060     | na        | na        | 3.740     | 3.900     
5V               | 4.980      | Volts      | ok    | 4.260     | 4.500     | na        | na        | 5.490     | 5.760     
12V              | 12.100     | Volts      | ok    | 10.200    | 10.800    | na        | na        | 13.200    | 13.800    
PSU1 VIN         | na         | Volts      | na    | na        | na        | na        | na        | na        | na        
PSU2 VIN         | na         | Volts      | na    | na        | na        | na        | na        | na        | na        
PSU1 IOUT        | na         | Amps       | na    | na        | na        | na        | na        | na        | na        
PSU2 IOUT        | na         | Amps       | na    | na        | na        | na        | na        | na        | na        
PSU1 PIN         | na         | Watts      | na    | na        | na        | na        | na        | na        | na        
PSU2 PIN         | na         | Watts      | na    | na        | na        | na        | na        | na        | na        
PSU1 POUT        | na         | Watts      | na    | na        | na        | na        | na        | na        | na        
PSU2 POUT        | na         | Watts      | na    | na        | na        | na        | na        | na        | na        
MB Temp          | 32.000     | degrees C  | ok    | na        | na        | na        | 55.000    | na        | na        
Card side Temp   | 54.000     | degrees C  | ok    | na        | na        | na        | 68.000    | na        | na        
TR1 Temp         | na         | degrees C  | na    | na        | na        | na        | 65.000    | na        | na        
CPU1 Temp        | 41.000     | degrees C  | ok    | na        | na        | na        | 87.000    | 88.000    | na        
PCH Temp         | 43.000     | degrees C  | ok    | na        | na        | na        | 85.000    | 86.000    | na        
DDR4_A Temp      | 49.000     | degrees C  | ok    | na        | na        | na        | 84.000    | 85.000    | na        
DDR4_B Temp      | 54.000     | degrees C  | ok    | na        | na        | na        | 84.000    | 85.000    | na        
DDR4_C Temp      | 50.000     | degrees C  | ok    | na        | na        | na        | 84.000    | 85.000    | na        
DDR4_D Temp      | 40.000     | degrees C  | ok    | na        | na        | na        | 84.000    | 85.000    | na        
DDR4_E Temp      | na         | degrees C  | na    | na        | na        | na        | 84.000    | 85.000    | na        
DDR4_F Temp      | na         | degrees C  | na    | na        | na        | na        | 84.000    | 85.000    | na        
Lan Temp         | 54.000     | degrees C  | ok    | na        | na        | na        | 103.000   | 104.000   | na        
SAS Temp         | 60.000     | degrees C  | ok    | na        | na        | na        | 65.000    | na        | na        
CPU1_FAN1_1      | na         | RPM        | na    | na        | na        | 100.000   | na        | na        | na        
FRNT_FAN1_1      | 1900.000   | RPM        | ok    | na        | na        | 100.000   | na        | na        | na        
FRNT_FAN2_1      | na         | RPM        | na    | na        | na        | 100.000   | na        | na        | na        
FRNT_FAN3_1      | 2400.000   | RPM        | ok    | na        | na        | 100.000   | na        | na        | na        
FRNT_FAN4_1      | 1900.000   | RPM        | ok    | na        | na        | 100.000   | na        | na        | na        
REAR_FAN1_1      | 700.000    | RPM        | ok    | na        | na        | 100.000   | na        | na        | na        
CPU1_FAN1_2      | na         | RPM        | na    | na        | na        | 100.000   | na        | na        | na        
FRNT_FAN1_2      | na         | RPM        | na    | na        | na        | 100.000   | na        | na        | na        
FRNT_FAN2_2      | na         | RPM        | na    | na        | na        | 100.000   | na        | na        | na        
FRNT_FAN3_2      | na         | RPM        | na    | na        | na        | 100.000   | na        | na        | na        
FRNT_FAN4_2      | na         | RPM        | na    | na        | na        | 100.000   | na        | na        | na        
REAR_FAN1_2      | na         | RPM        | na    | na        | na        | 100.000   | na        | na        | na        
ChassisIntr      | 0x0        | discrete   | 0x0080| na        | na        | na        | na        | na        | na        
CPU1_PROCHOT     | 0x0        | discrete   | 0x0080| na        | na        | na        | na        | na        | na        
CPU1_THERMTRIP   | 0x0        | discrete   | 0x0080| na        | na        | na        | na        | na        | na        
PSU1 Status      | 0x0        | discrete   | 0x0080| na        | na        | na        | na        | na        | na        
PSU2 Status      | 0x0        | discrete   | 0x0080| na        | na        | na        | na        | na        | na        
PSU1 AC lost     | na         | discrete   | na    | na        | na        | na        | na        | na        | na        
PSU2 AC lost     | na         | discrete   | na    | na        | na        | na        | na        | na        | na        
CPU_CATERR       | 0x0        | discrete   | 0x0080| na        | na        | na        | na        | na        | na      

Помимо процессора, модулей памяти и чипсета, через IPMI мониторинг материнская плата позволяет отслеживать температуру SAS-контроллера и сетевой карты, для которой верхний порог температуры составляет 103 градуса Цельсия. В графическом виде панель мониторинга можно легко собрать в Grafana:

В целом же, плата управляет пятью вентиляторами, отслеживает 14 температур, состояние двух блоков питания и основных напряжений сервера. В области управления всё очень даже достойно, так что за мониторинг СХД можно не переживать.

Совместимость с ZFS/Btrfs

Поскольку сокет LGA3647 к 2020 году уже стал вполне рядовым явлением, у нас не наблюдается никаких проблем с современными операционными системами: и Windows Server 2019 DE, и Centos 8.1, и FreeNAS 11.3 и ESXi 6.7 прекрасно поддерживаются рассмотренной платформой, HBA контроллер определяется и позволяет читать S.M.A.R.T. подключенных накопителей. Ещё раз хочу заметить, что у вас сохраняется полная совместимость с ZFS, BTRFS и другими средствами, требующими Raw-доступ к накопителю.

Следует учесть, что для работы SAS-контроллера требуется поддержка семейства драйверов MPT2Fusion, так что операционная система должна быть не старше 2018 года.

Рекомендации при заказе

Выбирая в качестве платформы для СХД материнскую плату ASRock Rack EPC621D6U-2T16R, вы можете быть уверены, что вам не предложат аналог на тендерах: это в своём роде единственная и неповторимая плата, созданная для одной узкоспециализированной задачи. Обратите внимание, что при использовании SAS12 накопителей, их может быть подключено не более 12, и если в качестве основной операционной системы вы будете использовать VMware ESXi 6.x+, то в гостевую ОС вы сможете пробросить как сам контроллер LSI 3616, так и два SATA контроллера, интегрированных в южный мост.

Большинство серверных корпусов для установки в стойку сегодня поддерживают материнские платы формата ATX и EATX, так что я бы не сказал, что формат MicroATX здесь является прямо какой-то необходимостью. Совсем другое дело - корпуса формата Tower, которые можно доверху забить корзинами для SSD/HDD и получить мощную систему хранения с 20 гигабитами "наружу". В этом случае сценарий использования процессоров Xeon серии Bronze и материнской платы ASRockRack EPC621D6U-2T16R в купе с дешёвой памятью DDR4 Registered PC2133 выглядит гармонично и является отличной покупкой!

Михаил Дегтярёв (aka LIKE OFF)
30/03.2020