Обзор и FAQ сервера на Kunpeng 920, Huawei Taishan 2280 V2

Чтобы взять на тестирование ARM-based сервер от компании Huawei, созданный на базе процессора Huawei с чипсетом Huawei и даже сетевой картой на NIC Huawei, я занимал очередь аж с конца августа. И только в декабре, в связи с близостью новогодних праздников, мне удалось урвать тестовый слот на 2 недели: тестовый парк Huawei Taishan совсем крошечный, а интерес к ним - огромный. Все хотят проверить, что это за новый зверь, который пришёл потягаться с Intel Xeon и AMD EPYC, и прежде всего, в очереди на тестирования рядом со мной толпились всякие ведомства, структуры и комитеты.

1. Почему?

Где-то там, в других странах говорят об экономии электричества и выбросах CO2, кто-то считает, что x86 себя изжил в современном cloud-мире, а в России смотрят на политическую обстановку. Как ни крути, но Intel и AMD - корпорации «Наших американских партнёров», и пресловутый «Дядя Сэм» в любую минуту не то что может вскрыть все закладки, находящиеся в процессорах и чипсетах, но и просто ограничить поставки технологий в нашу страну. Разумеется, что политика импортозамещения и построения суверенного интернета не могут строиться только на оборудовании Intel: как минимум - нужна диверсификация, а как максимум - использование альтернативных решений. Это всё очень серьёзно, как бы странно оно ни звучало, мы посвятили этому вопросу отдельную статью и более того - во всём мире просто гигантский спрос на «не-американское» защищённое от взлома и закладок «айти». Вот только предложения почти нет. А учитывая, что недавно Huawei обмолвился о желании вложить в обучение в России около 100 млн$, чтобы тренировать специалистов в области ARM и Cloud, уже понятно, что этой компании здесь все дороги открыты.

С другой стороны, Huawei TaiShan - это сервер от «наших китайских братьев». Им мы доверяем чуть больше, чем «американским партнёрам так как Huawei самостоятельно разработала свои процессоры и сетевые карты, то есть уровень локализации - огромный. И помимо политической воли и курса на импортозамещение, это «тёмная лошадка», которая способна выстрелить вверх, оставив где-то в прошлом всю эту мышиную возню Intel vs AMD, особенно в высокопараллельных нагрузках.

2. Много ли Тайшаней?

Да, Huawei решила охватить весь спектр серверного рынка, ну разве кроме блейдов и совсем уж бюджетки. Рассматриваемый Taishan 2280 V2 относится к классу универсальных серверов в оппозит HP DL380, но есть так же Taishan 5280 в 4U корпусе на 40 жёстких дисков, Taishan X6000 в Hi-Density корпусе на 4 ноды, анонсирован Edge-сервер (читайте что такое Edge вычисления ), и плюс к этому, компания переведёт на KunPeng свои системы хранения данных (читайте обзор Huawei OceanStor 2200 V3), которые сейчас используют процессоры Xeon.

То есть, Taishan - это не какой-то разовый, экспериментальный продукт, а уже готовый к внедрению ARM-based мир, на который вы можете переходить без оглядки на архитектуру x86, но мы всё равно будем раз за разом обращаться к совместимости с Intel/AMD.

3.Так что же за KunPeng такой?

Мы знаем про ARM процессоры, что они установлены в смартфонах, и сегодня ни у кого не возникает сомнения в их производительности и энергоэффективности. Я не возьму на себя смелость объяснять плюсы и минусы ARM-архитектуры перед x86, полагая что кто-то это уже сделал до меня или сделает вместо. Гораздо важнее, что x86 и ARM не совместимы, и грубо говоря, обычную Windows вы на KunPeng не поставите, и ваш старый Linux простым копированием файлов на новый сервер не перенесёте. Для некоторых отсутствие живой миграции ВМ c Intel на AMD - уже катастрофа (почему лишь для некоторых - читайте нашу статью), а здесь целый мир другой: вам придётся использовать ARM-версии ваших операционных систем и их программ, а некоторые компилировать заново… Закоренелые айтишники скажут, что с такой совместимостью у сервера на рынке шансов нет, и это похоронило в своё время Itanium и отбросило на задворки галактики IBM Power, но нет же: сообщество ARM растёт. Почему?

Потому что ARM в железе легко масштабируется. Сегодня Kunpeng - это до 64 ядер на одном процессоре, произведённом по 7 нм технологии, 8-канальный контроллер передовой памяти DDR4-2933, PCI Express 4.0, интегрированный 100-гигабитный сетевой контроллер с поддержкой RDMA, 64 Мб кэша L3, а завтра это можно будет взять и удвоить, ведь чиплетная конструкция на ARM архитектуре позволяет практически бесконечно масштабировать вычислительную мощность … чуть не забыл - в одном сервере может быть до 4 процессоров KunPeng. И да, если это имеет для вас какое-то значение - "китайские братья" обычно делают дешевле, чем "американские партнёры", поэтому при одинаковом количестве ядер Huawei Taishan должен быть дешевле, чем его аналог на Intel Xeon или AMD EPYC.

Но не спешите гнать лошадей, ведь на сегодня Kunpeng-ов как минимум - 7 модификаций, а на сайте Huawei информацию о них нужно искать «днём с огнём». Кстати, на всех чипах красуется логотип компании Hisilicon, на сайте которой информации ещё меньше. И даже то, что это – дочерняя компания Huawei выдают только копирайты внизу веб-страниц. Очевидно, это очередная политическая интрижка, лучший способ не увязнуть в которой - посмотреть на железо своими, ну или нашими глазами.

4. Каково качество Taishan 2280 v2 в железе

Я упомянул о том, что Huawei Taishan должен быть дешевле аналогов от HPE / Dell, но это вовсе не значит, что производитель будет экономить "на спичках". И если вы - тот сисадмин, который открывает каждый новый приходящий в эксплуатацию сервер, то первое, на что я обращаю ваше внимание - это на внимание к деталям. Вентиляторы тайваньской компании AVC имеют: а) горячую замену, б) антивибрационный подвес, в) шторочку, предотвращающую обратную циркуляцию воздуха при остановке. Ты ищешь к чему придраться, а придраться-то в общем не к чему, поэтому давайте вместо обычного описания внутренностей, ответим на частые вопросы.

Ну вот например, платы расширения в райзерах крепятся с помощью мягких поворотных защёлок, а сами райзеры устанавливаются в корпус, скользя по рельсам из порошкового алюминия. Можете вместо райзеров на PCI-E платы заказать I/O модули для установки сзади четырёх 2.5" SSD, если 6 слотов PCIe для вас - много. И если вы заинтересовались поддержкой PCI Express 4.0, то спешу вас обрадовать: все слоты в Taishan 2280 v2 имеют стандарт PCIe 4.0 16x (ну кроме слота, занятого мезонином RAID-контроллера).

5. Можно ли установить свои платы расширения?

Мне кажется, что сервер специально создавался для установки в него плат расширения.

По умолчанию в сервере доступны 5 слотов стандарта PCIe 4.0 16x полной высоты и длины. Мы ради эксперимента установили сетевую карту Intel X520-DA2 - она работала.

6. Поддерживает ли Taishan 2280 V2 установку GPU?

Только платы без внешнего питания, такие как Tesla T4. Для этого к двум PCI слотам райзера подводится дополнительное питание. Вообще, мощности маленьких 2-киловаттных блоков питания стандарта 80 Plus Platinum должно хватить минимум на 4 самые мощные платы, но вот беда - некуда подключить кабели дополнительного питания, да и нет их в комплекте, и в инструкции этот вопрос не поднимается. У Huawei есть свои акселераторы искусственного интеллекта, и возможно причина в этом, но в любом случае данный сервер не заявляется как GPU-совместимый.

7. Какие встроенные сетевые интерфейсы есть у сервера?

Huawei Taishan 2280 V2 имеет два слота для сетевых карт в формате мезонин, причём одна из них может меняться без доступа внутрь сервера (cold swap). В терминологии Huawei эти мезонины имеют наименование FlexIO, и на сегодня существуют два типа таких плат: 4-портовая гигабитная медь (модель TM210) и 4-портовая 25-гигабитная оптика (модель TM280).

У нас, как вы видите, установлена простая TM210, и ничего интересного она не представляет: горячей замены нет, в качестве чипов - унылый Realtek 8211.

8. Чьи чипы используются для высокоскоростных интерфейсов?

Нам на тестирование пришёл сервер с дополнительной сетевой картой, имеющей 4 порта по 25 Гбит/c. Наверное, будет излишне говорить, что информации по этому контроллеру с наименованием BC51ETHB нет никакой, и чтобы пролить свет, пришлось проверить маркировку процессора. Каково же было моё удивление, когда я увидел опять же детище Huawei, FPGA процессор HiSilicon I1822. Это тот же чип, что используется в контроллере Huawei IN200, который позиционируется компанией как Intelligent NIC, а не просто сетевая карта (читайте, чем отличается Intelligent NIC от сетевой карты).

Контроллер поддерживает RoCE, iWARP, SR-IOV и имеет следующие аппаратные разгрузки:

• VLAN offload
• Stateless offload (Checksum/TSO/LRO/RSS)
• VxLAN tunnel encapsulation/decapsulation offload
• OVS TC Flower offload

При интенсивном сетевом трафике, например на шлюзах безопасности, эта карта может снизить загрузку процессора на 15-20% и снизить задержку на 30%. Энергопотребление платы составляет до 15 Вт, и кстати сама карта поддерживается всеми операционными системами, включая VMware ESXi, Windows Server, RHEL, Ubuntu и другими.

9. За сохранность данных тоже отвечает Huawei?

Святая святых любого сервера, дисковая подсистема отданы во власть продукции LSI/Avago/Broadcom: активный бэкплейн и контроллер SAS3508 в виде мезонина, поддерживающий RAID вплоть до уровня 60 с бессмертным супер-конденсатором для защиты кэш-памяти и возможностью настройки через WEB-интерфейс. Контроллер может переключаться в режим JBOD для использования в программных хранилищах данных особенно с файловой системой ZFS. Плата Backplane так же использует процессор LSI, так что как и везде в серверном мире, здесь - ничего нового.

Носители имеют Vendor Lock, а в качестве OEM-ядра в них используется, в основном, HGST для HDD и Samsung для SSD, но не обязательно.

10. Что с памятью?

С памятью вообще всё интересно: здесь имеются 32 слота для модулей DDR4 DIMM ECC Registered с частотой 2933 МГц. Вы можете устанавливать плашки объёмом от 16 до 128 Гб, набирая сумасшедшие 4 Терабайта на одном хосте, но имейте в виду: все модули памяти должны быть одинаковыми по объёму, частоте и другим параметрам.

11. Можно заменить процессор, или купить 2-процессорный сервер с 1 CPU?

Нет, потому что процессоры Kunpeng 920 распаяны на материнской плате в количестве 2 штук. По маркировке Hi1620 можно догадаться, что перед нами 48-ядерный Kunpeng 920-4826. Он имеет 48 физических ядер, 46 Мб кэша L3, частоту 2.6 ГГц и TDP в районе 158 Вт. По этим параметрам китаец очень напоминает AMD EPYC, да только ещё больше.

Процессоры не поддерживают HyperThreading, поэтому 96 ядер означает 96 потоков. Между собой CPU связаны двумя шинами Hydra Link, каждая из которых имеет пропускную способность около 30 Гбит/c. Если вы переживаете, что этого не хватит для случаев, когда например виртуалка, прикрученная к ядру левого процессора работает с памятью, обслуживаемой правым, то можете в BIOS включить политику "One NUMA Per Socket", тогда гипервизор сможет рассматривать память и ядро как единый объект, на который и назначается ВМ. Кстати, очень круто, что это сделано в настройках сервера, а не на программном уровне: у VMWare есть отдельный кейс посвящённый тому, как они лечили эту проблему на процессорах AMD EPYC Napples.

12. У ARM-сервера есть BIOS?

Если вы переживали о том, есть ли в ARM-сервере BIOS, то выдыхайте с облегчением: есть. Не AMI и не Award, а собственный, и по серверным меркам - очень технологичный. Вы можете настраивать параметры PCI Express слотов, частоты опроса памяти, из общего интерфейса настраивать RAID-контроллер и прочие основные параметры.

Не забудьте сменить пароль для удалённого управления.

13. Удалённое управление есть?

Признайтесь, что непривычно лицезреть сервер без чипа ASpeed AST1500/2500, отвечающего за BMC, а всё потому, что здесь используется контроллер Hi1710 от той же Huawei.С точки зрения всяких там "антисанкций" - это идеально, потому что ASpeed - компания тайваньская, а Hisilicon - это тот же Huawei, и доверять управление сервером стороннему поставщику - небезопасно и непрестижно.

К тому же, мы "сами с усами", и у нас полноценный HTML5 интерфейс, которому (будем честны перед собой) до ASpeed-а всё же далековато: нет поддержки мобильных браузеров, нельзя подключать образ по CIFS/NFS, но правда есть и очень хорошие вещи, например, одновременная работа нескольких операторов с консолью, автоматические скриншоты и видеозапись ошибок и выбор роли пользователя BMC, а так же интеграция в домен.

В целом, по конструкции видно, что Huawei имеет большой опыт в производстве x86 серверов, и здесь компания просто реализовала свой потенциал, что читается буквально в каждой детали. И прежде чем мы оживим этого монстра, нажав виртуальную кнопку Power, давайте повторим что здесь из компонентов из какой страны. Учитывая, что всё производится в Китае, меня интересует к какой юрисдикции относится штаб-квартира разработчика того или иного устройства.

Конечно, мы который год в обзорах пишем, что пора переходить на SSD, но никогда ещё причина не была политической.

14. Есть ли софт для импортозамещения?

Нам на тест сервер поступил после ребят из Московского офиса Astra Linux. Эта операционная система на базе Debian создаётся, прежде всего, для государственных органов, а потому помимо обычной Linux для рядового госслужащего, у них есть и варианты для работы с гостайной, защищённые дистрибутивы, имеющие сертификаты ФСТЭК, ФСБ и прочих гос. органов. Совсем недавно на Astra Linux были переведены 30 тысяч компьютеров Росгвардии, так что этот российский разработчик ПО, можно сказать, находится на переднем фронте импортозамещения.

Astra Linux гордится тем, что их дистрибутив работает и на Xeon-ах, и на Эльбрус-ах, а теперь - и на Kunpeng-ах. Подобное решение из китайского ARM-сервера и российского противовзломного ПО выглядит уже не как бета-версия, а как готовый продукт, защищённый и с технической и с политической точек зрения, соответствующий приказам регулятора, курсу партии и требованиям ведомств. Разобравшись с ПО для импортозамещения, перейдём к прикладным задачам в том же формате вопрос-ответ.

15. Какой Linux устанавливается на сервер?

Практически все серверные дистрибутивы имеют версию под ARM64, именуемую "aarch64". Почти все те же самые пакеты, что доступны для версии AMD64, скомпилированы и под ARM64, устанавливаются теми же командами из репозиториев. Для тестирования я использовал Debian 10, установка которого совершенно не отличалась от инсталляции на другое железо: все сетевые интерфейсы подхватываются без проблем, так что можно использовать Netinstall дистрибутив.

16. Что из софта доступно?

Я люблю Debian за то, что у него на сайте есть список доступных пакетов с указанием архитектур, под которые они скомпилированы, так что вы заранее ещё до покупки сервера можете посмотреть - есть ли нужный вам софт в репозитории, или можно ли его скомпилировать из исходников? Сразу после установки ОС, я поставил: Webmin и Cockpit для удалённого мониторинга, MariaDB, QEMU-KVM для виртуализации с управлением через GUI и Jupyter для запуска Python-блокнотиков и Git для доступа к самой большой в мире библиотеке исходных кодов.

То есть, важно понять: такие базовые компоненты Enterprise-дистрибутивов, как СУБД, удалённое управление, Web-сервер и виртуализация, отлажены и работают так, что вы не заметите разницы с x86: те же команды, те же конфиги.

17. С каким софтом есть проблемы?

С научным софтом, разрабатываемым "не-сообществом". Ну вот например, начинаем с Tensorflow: да, его нет под ARM64, но на сайте разработчиков есть инструкция как скомпилировать его из исходников: это всего 3 команды и 5 минут в консоли, но как только вы начнёте устанавливать библиотеки через pip, то здесь вас и будут поджидать проблемы: что-то нужно ставить с Github, что-то искать в исходниках и компилить, если найдёте. Такого прекрасного менеджера окружений, как Anaconda под ARM64 нету вообще, и в итоге библиотеки Keras, включая matplotlib, pandas и другие при установке сыпят ошибками.

Конечно, весь софт в рамках обзора не проверить, и обо всём не рассказать, но вы должны понять, что для работы какого-то ПО, не входящего в состав linux-дистрибутива, лучше добавлять уровень абстракции и использовать сторонние сборки, если есть. И вот здесь впервые за всё знакомство с сервером Taishan я встречаю серьёзный недостаток всего этого проекта: у Huawei нет никакого сервиса или мини-маркета вроде Bitnami, из которого можно было бы скачать упакованные в контейнер или виртуалку приложения.

18. Что с виртуализацией?

Компания VMware в октябре этого года показывала работу ESXi на архитектуре ARM, но пока что это дела далёких перспектив, а на сегодня виртуализация работает только под Linux, и без эмуляции x86/AMD64. Это означает, что внутри ВМ вы можете установить только операционные системы под ARM64, и у вас не будет совместимости со стеком на базе Intel/AMD.

Скажем так: не очень хорошо, потому что гипервизор не имеет эмуляции x86, а значит виртуализировать-то вы можете, но все ваши ВМ будут иметь архитектуру ARM64. Проще говоря, Windows через гипервизор вы не установите, совместимости со стеком на базе Intel/AMD не получите, так что либо вам предстоит строить замкнутый кластер на архитектуре aarch64/ARM (а мы знаем, что профессионалы именно так и строят свои ЦОДы), либо использовать контейнерную виртуализацию, а под KVM запускать поды для docker.

19. Что с контейнерами?

Всё прекрасно: Docker устанавливается одинаково и под x86, и под ARM64. Используя Portainer, я объединил в одном интерфейсе сервер на AMD EPYC и наш тестовый Huawei Taishan 2280 v2, чтобы показать визуально, что у вас может быть общий интерфейс для управления вашими контейнерами под любой платформой. Правда, перенос image-файлов между AMD64 и ARM64 не осуществить, но вы можете самостоятельно упаковать ваше приложение в docker образ и сконвертировать его под любую архитектуру.

Если глубоко гуглить, то можно найти, что людям удаётся построить (пример 1, пример 2) общий кластер с хостами на x86 и ARM64, но в основном речь идёт о Raspberry Pi и ТВ-боксах. Если же не ставить перед собой цель именно подружить архитектуры из разных эпох, то можно не заморачиваться и оставить всё как есть.

Я думаю, излишне будет говорить, что и Nginx, и Redis, и MySQL/Mariadb, и даже готовые образы Wordpress/Drupal/Joomla устанавливаются в один клик.

20. Что со скоростью?

В той или иной степени, производительность всех современных CPU в типичных задачах сопоставима, и в своём классе Kunpeng 920 ориентируется на нишу топовых процессоров Intel и AMD с 48 ядрами и больше. У нас нет под рукой 2-процессорного сервера, чтобы поставить лицом к лицу ARM архитектуру и x86, есть только 32-ядерный AMD EPYC 7551p, который мы можем задействовать просто для того, чтобы понять, можно ли сравнивать AMD64 и ARM64 по скорости?

И конечно мы заранее просим прощения у тех, кто ждал войнушку типа "Intel vs Huawei", но уже многократно доказано, что в серверном сегменте версия ПО оказывает на производительность большее влияние, чем архитектура и модель процессора. Но поскольку среди моих коллег имеется абсолютное непонимание скоростных перспектив ARM64, наши тесты покажут, на что вы можете рассчитывать, приобретая эти серверы.

Давайте возьмём две базы данных: на 100 тысяч и 10 миллионов записей и сравним поведение машин в одинаковых условиях, что позволит немного экстраполировать результаты под ваши нужды.

С ростом числа потоковых соединений к базе, Taishan 2280 v2 начинает уходить в отрыв, и я не сказал бы, что дело в числе физических ядер (96 у Huawei против 32 у EPYC), ведь даже на 16 потоках разница почти двукратная. В 1-поточном режиме мы данные рассматривать не будем, как не имеющие какого-либо значения.

По числу транзакций в секунду разница в скорости становится большей с ростом числа потоков и увеличения датасета.

В нереляционной базе данных уже разница менее заметна, что ещё раз подтверждает тезис, что “не в процессорах сила есть, а в коде программном!” Но суммарно можно сказать, что производительность ARM-серверов вполне себе сопоставима с аналогичными x86 машинами с тем же числом ядер. В каких-то определённых сценариях ARM может давать прорыв, а в каких-то - x86.

21. Что по деньгам?

Буквально в каждом анонсе, касающемся серверов на ARM, проскакивает абзац о том, насколько они выгодны с точки зрения CAPEX и OPEX, так давайте используем розничный GPL и посчитаем, насколько Huawei Taishan 2800 V2 выгоднее своих конкурентов на Intel и AMD? На сегодня в открытой продаже у Intel есть только процессоры до Xeon Platinum 8180, но чтобы сравнение было честнее по рабочей частоте, мы будем использовать Xeon Platinum 8180 (2.5 ГГц, 28 ядер), то есть держим в голове, что в случае с Intel у нас почти в два раза меньше физических ядер. С AMD та же ситуация: у HPE на текущий момент нет моделей с EPYC Rome, так что мы ограничены первой серией процессоров, имея на борту 64 ядра. Кроме того, мы откажемся от продукции из США и возьмём пару SSD, без жёстких дисков.

И вот теперь понятно, что единственный конкурент по цене - это мифический сервер с двумя AMD EPYC 7542, которого на момент подготовки статьи у HPE ещё не было.

Рекомендации IT-специалистам при заказе

Сегодня спрос на ARM-процессоры в сегменте ЦОД показывает двузначный рост г/г, и в основном он поддерживается со стороны гиперскейлеров, приобретающих серверы сотнями и тысячами. Видя перед собой готовый работающий сервер на ARM64, понимаешь, что будущее уже наступило, и можно плавно начинать отстраивать сегменты ЦОД на альтернативной архитектуре, используя Taishan 2280 v2 в роли кирпичиков, а функции СХД, SD-WAN и шлюзов безопасности отдать на откуп софту.

Что нужно запомнить перед покупкой Taishan 2280 V2:

• Это такой же технологичный гиперконвергентный сервер, как какой-нибудь DL380 G10 или PowerEdge R840. Но в отличии от них, это настоящий New Age, реально что-то новое за последние 30 лет.
• Сейчас здесь только Linux! Никаких VMware, FreeBSD, или свят-свят-свят, Windows Server здесь нет, и появятся или нет - не ясно. Коммерческие дистрибутивы дружат с процессорами Kunpeng и осуществляют по ним техподдержку.
• Всё готово для выполнения плана импортозамещения
• Стандартные простые задачи, такие как хостинг, работа с базами данных, балансировка трафика, VPN здесь работают прямо из коробки, устанавливаясь и настраиваясь теми же командами, что и под x86/AMD64.
• Чем больше приложений у вас вынесены в контейнеры, тем легче пройдёт внедрение.
• Проблемы могут возникнуть с коммерческим софтом, не распространяющим исходные коды и с какими-то библиотеками, особенно научными.

Учитывая, что этот сервер имеет высочайшую степень независимости от американских компаний, это идеальное решение для построения масштабируемой инфраструктуры на основе Kubernetes или Docker Swarm, с производительностью не ниже x86/AMD64, но при этом устойчивое к торговым войнам и сакнциям.

Михаил Дегтярёв (aka LIKE OFF)
15/04.2020