Как мы разрабатываем серверы в России

Параллельный импорт и приобретение серверов у иностранных компаний, которые остались на российском рынке, несут с собой ряд рисков. Они касаются работы службы поддержки, замены компонентов, технического обслуживания. А мы помогаем компаниям перейти с зарубежного оборудования и программного обеспечения на российские решения, чтобы свести подобные риски к минимуму.

В этой статье мы расскажем о том, как происходит разработка новых серверов, которые мы собираем в наукограде Фрязино, какие обновления мы вносим по просьбам наших клиентов и как клиенты и партнёры (например, «К2Тех») тестируют серверы.

Серверы в России

Зарубежные вендоры способны повлиять на работоспособность различного оборудования, и примеры, когда удалённо была отключена возможность управлять техникой, мы видели. В любой момент лицензионное оборудование может превратиться в «тыкву» – ни договоры, ни предоплата на эту ситуацию не влияют. Многие российские компании столкнулись с проблемами при обслуживании IT-систем.

С другой стороны, использование произведённых в стране «белых» серверов гарантирует, что компания не уйдёт с рынка вместе с сотрудниками. К тому же государство стимулирует закупку оборудования российских производителей с помощью налоговых льгот.

В любом случае, спрос на российские серверы растёт – в этом уверены эксперты как производителей серверного оборудования, так и системных интеграторов. Вместе с тем растут и требования к ним, что заставляет производителей пересматривать существующие продукты, повышать их уровень.  

И тут появляется ещё один фактор, который стоит учитывать: отставание запросов российских компаний к серверам относительно зарубежных рынков.

«Новые решения приходят на российский рынок, по нашему опыту, с опозданием в два-три года – только тогда появляется массовый спрос. Intel выпустил процессоры Xeon Scalable третьего поколения во втором квартале 2021 года, но в Россию, решения на данных процессорах начали завозить только в 2022 году, а крупные поставки начинаются в текущем году. Если взять более раннее поколение процессоров, второе поколение Xeon Scalable с индексом R, вышедшее в первом квартале 2020 года, то такие решения до сих пор востребованы на рынке, ведь у многих компаний, ИТ-инфраструктура построена на предыдущих решениях, и они пока не готовы их менять, так как оборудование выполняет свои задачи. В этом году Intel анонсировали четвёртое поколение процессоров, нетрудно догадаться, когда мы увидим данные решения на нашем рынке», – отмечает Игорь Зинин, руководитель отдела развития серверов и СХД в компании «Инферит».

Это отставание можно также заметить и в закупках оборудования. Например, одна компания запускает конкурс на закупку порядка тысячи серверов, построенных на процессорах второго поколения. Другая – ожидает серверы третьего поколения для запуска нового ЦОД и готова платить за это больше. При этом обе компании работают в одной отрасли, являются прямыми конкурентами, но выбирают разные решения.

Сегодня одна из наших задач – обеспечить переход с иностранного оборудования и программного обеспечения на российские решения, сохраняя и повышая производительность. Компании таким образом сводят к минимуму риски, связанные с поддержкой имеющейся инфраструктуры.

Этапы разработки сервера

По индивидуальным запросам мы создаем различные конфигурации техники. Любая модель может быть построена и оптимизирована под заказчика с точки зрения аппаратной составляющей и программного обеспечения.

На данный момент мы изготавливаем на контрактных производствах платформы и материнские платы, разработанные R&D-департаментом компании.

Этап 1. Сбор данных

Как и любой другой продукт, сервер начинается с потребностей клиентов. Мы работаем с более чем тысячей компаний из нефтегазовой отрасли, государственного, финансового и телекоммуникационного секторов, а также других отраслей. Благодаря этому мы получаем обратную связь, имеем возможность общаться лично, проводить опросы, анализировать входящие обращения в службу технической поддержки.

Важны собственная экспертиза и анализ продуктов конкурентов. В случае конкурентного анализа мы берём в расчёт отзывы, технические характеристики продуктов, изучаем возможности, которые другие игроки (как на российском, так и на зарубежных рынках) предоставляют своим заказчикам.

Этап 2. Подготовка технического задания

Заказчики при посещении нашего производства имеют возможность посмотреть и обсудить текущие решения, озвучить свои потребности. В процессе переговоров можно узнать, что нужно для решения тех или иных задач конкретной компании. Самые интересные и востребованные идеи, необходимый функционал, а также наши наработки, вносятся в дорожную карту разработки продукта для последующей реализации как в будущих, так и в текущих наших решениях.

Этап 3. Заказ разработки

Готовое техническое задание отправляется на контрактное производство, и R&D-команда, сформированная под него, рассматривает возможность выполнения. Это самый долгий этап. Нужно набраться терпения, потому что объём личного общения, который возникает между R&D командами по разные стороны, можно исчислять сотнями гигабайт. Это стандартная практика, ведь мы стараемся делать невозможное, примерно так же, как это делали изобретатели в своё время.

Если расхождения между тем, что мы планируем, и тем, что мы можем, по итогу совместной работы минимальны, результат работы может стать началом производства. Если же необходимы дальнейшие доработки и результат далёк от искомого – процесс начинается заново.  

Пример:

На фронтальной панели сервера размещены два USB порта. Клиенту необходимо добавить к ним порт VGA. Наша R&D команда прорабатывает данный вариант и обращается с задачей к производителю, который отвечает, что может добавить порт VGA, но вместо одного из USB-портов. Мы пониманием, что такое решение не подходит как заказчику, так и рынку в целом. Поэтому мы пытаемся найти  способ, чтобы воплотить именно тот вариант, который необходим. Со стороны производителя это может быть разработка новой платы, позволяющей реализовать функционал. Когда дело касается новых компонентов, это всегда выливается в достаточно долгий процесс, так как любая разработка и доработка требует большого количества времени – начиная от закупки необходимых компонентов и заканчивая проведением тестирования.

«Разработка продукта – постоянно меняющийся процесс. Ты всегда что-то дорабатываешь, придумываешь, создаешь. Это отнимает ресурсы, но толкает вперёд, ведь то, что ты получаешь в итоге, тот самый готовый продукт - стоит любого затраченного на это времени», – рассказывает Игорь Зинин.

Этап 4. Получение сэмплов

После прохождения предыдущего этапа, наступает этап получения сэмплов продукции.

Здесь важно протестировать продукт, созданный совместными усилиями. Если по итогам тестирования в работе сэмпла нареканий нет – можно переходить к массовому производству. В иных случаях мы вынуждены возвращаться к предыдущему этапу разработки продукта, вносить корректировки в текущую версию. Если это возможно сделать локально, получится сэкономить время и ресурсы. Если же проблема оказывается глубже, происходит новая итерация доработки и доставки новой версии сэмпла.

Этап 5. Производство

После прохождения этапа тестирования полученных сэмплов начинается процесс производства. Здесь главные противники быстрого выпуска разработанного продукта – очерёдность производства и логистика. Процесс производства стандартный: от закупки необходимых компонентов заводом до упаковки готовой продукции в коробки. Производство отдельных компонентов выполняется на мощностях азиатских и российских предприятий.

Этап 6. Сборка серверов

Сборка серверов происходит на площадке компании «Инферит» в наукограде Фрязино. Конфигурации мы создаём по индивидуальным запросам. Любая модель из линейки может быть построена и оптимизирована под заказчика с точки зрения аппаратной составляющей и программного обеспечения.

Этап 7. Продажи

Затем идут этапы продаж, технического обслуживания отгруженных серверов, получения обратной связи. Мы предоставляем потенциальным клиентам тестовые модели. И снова получаем данные, на основе которые можем улучшать продукт.

От кастомных решений – к серийному производству

Многие доработки, которые необходимы для одной компании, на самом деле могут быть полезны и другим участникам рынка. Таким образом, решение, после внесения в него изменений, можно выпускать в серию.

В числе доработок, которые мы производили для наших клиентов:

• Охлаждение.
• Расположение процессоров.
• Количество слотов расширения.
• Количество USB-портов на передней панели.

Охлаждение – это не только количество кулеров. Для одного из клиентов мы сделали кожух, который обеспечивает отток воздуха от кулеров, аккумулирует охлаждение в воздушный поток. Такое дополнение позволяет установить более производительные процессоры, например, в одноюнитовые серверы.

Кожух мы будем интегрировать во все будущие решения. Для производства кожуха для серверов второго поколения мы использовали майлар – материал, разработанный Dupont.

В одном из будущих решений, которые мы ждём в этом году, мы реализовали возможность использовать 2 USB 3.0 порта спереди. Раньше это выглядело так:

Теперь выглядит так:

Подход к разработке

Существует два основных способа разрабатывать серверное оборудование. Первый – заказывать готовые решения, наносить на них гравировку, логотип, и выдавать за отечественные. Второй – разрабатывать собственные решения и использовать мощности контрактных производств.

Мы выбрали второй путь. Наш инженерный департамент, совместно с производителями, разрабатывает материнские платы, а также корпусы.

Важное значение имеет промышленный дизайн. От конструкции зависит эффективность вентиляции и охлаждения. Серверные решения должны не только правильно работать и обеспечивать высокий уровень надёжности, но и быть удобными в эксплуатации, понятными. Имеет значение всё, вплоть до толщины металла.

Одна из главных задач – в полной мере реализовать потенциал связки материнской платы и серверного корпуса. Какое решение лучше всего подойдёт, чтобы максимально эффективно использовать слоты расширения? Как обеспечить охлаждение процессоров, как реализовать удобство обслуживания? Совместно с производителем корпуса наши инженеры прорабатывают каждый аспект. Конечно, можно исследовать опыт других компаний, но не повторять за ними, а реализовывать собственные идеи, искать новые решения.

Компоненты и санкции

В производстве серверов мы используем компоненты от известных мировых производителей, таких как, Samsung, Kingston, Micron, Broadcom, Intel и прочих компаний. На текущий момент мы создаём продукты на Intel Xeon Scalable второго и третьего поколений. Все компоненты в обязательном порядке тестируем на производстве.

С точки зрения санкций можно выделить два типа компаний-производителей компонентов за рубежом:

1. Которые ни при каких условиях не хотят работать с Россией.
2. Которые «за бизнес». Они перестраховываются, используют дополнительные меры безопасности, но хотят и дальше работать с нашей страной.

Поэтому санкции очень слабо повлияли на работу. Многие компании уже давно перестроили логистические цепочки, чтобы получать необходимые компоненты.

Программное обеспечение

Для работы с сервером мы разработали платформу мониторинга и управления. Функционал этого решения мы также развиваем на основании обратной связи от клиентов и собственных наработок.

Тестирование

Обеспечить совместимость серверов с различными компонентами, инфраструктурой заказчика, а также программным обеспечением можно только тестированием. Поэтому мы:

• Тестируем сами
• Предоставляем оборудование для тестирования партнёрам и клиентам

Два основных типа самостоятельного тестирования – нагрузочное и по методике заказчиков или партнёров.

В первом случае мы смотрим, как ведут себя компоненты сервера, какие у них показатели температуры, как проявляет себя микропрограммное обеспечение сервера, и, если мы, выявляем проблемные места, создаём задачу на доработку продукта, для последующего устранения проблемы.

Во втором – используем предоставленные заказчиком материалы для тестирования, они могут быть как в виде исполняемого файла, так и в виде инструкции с описанием методики тестирования. Параллельно с этим специалист со стороны клиента имеет возможность наблюдать за процессом, а также принимать в нём непосредственное участие, так как мы имеем возможность предоставить заказчику доступ для удалённого подключения к серверу. В современных реалиях это достаточно востребованный функционал: заказчик имеет возможность самостоятельно провести процесс тестирования, не прибегая к процедуре согласования тестирования и логистики данного сервера внутри своей компании.

Исключением являются ситуации, когда нашим заказчикам необходимо протестировать сервер у себя в инфраструктуре. Для такой потребности у нас всегда в наличии демо фонд с серверами в различных конфигурациях.

В процессе тестирования мы всегда придерживаемся гибкого подхода и готовы вместе с заказчиком пройти этот путь. Нам важно, чтобы и заказчик, и рынок получили тот продукт, которым останутся довольны.

Пример теста

О методике партнёра можно рассказать на примере лабораторного тестирования сервера INFERIT RS208, которое провёл «К2Тех». Тестирование состоит из нескольких блоков.

Характеристики сервера:

• процессор Intel(R) Xeon(R) Gold 6248R – 2 шт.
• материнская плата ASRock EP2C621D16-4LP – 1 шт.
• модули памяти Samsung RDIMM 3200 DDR4 128 GB – 12 шт.
• накопитель SATA SSD 240 Gb – 4 шт.
• встроенный сетевой контроллер X722 1GbE – 1 шт.
• LREC9812BF-2SFP+ (X710) 10GbE – 2 шт.
• QLE2692-SR 16GFC Fibre Channel Adapter – 1 шт.
• RAID-контроллер MegaRAID 9361-8i – 1 шт.

Документация

Проверка доступности информации от производителя и поддержки функционала. В случае с сервером ИНФЕРИТ RS208 успешно было проверено наличие выделенного технического человека, наличия списка компонентов «горячей замены», наличия матрицы совместимости, проверка поддержки видео ускорителей, проверка наличия и уровня техподдержки, проверка доступа к микрокодам на сайте.

В сервере используется AMI UEFI Legal BIOS. В iBMC можно посмотреть данные с различных датчиков и сенсоров. Журнал сервера доступен в интерфейсе iBMC сервера (скриншот ниже), дополнительно можно настроить отправку оповещений по SMTP. Логи можно экспортировать в виде TXT файла.

Инсталляция и монтаж

В списке проверок по инсталляции и монтажу – визуальный осмотр оборудования, проверка комплектности, проверка возможности подключения карт расширения/карт/модулей, проверка специфических особенностей, проверка достаточности внешней индикации, проверка монтажа в стандартную стойку. Все эти пункты наш сервер прошёл успешно.

Функциональные тесты

В список тестов входят настройка и подключение встроенной системы управления сервером (IPMI) и обеспечение многопользовательского доступа к ней, настройка RAID группы, возможности проверки микрокодов, установка операционных систем CentOS 7, РЕД ОС 7.3, Windows Server 2019 и Astra Linux 1.7, установка гипервизоров zVirt node 3.0 и VMware ESXi и другие.

Большую часть тестов сервер прошёл успешно. Были замечания, например, к установке Astra Linux 1.7 – для этого процесса необходимо отключить из блэк-листа модуль AST. Это связано с ограничениями самой ОС, а не с аппаратной частью.

Тесты отказоустойчивости и производительности

Сервер отлично показал себя в тестах отказоустойчивости и производительности.

Блок питания и вентилятор охлаждения могут быть извлечены без последствий для работоспособности оборудования.

Жёсткий диск является компонентом «горячей» замены – его извлечение не приводит к потере работоспособности/данных.

Оборудование выдержало нагрузку в стресс-тесте, который продлился 16 часов. Температуры основных компонентов не поднимались выше 70°С.

Синтетические тесты

В числе синтетических тестов:

• 7zip. Сервер показал хорошие результаты в тесте 7z LZMA.
• nginx. Тест отдачи данных по протоколу http показал хорошие результаты при отдаче файлов всех размеров (1Кб, 1Мб, 100Мб). В тесте производительности nginx сервер оказался в среднем на 17% лучше своих конкурентов.
• PostgreSQL. Тестирование базы данных показало хорошие результаты в сравнении с серверами базовой архитектуры. Сервер INFERIT показал на 37% лучшие результаты, чем сервер на базе Intel Gold 6238R.
• Redis. В результате практических тестов Redis сервер показал себя хорошо, в большей части тестов превосходя сервера «базовой архитектуры». В среднем, сервер INFERIT RS208 на базе Intel Gold 6238R показал себя лучше на 20%

Выводы из отчёта о тестировании:

• Сервер INFERIT RS208 имеет достаточный функционал для задач большинства пользователей.
• Существенных проблем с доступом к ресурсам производителя и документации не возникает. Служба поддержки оперативно помогает решить возникшие вопросы.
• Сервер совместим с большинством операционных систем, в том числе отечественной разработки.
• Решение отвечает большинству требований со стороны производительности и внутренних компонентов системы, и его можно рекомендовать в рамках импортозамещения.

Итог

Закупка серверов отечественного производства снижает риски, которые касаются компонентов и обслуживания. Клиент получает доступ к технической поддержке, к возможностям апгрейда. Кстати, при наступлении гарантийного случая мы забираем оборудование и предоставляем замену – всю логистику компания берёт на себя. Более того, это касается и по-настоящему труднодоступных мест – например, мы доставляли оборудование за полярный круг по зимнику (это такие дороги, которые появляются только зимой при низкой температуре). Назвать конкретный объект и заказчика не можем – извините, NDA.

Сегодня серверы «Инферит» использует компания Softline, предлагает своим клиентам. А мы запускаем собственный ЦОД в наукограде Фрязино, там же, где находится наше производство серверов. Плюсы такого подхода в том, что 24/7 рядом находятся инженеры и вся компонентная база. Так и мы и клиенты компании можем быть уверены на 100%, что при возникновении проблемы мы решим её в кратчайшие сроки.

Оригинал нашей статьи на Хабр.