Высокопроизводительная вычислительная платформа Ангара – базовый элемент для построения энергоэффективных масштабируемых вычислительных кластеров и суперкомпьютеров с высокой плотностью компоновки. Платформы серии ЕС1740.000х разработаны в России и серийно выпускаются на производственных мощностях АО «НИЦЭВТ». Технические и технологические решения, использованные при разработке платформы, обеспечивают высокую реальную производительность, надежность и отказоустойчивость вычислительной системы.

Области применения

• Высокопроизводительные вычисления (HPC)
• Big Data или Большие данные
• Центры обработки данных (ЦОД)

Особенности

• Интегрированные высокоскоростные сети: Ангара, 10G Ethernet
• Собственная базовая система ввода-вывода
• Различные варианты исполнения системы охлаждения (воздушная, жидкостная, погружная, гибридная)
• Высокая плотность компоновки (до 64 ядер на узел)
• Поддержка ОС на базе ядра Linux / Windows

Система ввода-вывода (BIOS)

К важнейшим особенностям вычислительной платформы ЕС1740.000x можно отнести BIOS (базовая система ввода-вывода) собственной разработки (проходит сертификацию на отсутствие НДВ), наличие которого обеспечивает высокий уровень безопасности вычислительных комплексов, включающий возможность встраивания средств доверенной загрузки. В BIOS организована поддержка всех основных компонентов внешнего и встроенного оборудования. Проверено функционирование современных серверных ОС. 

Система охлаждения

Для применения платформы ЕС1740.000x в вычислительных комплексах различного назначения возможна ее адаптация под особенности конструктивной реализации комплекса. Имеются варианты исполнения вычислительной платформы Ангара с различными типами охлаждения (гибридный (воздушно-жидкостной), иммерсионный (погружной)).

В гибридной системе теплонагруженные элементы платформы, такие как процессор и СБИС маршрутизатора, охлаждаются жидкостью, а остальные элементы продувкой воздуха. В качестве охлаждающей жидкости применяется дистиллированная вода с антигрибковыми присадками.
Подключение жидкостной системы охлаждения вычислительной платформы к жидкостному коллектору шасси производится с помощью бескапельных быстроразъемных соединителей. Испытания жидкостной системы охлаждения показали, что она эффективно справляется с охлаждением теплонагруженных элементов платформы. При максимальной загрузке процессоров перепад температуры составляет не более 3 градусов.

В иммерсионной (погружной) системе используется специальный состав, обеспечивающий высокие электроизоляционные свойства, хорошую теплопроводность, а также незначительное влияние на индуктивность магнитопроводов и волновые характеристики высокоскоростных дифференциальных каналов связи на печатных платах электронных модулей. Циркуляция жидкости и её охлаждение осуществляется устанавливаемым снаружи теплообменником.

     Сеть Ангара — отечественная сеть, сопоставимая по своей функциональности, производительности и надёжности с современными разработками мировых лидеров в данной области (Cray, IBM, Mellanox).
     Сетевой адаптер представляет собой плату расширения PCI Express (аналогично сетевым адаптерам InfiniBand), к которой подключается до 6 (или до 8, с платой расширения) кабелей для соединения с соседними узлами. Поддерживаются топологии сети без коммутаторов: кольцо, 2D, 3D и 4D-тор (либо решётка); в общем случае передача данных между узлами может осуществляться через промежуточные узлы.
     Основной режим программирования — совместное использование MPI, OpenMP и OpenSHMEM; также поддерживаются другие модели программирования, в том числе Charm++, GASNet, ARMCI, UPC. Для поддержки OpenSHMEM и PGAS-языков на каждом узле выделяется регион памяти, доступный для удалённых обращений (чтения, записи, атомарных операций) от других сетевых узлов. Сеть «Ангара» совместима с коммерчески доступными процессорами и материнскими платами.
     СБИС сетевого адаптера (ЕС8430) была разработана в АО «НИЦЭВТ» и изготовлена на фабрике TSMC по технологии 65 нм. Плата сетевого адаптера изготавливается на собственном производстве в АО «НИЦЭВТ».

               Ключевые особенности:
          – топология сети: 4D-тор
          – адаптер на базе СБИС
          – разъёмы/кабели: SAMTEC HDLSP
          – до 8 каналов связи с соседними узлами
          – задержка на MPI ping-pong: 1 мкс
          – задержка на хоп: 130 нс
          – масштабирование до 32К узлов
          – аппаратная поддержка односторонних операций (put, get, amo)
          – аппаратная поддержка коллективных операций (broadcast, reduce)
          – детерминированная и адаптивная маршрутизация
          – протокол надёжной передачи по каналу связи
          – маршрутизация с обходом отказавших узлов и каналов связи
          – поддержка ОС на базе ядра Linux
          – поддержка средств параллельного программирования: OpenSHMEM, MPI 3.0 (на базе MPICH), OpenMP, Charm++, GASNet, UPC

               СБИС адаптера (ЕС8430)
          – технология TSMC 65 нм
          – корпус FCBGA-1521, 40 х 40 мм
          – энергопотребление 20 Вт
          – размер кристалла 13,0 х 10,5 мм
          – 96 Link + 16 PCIe SerDes
          – интерфейс ELB
          – более 180 млн транзисторов

   Средство отображения информации коллективного пользования (СОИКП) предназначено для приема от различных источников, подготовки и совместного представления разнородной информации, циркулирующей в системе, на полиэкране (видеостене), состоящем из нескольких устройств отображения.

СОИКП обеспечивает:
• одновременное отображение данных, поступающих от нескольких источников: 
• удаленное управление полиэкраном и отображением информации;
• возможность изготовления образцов СОИКП с переменным количеством модулей отображения информации, образующих полиэкран.

     Включает в себя контроллер управления (КУ) на базе машины вычислительной электронной ЕС1855, который предназначен для выполнения физического подключения источников информации к полиэкрану, управления отображением информации.

Функциональность контроллера управления средств отображения информации коллективного пользования (КУ СОИКП)
• Поддержка различных видов источников изображения:
• video4linux (веб-камеры, фреймграбберы DVI/HDMI/VGA, тюнеры, …);
• воспроизведение локальных файлов и изображений (по сети через NFS);
• VNC (только просмотр);
• локальное приложение внутри Xvfb.
• Поддержка добавления надписей и векторной графики (в произвольном месте экрана и в привязке к окнам).
• Ретрансляция получаемого изображения и отдельных источников по сети.
• Обработка изображения перед выводом на экран:
• Полупрозрачность и композитинг (управление порядком наложения);
• Яркость, контраст;
• Ресемплинг с применением различных способов фильтрации;
• Кадрирование.
• Поддержка источников высокого разрешения (более 2,5К DVI-источник, более 4К видео, до 16К статичные изображения).
• Поддержка до 16 и более экранов с разрешением 1920×1080 и выше.

Архитектура КУ СОИКП
• Генерация/получение изображения для отображения выполняется в отдельных независимых процессах
• Окно представляет собой способ отображения источника (со своими настройками яркости, контраста, прозрачности, масштабирования, …)
• Окна размещаются на сцене, между сценами можно переключаться. В каждый момент активна только одна сцена.
• Рендеринг изображения выполняется посредством OpenGL

Этапы разработки

Декабрь 2013 — первое тестирование источника Video4linux на 6 мониторах

Март 2014 — первая попытка подключения 12 мониторов

Апрель 2014 — первая попытка подключения 16 мониторов

Переходники для подключения дополнительных 7 мониторов сверх 9

КУ СОИКП с 4 видеокартами и 2 фреймграбберами

Интеграция КУ СОИКП в инфраструктуру ситуационного центра (источник VNC)

Уровень № 3 — для института.

В одной стойке размещается до 5 корзин с универсальными процессорами. В одной корзине находится 10-14 4-сокетных узлов-лезвий. Некоторые из корзин могут быть заменены на специальные узлы с графическими ускорителями (AMD Firestream, NVIDIA Tesla, в будущем NVIDIA Fermi);
Пиковая производительность универсальных процессоров вычислительного узла до 249,6 GFlops (в первом квартале до 364,8 Gflops). Один процессор - 6-ядерный микропроцессор AMD Istanbul (далее – с 12-ядерными AMD Magny-Cors и 8-ядерными мультитредовыми Intel Nehalem-EX);

RAM одного узла до 256 GB, глобально адресуемая в пределах узла;
Пиковая производительность корзины — 2,5-3,6 Tflops, энергопотребление ~ 6 Квт;
Пиковая производительность стойки — 12-18 Tflops, энергопотребление ~ 30 Квт;
Масштабирование (до 8 стоек с универсальными процессорами) до пиковой производительности 80 Tflops, энергопотребление ~ 240 КВт, энергопотребление всей системы (включая шесть стоек с сетью и подсистемой хранения данных) ~ 700 КВт;
Внешний дисковый массив емкостью от 14 TB до десятков PB;
Сети интерконнекта InfiniBand DDR, QDR, 10 Gbps Ethernet, 1 Gbps Ethernet;
Инженерная инфраструктура электропитания и жидкостного или воздушного охлаждения, RAS-подсистема (доступность, обслуживаемость, надежность);
Стандартное программное обеспечение (Linux, Windows, С, С++, Fortran, MPI, OpenMP), RDMA библиотеки (GASNet, ARMCI), распараллеливающие компиляторы DVM-C и DVM-FORTRAN (оригинальные российские разработки), язык параллельного программирования Charm++ на базе вычислительной модели с управлением передачей сообщений (message-driven), языки параллельного программирования класса PGAS (UPC, Co-Array Fortran), а также новейшие перспективные языки Chapel и X10;

В одной стойке размещается до 5 корзин с универсальными процессорами. В одной корзине находится 10-14 4-сокетных узлов-лезвий (см. рисунок).

Некоторые из корзин могут быть заменены на специальные узлы с графическими ускорителями (AMD Firestream, NVIDIA Tesla, в будущем NVIDIA Fermi);

Пиковая производительность универсальных процессоров вычислительного узла до 249,6 GFlops (в первом квартале до 364,8 Gflops). Один процессор - 6-ядерный микропроцессор AMD Istanbul (далее – с 12-ядерными AMD Magny-Cors и 8-ядерными мультитредовыми Intel Nehalem-EX);RAM одного узла до 256 GB, глобально адресуемая в пределах узла;

Пиковая производительность корзины — 2,5-3,6 Tflops, энергопотребление ~ 6 Квт;

Пиковая производительность стойки — 12-18 Tflops, энергопотребление ~ 30 Квт;

Пиковая производительность узла с GPGPU на двойной точности до 1,6 TFlops (во втором квартале до 3 TFlops);

Встроенный в стойку или внешний дисковый массив емкостью от 14 TB до десятков PB с поддержкой Global Name Space;