Сеть «Ангара» — отечественная сеть, сопоставимая по своей функциональности, производительности и надёжности с современными разработками мировых лидеров в данной области (Cray, IBM, Mellanox).
     Сетевой адаптер представляет собой плату расширения PCI Express (аналогично сетевым адаптерам InfiniBand), к которой подключается до 6 (или до 8, с платой расширения) кабелей для соединения с соседними узлами. Поддерживаются топологии сети без коммутаторов: кольцо, 2D, 3D и 4D-тор (либо решётка); в общем случае передача данных между узлами может осуществляться через промежуточные узлы.
     Основной режим программирования — совместное использование MPI, OpenMP и OpenSHMEM; также поддерживаются другие модели программирования, в том числе Charm++, GASNet, ARMCI, UPC. Для поддержки OpenSHMEM и PGAS-языков на каждом узле выделяется регион памяти, доступный для удалённых обращений (чтения, записи, атомарных операций) от других сетевых узлов. Сеть «Ангара» совместима с коммерчески доступными процессорами и материнскими платами.
     СБИС сетевого адаптера (ЕС8430) была разработана в АО «НИЦЭВТ» и изготовлена на фабрике TSMC по технологии 65 нм. Плата сетевого адаптера изготавливается на собственном производстве в АО «НИЦЭВТ».

               Ключевые особенности:
          – топология сети: 4D-тор
          – адаптер на базе СБИС
          – разъёмы/кабели: SAMTEC HDLSP
          – до 8 каналов связи с соседними узлами
          – задержка на MPI ping-pong: 1 мкс
          – задержка на хоп: 130 нс
          – масштабирование до 32К узлов
          – аппаратная поддержка односторонних операций (put, get, amo)
          – аппаратная поддержка коллективных операций (broadcast, reduce)
          – детерминированная и адаптивная маршрутизация
          – протокол надёжной передачи по каналу связи
          – маршрутизация с обходом отказавших узлов и каналов связи
          – поддержка ОС на базе ядра Linux
          – поддержка средств параллельного программирования: OpenSHMEM, MPI 3.0 (на базе MPICH), OpenMP, Charm++, GASNet, UPC

               СБИС адаптера (ЕС8430)
          – технология TSMC 65 нм
          – корпус FCBGA-1521, 40 х 40 мм
          – энергопотребление 20 Вт
          – размер кристалла 13,0 х 10,5 мм
          – 96 Link + 16 PCIe SerDes
          – интерфейс ELB
          – более 180 млн транзисторов

   Средство отображения информации коллективного пользования (СОИКП) предназначено для приема от различных источников, подготовки и совместного представления разнородной информации, циркулирующей в системе, на полиэкране (видеостене), состоящем из нескольких устройств отображения.

СОИКП обеспечивает:
• одновременное отображение данных, поступающих от нескольких источников: 
• удаленное управление полиэкраном и отображением информации;
• возможность изготовления образцов СОИКП с переменным количеством модулей отображения информации, образующих полиэкран.

     Включает в себя контроллер управления (КУ) на базе машины вычислительной электронной ЕС1855, который предназначен для выполнения физического подключения источников информации к полиэкрану, управления отображением информации.

Функциональность контроллера управления средств отображения информации коллективного пользования (КУ СОИКП)
• Поддержка различных видов источников изображения:
• video4linux (веб-камеры, фреймграбберы DVI/HDMI/VGA, тюнеры, …);
• воспроизведение локальных файлов и изображений (по сети через NFS);
• VNC (только просмотр);
• локальное приложение внутри Xvfb.
• Поддержка добавления надписей и векторной графики (в произвольном месте экрана и в привязке к окнам).
• Ретрансляция получаемого изображения и отдельных источников по сети.
• Обработка изображения перед выводом на экран:
• Полупрозрачность и композитинг (управление порядком наложения);
• Яркость, контраст;
• Ресемплинг с применением различных способов фильтрации;
• Кадрирование.
• Поддержка источников высокого разрешения (более 2,5К DVI-источник, более 4К видео, до 16К статичные изображения).
• Поддержка до 16 и более экранов с разрешением 1920×1080 и выше.

Архитектура КУ СОИКП
• Генерация/получение изображения для отображения выполняется в отдельных независимых процессах
• Окно представляет собой способ отображения источника (со своими настройками яркости, контраста, прозрачности, масштабирования, …)
• Окна размещаются на сцене, между сценами можно переключаться. В каждый момент активна только одна сцена.
• Рендеринг изображения выполняется посредством OpenGL

Этапы разработки

Декабрь 2013 — первое тестирование источника Video4linux на 6 мониторах

Март 2014 — первая попытка подключения 12 мониторов

Апрель 2014 — первая попытка подключения 16 мониторов

Переходники для подключения дополнительных 7 мониторов сверх 9

КУ СОИКП с 4 видеокартами и 2 фреймграбберами

Интеграция КУ СОИКП в инфраструктуру ситуационного центра (источник VNC)

 Назначение

      Высокопроизводительная вычислительная платформа - базовый элемент для построения энергоэффективных вычислительных кластеров и суперкомпьютеров с высокой плотностью компоновки, масштабируемых до транспетафлопсного уровня производительности.

     Вычислительные системы, построенные на основе платформы ЕС1740.0001, позволят промышленным предприятиям; образовательным, научным и государственным учреждениям добиться высоких результатов при решении задач с интенсивным использованием вычислительных ресурсов.

     Платформа ЕС1740.0001 построена на основе самых современных процессоров AMD Opteron 6300. Благодаря большому числу вычислительных ядер позволяет добиться высокого уровня масштабируемости многопоточных приложений в рамках одного узла. В состав платформы входит маршрутизатор высокоскоростной коммуникационной сети, позволяющий объединить платформы высокоскоростной коммуникационной сетью с топологией «многомерный тор» без использования дополнительных коммутаторов.

Основные характеристики

Ключевые особенности

• Масштабируемость многопоточных приложений (64 ядра на 1 узле)
• Интегрированный интерконнект
• Собственная BIOS (базовая система ввода-вывода, сертифицируется на отсутствие НДВ)
• Энергоэффективная гибридная система охлаждения
• Высокая плотность компоновки при создании системы
• Изготавливается на Производственном комплексе АО «НИЦЭВТ»

Уровень № 3 — для института.

В одной стойке размещается до 5 корзин с универсальными процессорами. В одной корзине находится 10-14 4-сокетных узлов-лезвий. Некоторые из корзин могут быть заменены на специальные узлы с графическими ускорителями (AMD Firestream, NVIDIA Tesla, в будущем NVIDIA Fermi);
Пиковая производительность универсальных процессоров вычислительного узла до 249,6 GFlops (в первом квартале до 364,8 Gflops). Один процессор - 6-ядерный микропроцессор AMD Istanbul (далее – с 12-ядерными AMD Magny-Cors и 8-ядерными мультитредовыми Intel Nehalem-EX);

RAM одного узла до 256 GB, глобально адресуемая в пределах узла;
Пиковая производительность корзины — 2,5-3,6 Tflops, энергопотребление ~ 6 Квт;
Пиковая производительность стойки — 12-18 Tflops, энергопотребление ~ 30 Квт;
Масштабирование (до 8 стоек с универсальными процессорами) до пиковой производительности 80 Tflops, энергопотребление ~ 240 КВт, энергопотребление всей системы (включая шесть стоек с сетью и подсистемой хранения данных) ~ 700 КВт;
Внешний дисковый массив емкостью от 14 TB до десятков PB;
Сети интерконнекта InfiniBand DDR, QDR, 10 Gbps Ethernet, 1 Gbps Ethernet;
Инженерная инфраструктура электропитания и жидкостного или воздушного охлаждения, RAS-подсистема (доступность, обслуживаемость, надежность);
Стандартное программное обеспечение (Linux, Windows, С, С++, Fortran, MPI, OpenMP), RDMA библиотеки (GASNet, ARMCI), распараллеливающие компиляторы DVM-C и DVM-FORTRAN (оригинальные российские разработки), язык параллельного программирования Charm++ на базе вычислительной модели с управлением передачей сообщений (message-driven), языки параллельного программирования класса PGAS (UPC, Co-Array Fortran), а также новейшие перспективные языки Chapel и X10;

В одной стойке размещается до 5 корзин с универсальными процессорами. В одной корзине находится 10-14 4-сокетных узлов-лезвий (см. рисунок).

Некоторые из корзин могут быть заменены на специальные узлы с графическими ускорителями (AMD Firestream, NVIDIA Tesla, в будущем NVIDIA Fermi);

Пиковая производительность универсальных процессоров вычислительного узла до 249,6 GFlops (в первом квартале до 364,8 Gflops). Один процессор - 6-ядерный микропроцессор AMD Istanbul (далее – с 12-ядерными AMD Magny-Cors и 8-ядерными мультитредовыми Intel Nehalem-EX);RAM одного узла до 256 GB, глобально адресуемая в пределах узла;

Пиковая производительность корзины — 2,5-3,6 Tflops, энергопотребление ~ 6 Квт;

Пиковая производительность стойки — 12-18 Tflops, энергопотребление ~ 30 Квт;

Пиковая производительность узла с GPGPU на двойной точности до 1,6 TFlops (во втором квартале до 3 TFlops);

Встроенный в стойку или внешний дисковый массив емкостью от 14 TB до десятков PB с поддержкой Global Name Space;