Инженер-программист российской компании «Криптонит» Антон Подлегаев написал плагин nminfer для популярного фреймворка GStreamer; плагин позволяет выполнять обработку видеоданных нейросетями на отечественном ускорителе вычислений NM Card производства НТЦ «Модуль», сообщает «Криптонит» во вторник.
С помощью нового плагина российские компании и государственные структуры смогут осуществлять автоматическое распознавание лиц, номеров и различных объектов в видеопотоке, а также выполнять другие задачи обработки видео с использованием ИИ на базе отечественных программных и аппаратных решений.
Новый плагин может рассматриваться как российская альтернатива плагинам инференса нейросетевых моделей пакета Nvidia Deepstream, также основанного на Gstreamer и реализующего нейросетевой вывод в составе конвейеров обработки данных. Плагин выполняет подготовку и конвертацию как нейросетевых моделей, так и самих потоковых данных в формат, поддерживаемый NM Сard.
Ускоритель NM Card изготавливается на основе российских микросхем К1879ВМ8Я. Они представляют собой процессор цифровой обработки сигналов, который содержит 16 ядер NeuroMatrixCore с тактовой частотой до 1024 МГц.
NM Card оснащается 5 ГБ VRAM. Он поддерживает программный комплекс (C++ API) Neuromatrix Deep Learning (NMDL), предназначенный для запуска заранее обученных глубоких свёрточных нейросетей (Deep CNN). Такие нейросети широко применяются в системах компьютерного зрения и видеоаналитики, включая разработанную в «Криптоните» платформу «Чароит».
По производительности ближайший аналог NM Card — ускоритель Nvidia Jetson Nano. При запуске модели Yolo_v3_tiny_coco, предварительно обученной на наборе данных Common Objects для распознавания 80 типов объектов в реальном времени, ускоритель NM Card демонстрирует скорость обработки 24 кадров/с, в то время как у Nvidia Jetson Nano она составляет 25 кадров/с. Размерность ввода у обоих ускорителей в тесте была одинаковой: 416x416x3.
У НТЦ «Модуль» уже есть более мощное решение — модуль NM Quad на тех же микросхемах К1879ВМ8Я, обладающий производительностью примерно в четыре раза больше, чем NM Card. Плагин nminfer может работать и с ним, говорится в сообщении.
