The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Выпуск Savant 0.2.5, фреймворка компьютерного зрения и глубокого обучения

26.09.2023 11:36

Опубликован выпуск Python-фреймворка Savant 0.2.5, упрощающего использование NVIDIA DeepStream для решения задач, связанных с машинным обучением. Фреймворк берет на себя всю сложную работу с GStreamer или FFmpeg, позволяя сосредоточиться на построении оптимизированных конвейеров вывода с помощью декларативного синтаксиса (YAML) и функций Python. Savant позволяет создавать конвейеры (pipeline), которые одинаково работают как на ускорителях в датацентре (NVIDIA Turing, Ampere, Hopper), так и на edge-устройствах (NVIDIA Jetson NX, AGX Xavier, Orin NX, AGX Orin, New Nano). С помощью Savant можно легко обрабатывать несколько видеопотоков одновременно, быстро создавать готовые к рабочим применениям конвейеры видеоаналитики, использующие NVIDIA TensorRT. Код проекта распространяется под лицензией Apache 2.0.

Основные новшества:

  • Задействован NVIDIA DeepStream 6.3, с исправлением ошибок и улучшениями в части кодирования видео;
  • Улучшения в инструментах разработчика:
    • Поддержка OpenTelemetry для журналирования обработки каждого кадра;
    • Горячая перезагрузка изменённого кода Python в режиме разработки, что ускоряет процесс работы над конвейером;
    • Синхронный и асинхронный Client SDK для реализации тестов и собственных адаптеров доступа к данным;
    • Улучшенное логгирование с поддержкой выделения цветом.
  • Улучшения в адаптерах:
    • Адаптер для обработки данных с использованием Kafka/Redis, предназначенный для реализации конвейеров с высокой нагрузкой, работающих в режиме отложенной обработки;
    • Адаптер для тестирования производительности конвейера (Multi-Stream Source Test Adapter);
    • Python SDK для разработки собственных адаптеров;
    • В адаптере трансляции видео по RTSP реализована возможность одновременной обработки нескольких потоков;
    • В адаптере доступа к камерам GigE Vision появилась оддержка HEVC-кодирования.
  • Новый примеры и демонстрации:
    • Инстанс-сегментация в реальном времени (100+ FPS) на базе YOLOV8M-Seg;
    • Ре-идентификация по лицу с помощью YOLOV8-Face, AdaFace и HNSWlib;
    • Прогнозирование пола и возраста на базе YOLOV8-Face, MobileNet V2;
    • Улучшение примера Traffic Meter - добавлен детектор на базе YOLO8S, теперь можно выбрать один детектор из трёх - PeopleNet, YOLOV8S, YOLOV8M.
    • Вспомогательные примеры: использование OpenTelemetry; использование Client SDK; простой конвейер для определения совместимости RTSP-камеры с Savant; пример использования адаптеров Kafka/Redis.
  • Закрыто 14 отчётов об ошибках.
  • Выполнен переход с протокола передачи данных на базе Apache AVRO на протокол на базе Rust Rkyv (позволило уменьшить GIL contention, увеличить скорость сериализации и десериализации);
  • Добавлена поддержка групп элементов, позволяющих комбинировать вариации обработки данных в рамках одного конвейера;
  • Реализовано продвинутое конфигурирование логгирования с поддержкой разных уровней для различных компонентов;
  • Добавлен программный кодировщик H.264 для карт A100, V100, A40, Nvidia Jetson Orin Nano;
  • Добавлен детектор перегрузки конвейера.


  1. Главная ссылка к новости (https://blog.savant-ai.io/sava...)
  2. OpenNews: Выпуск Savant 0.2.4, фреймворка компьютерного зрения и глубокого обучения
  3. OpenNews: Выпуск библиотеки компьютерного зрения OpenCV 4.7
  4. OpenNews: Компания NVIDIA выпустила открытый движок симуляции физических процессов PhysX 5
  5. OpenNews: Компания NVIDIA опубликовала код RTX Remix Runtime
  6. OpenNews: Pixar, Adobe, Apple, Autodesk и NVIDIA начали совместное продвижение платформы OpenUSD
Автор новости: ivankudriavtsev
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/59819-savant
Ключевые слова: savant, nvidia, deepstream
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (42) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 12:07, 26/09/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Производитель гейм-онли видюх как всегда остался в сторонке. Он даже по Ctrl-F в тексте не ищется.
     
     
  • 2.4, Аноним (4), 12:15, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    У тебя что-то с браузером, у меня 10 вхождений nvidia на странице. не совсем, правда, понятно, почему ты этот ширпотреб game-only называешь, на нём ещё инфоциганщину тренируют, а маленькие дети пускают слюни на рейтрейсинг, который им отсутствие мозгов увидеть всё равно не позволяет

    Хорошо, что существует крайняя этому мусору противоположность: radeon - видеокарты для адекватов с бешеной производительностью и за дёшево, в отличие от nvidia, под которую ни в одной ОС до сих пор драйверов нет

     
  • 2.22, КО (?), 15:32, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >гейм-онли

    это которые про "натуральное разрешение", +100 FPS за скрытие мылом накрученного света, "искусственный интеллект" и криптообезъян?

     
     
  • 3.28, Бывалый смузихлёб (?), 16:40, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Если это по итогу шустрее UHD 630, то заверните парочку
     

  • 1.3, Аноним (3), 12:10, 26/09/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Я надеюсь сабж целиком заменит opencv, тот очень уж мерзкий и проприетарный в худшем смысле.
     
     
  • 2.5, Аноним (4), 12:17, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ага, nvidia и опенсорс - братья навек
     
     
  • 3.6, Аноним (3), 12:30, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > Ага, nvidia и опенсорс - братья навек

    https://developer.nvidia.com/open-source

     
  • 2.16, Вы забыли заполнить поле Name (?), 14:09, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > тот очень уж мерзкий и проприетарный в худшем смысле

    Можно поподробнее?

     
     
  • 3.18, Аноним (3), 14:32, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Попробуй не из докера запустить, а самостоятельно собрать под свою систему, и всё поймёшь.
     
     
  • 4.19, Аноним (4), 14:42, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Попробуй не из докера

    не суди по себе

     
     
  • 5.20, Аноним (3), 14:58, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    У меня уже генту, едва ли это было по себе.
     
  • 4.23, Аноньимъ (ok), 15:32, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    pacman -S opencv

    Что я делаю не так и почему оно просто жаст веркс?

     
     
  • 5.25, Аноним (3), 15:38, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ты не компилируешь, вот что ты делаешь не так. Потому что кто-то уже скомпилировал бесплатную версию. Теперь собери, чтобы задействовало железо, и обязательные модули из contrib не забудь.
     
     
  • 6.27, Аноньимъ (ok), 16:06, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Ты не компилируешь, вот что ты делаешь не так.

    Я что, больной?

    > Теперь собери, чтобы задействовало железо

    Какое железо? OpenCL из коробки вроде.

    Для нвидии: sudo pacman -S opencv-cuda

    Что там за модули я не в курсе. Говорят опенцева вообще либа паршивая довольно.

    Компилять под экзотические железки конечно нужно, как бы понятно что тут виртуалка нужна со специфическим окружением.

    Зачем вам кстати несвободные модули? Засудят ведь.

     
  • 6.29, Бывалый смузихлёб (?), 16:44, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    А зачем компилять ?
    Этим, разве что, комплексную производительность железа можно мерить
    Я вот обычно измеряю по длительности конпеляции конкретной версии LLVM
    Чем меньше- тем лучше

     
     
  • 7.33, Ivan_83 (ok), 19:34, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Затем что у OpenCV 100500 опций, компелять нужно чтобы иметь нужное и не иметь не нужного.
    Заодно, раз уж оно так много жуёт данных можно собрать с -mnative и получить ещё немного производительности.
     
  • 4.32, Ivan_83 (ok), 19:32, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Хаха!
    Я как раз когда оно по работе было надо сел и за пару дней сделал нормальный порт для FreeBSD в котором было 100500 опций транслированныйх из его Cmake файлов.
    И дальше радовался жизни.
    Рядом сидели вендузятники и каждый раз страдали присборке :)
     
     
  • 5.34, Аноним (3), 19:45, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    На фряхе уже появилась рабочая CUDA?
     
     
  • 6.48, Ivan_83 (ok), 01:11, 28/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Не интересовался.
     
  • 4.42, Вы забыли заполнить поле Name (?), 18:07, 27/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Попробуй не из докера запустить, а самостоятельно собрать под свою систему, и
    > всё поймёшь.

    Ставил пакетом в систему, все работает. Что я должен понять?

     
     
  • 5.45, Аноним (3), 18:28, 27/09/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Наверно то, что ты так и не научился читать за все эти годы.
     
     
  • 6.46, Вы забыли заполнить поле Name (?), 20:34, 27/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Наверно то, что ты так и не научился читать за все эти
    > годы.

    Ответил бы лучше нормально на вопрос

     
  • 2.26, Аноним (26), 16:00, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    решение на питоне никогда не заменит opencv
     
     
  • 3.50, Аноним (50), 12:09, 28/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Там на питоне только интерфейс командной строки.
     
     
  • 4.53, Аноним (26), 18:43, 28/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Python 84.9%

    Очень жирная у них командная строка.

     

  • 1.8, Аноним (8), 13:12, 26/09/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    👍
    https://github.com/openvinotoolkit/openvino
     
     
  • 2.9, Аноним (8), 13:29, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    https://docs.openvino.ai/2023.1/home.html
     

  • 1.17, Аноним (17), 14:25, 26/09/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    > Python-фреймворка

    Когда его закопают? Он жутко медленный и в реальных задачах не справляется с нагрузкой.

     
     
  • 2.21, Аноним (21), 15:13, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Очередной альтернативно одаренный клюбитель быстрых языков, который в жизни ничего сложнее олимпиадных задач не писал? На Пайтона биндинги
     
     
  • 3.51, Аноним (50), 12:13, 28/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > На Пайтона биндинги

    Хотя и, как обычно, криво сказано, но хотя бы правда - из "Пайтона" там только интерфейс командной строки. Остальное на C/C++. С таким же успехом можно утверждать, что Linux на bash написана. Не смешите.

     
  • 2.30, Аноним (30), 17:10, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Н — Никогда.
     
  • 2.35, аыфавпфпфцупфыапфвпфвпфпа (?), 21:39, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ты опоздал с этим утверждением лет так на 7, когда вышел последний питон ветки 2.7. А третья ветка примерно с версии 3.6 постоянно ускоряется, Бетка 3.12 вообще догнала С по скорости, ещё и многопоток завезли.
     
     
  • 3.36, Аноним (36), 22:14, 26/09/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    ага, уже обогнала
     
  • 3.38, Аноним (17), 12:10, 27/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    3.13 будет быстрее Си. 3.14 будет быстрее ассемблера.
     
     
  • 4.43, Вы забыли заполнить поле Name (?), 18:09, 27/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > 3.13 будет быстрее Си. 3.14 будет быстрее ассемблера.

    Ага, а 3.15 быстрее чего?

     
     
  • 5.49, Ivan_83 (ok), 01:13, 28/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Будет выдавать результат до запуска кода :)

    3.16 будет выдавать результат до загрузки кода в комп :)

     
  • 3.39, Аноним (17), 12:13, 27/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Что-то вообще скорость не поменялась, если судить по бенчмаркам: https://github.com/rdenadai/python_benchmark
     
     
  • 4.44, Вы забыли заполнить поле Name (?), 18:11, 27/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Что-то вообще скорость не поменялась, если судить по бенчмаркам: https://github.com/rdenadai/python_benchmark

    Они судят по своим тестам https://github.com/python/pyperformance , а не тестам ноунейма.

     
  • 4.47, аыфавпфпфцупфыапфвпфвпфпа (?), 20:40, 27/09/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    в среднем +15% это не поменялась, всё с тобой понятно, лечись идиотина.
     
  • 3.52, Аноним (50), 12:14, 28/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >  постоянно ускоряется

    Раньше было медленнее нормальных языков в 60 000 раз. Теперь ускорилось на 15%. Круто. Продолжайте ускоряться.

     

  • 1.40, Аноним (40), 13:17, 27/09/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > Выполнен переход с протокола передачи данных на базе Apache AVRO на протокол на базе Rust Rkyv (позволило уменьшить GIL contention, увеличить скорость сериализации и десериализации);

    Булшит. Единственно верный способ передачи больших объёмов данных между модулями - по сырому указателю.

     
     
  • 2.41, Ivan (??), 17:19, 27/09/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Думаю, что Вы не поняли - речь идет про передачу через ZeroMQ, а не между процессами.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру