framework Savant

Se dio a conocer el lanzamiento de la nueva versión de Savant 0.2.5, la cual llega con base en el nuevo SDK de Nvidia DeepStream 6.3, asi como también con mejoras en adaptadores, codificadores y más.

Para quienes desconocen del marco, deben saber que este se encarga de todo el trabajo con GStreamer o FFmpeg, lo que permite concentrarse en crear canalizaciones de salida optimizadas mediante la sintaxis declarativa (YAML) y las funciones de Python.

Savant oculta todos los aspectos internos de Gstreamer al desarrollador y proporciona herramientas prácticas para implementar aplicaciones de IA de transmisión en la vida real. Utiliza el modelo estándar de Nvidia PeopleNet para detectar personas y sus rostros y sobre todo en lugares donde se aplican normas de privacidad el framework permite el rastreo y desenfoque de los rostros.

¿Qué hay de nuevo en Savant 0.2.5?

En esta nueva versión que se presenta de Savant 0.2.5 como ya se menciona la principal novedad es la base en el nuevo SDK de NVIDIA DeepStream 6.3 en la cual se incluyen correcciones de errores y mejoras en la codificación de vídeo.

Y es que con la nueva versión, el codificador JPEG ahora admite codificación asistida por dGPU, ya que en versiones anteriores, el codificador JPEG estaba basado en software. Se solucionó el problema del codificador H.264.

Por la parte de las mejoras en las herramientas de desarrollador, se destaca que Savant ahora es compatible con OpenTelemetry, lo que permite instrumentar cada cuadro procesado por una canalización, ademas de que permite perfilar el código, asignar registros y atributos a los seguimientos y analizar errores y cuellos de botella en la canalización.

En Savant 0.2.5 se destaca un SDK de cliente síncrono y asíncrono que se puede utilizar para desarrollar pruebas unitarias, pruebas de integración con todas las funciones y adaptadores personalizados.

Ademas de ello, también se destaca que Savant ahora cuenta con un script útil para ingerir videos o imágenes en la canalización directamente desde el entorno de desarrollo sin la necesidad de iniciar adaptadores independientes.

Por otra parte, se destaca el nuevo adaptador para procesamiento de datos usando Kafka/Redis, que permiten el procesamiento escalable necesario para manejar muchos flujos en entornos escalables y de alta carga. Los adaptadores manejan metadatos con Kafka y video c

También un adaptador de prueba de fuente multitransmisión, que permite medir el rendimiento de las canalizaciones y ajustar los parámetros, implementamos un adaptador de utilidad que ingiere múltiples flujos en la canalización. El adaptador puede crear una carga de trabajo paralela deseada para ayudar a comprender cómo se comporta la canalización bajo la carga de trabajo y descubrir la configuración de rendimiento óptima.

De los demás cambios que se destacan de esta nueva versión de Savant 0.2.5

• Python SDK para desarrollar sus propios adaptadores.
• El adaptador de transmisión de video RTSP tiene la capacidad de procesar múltiples transmisiones simultáneamente.
• Codificación HEVC para cámaras GigE industriales, con la cual las transmisiones recuperadas de las cámaras GigE Vision pueden codificarse con HEVC y enviarse con canales de banda estrecha si es necesario.
• Reidentificación de rostros utilizando YOLOV8-Face, AdaFace y HNSWlib.
• Predicción de género y edad basada en YOLOV8-Face, MobileNet V2.
• Segmentación de instancias en tiempo real (más de 100 FPS) basada en YOLOV8M-Seg.
• Se cerraron 14 informes de errores.
  Se realizó una transición de un protocolo de transferencia de datos basado en Apache AVRO a un protocolo basado en Rust Rkyv (permitió reducir la contención de GIL, aumentar la velocidad de serialización y deserialización)..
• Se mejoro la forma en que la imagen Docker
• Se agregó soporte para grupos de elementos que le permiten combinar variaciones de procesamiento de datos dentro de una canalización.
• Se implementó una configuración de registro avanzada con soporte para diferentes niveles para diferentes componentes.
• Se agregó un codificador de software H.264 para tarjetas A100, V100, A40, Nvidia Jetson Orin Nano.
• Se agregó un detector de sobrecarga del transportador.

Finalmente si estás interesado en poder conocer más al respecto sobre esta nueva versión, puedes consultar los detalles en el siguiente enlace.