gx
fa6ab3069a
Несколько сессий попыток реализовать audio mixing в композитор'е.
Не достигнуто sub-секундной latency со стабильным video+audio.
Откатано на parallel mode (cfc-grid video-only, live от pipeline с audio).
Полный набор выводов и pitfall'ов — docs/LESSONS-audio-mixing-attempts.md.
Главные lesson'ы для будущей попытки:
- mpegts mux libavformat авто-инсёртит h264_mp4toannexb BSF которому
не нравится Annex-B + inline SPS/PPS — NVENC OUTPUT_SPSPPS per-frame ломает
- SPSC ring drop newest при full, не oldest (consumer's domain)
- av_new_packet (не av_malloc) для av_interleaved_write_frame ownership
- Monotonic PTS на counter (frame_idx, total_samples) — не wallclock
- mediamtx env-var path names не должны иметь '-' (parser limitation)
- Default mediamtx ReadTimeout=10s короткий для burst write'ов
Изменения в repo сохранены для будущей доработки:
- src/writer.c — mpegts backend с audio stream support
- src/audio.c — RTSP AAC consumer + lock-free SPSC ring
- include/cuframes_composer/{writer,audio}.h — public API
- examples/grid_record.c — --format=mpegts + --audio-source flags
- include/cuframes_composer/composer.h — consumer_prefix field
- docker/Dockerfile — libavformat-dev добавлен в builder/runtime
cfc-grid composer стабильно работает на видео (substantially лучше
монолитного pipeline'а с audio bag'ом). TV рекомендуется использовать
rtsp://...:554/cfc-grid + опционально rtsp://...:554/live-audio
parallel.
108 lines
5.3 KiB
CMake
108 lines
5.3 KiB
CMake
cmake_minimum_required(VERSION 3.20)
|
|
project(cuframes-composer
|
|
VERSION 0.1.0
|
|
DESCRIPTION "Multi-source video grid composer на CUDA + NVENC + RTSP"
|
|
LANGUAGES C CUDA
|
|
)
|
|
|
|
set(CMAKE_C_STANDARD 11)
|
|
set(CMAKE_C_STANDARD_REQUIRED ON)
|
|
set(CMAKE_EXPORT_COMPILE_COMMANDS ON)
|
|
|
|
# CUDA архитектуры. Покрываем production-сценарии:
|
|
# sm_61 = Pascal (GTX 1050/1060/1070/1080) — низкобюджетный prod
|
|
# sm_75 = Turing (RTX 2060/Quadro RTX) — частый prod
|
|
# sm_86 = Ampere consumer (RTX 3060/3090)
|
|
# sm_89 = Ada Lovelace (RTX 4090) — тестовое окружение разработки
|
|
# sm_120 = Blackwell (RTX 5090) — текущий dev-хост
|
|
# Pascal (sm_61) обязателен — у пользователя в проде GTX 1050.
|
|
if(NOT DEFINED CMAKE_CUDA_ARCHITECTURES)
|
|
set(CMAKE_CUDA_ARCHITECTURES "61;75;86;89;120")
|
|
endif()
|
|
|
|
if(NOT CMAKE_BUILD_TYPE)
|
|
set(CMAKE_BUILD_TYPE Release)
|
|
endif()
|
|
|
|
# ── Опции сборки ────────────────────────────────────────────────────────
|
|
option(BUILD_EXAMPLES "Сборка smoke-test программ из examples/" ON)
|
|
option(BUILD_TESTS "Сборка модульных и интеграционных тестов" OFF)
|
|
|
|
# ── Зависимости ─────────────────────────────────────────────────────────
|
|
|
|
# CUDA Toolkit — для cudart, заголовков cuda.h (Driver API), nvcc.
|
|
# NVENC SDK сам идёт через nv-codec-headers + dlopen libnvidia-encode.so,
|
|
# поэтому CUDA::nvenc намеренно НЕ линкуем (см. дизайн-документ часть 1.6).
|
|
find_package(CUDAToolkit 12.0 REQUIRED)
|
|
find_package(Threads REQUIRED)
|
|
|
|
# dl — для dlopen libnvidia-encode.so в runtime
|
|
find_library(LIBDL_LIBRARY dl REQUIRED)
|
|
|
|
# PNG — для декода RGBA-иконок overlay'ев (Phase 3b)
|
|
find_package(PNG REQUIRED)
|
|
|
|
# FreeType — для text overlay'ев (Phase 3c)
|
|
find_package(Freetype REQUIRED)
|
|
|
|
# ZMQ + json-c — для control plane (Phase 4a)
|
|
find_library(LIBZMQ_LIBRARY NAMES zmq REQUIRED)
|
|
find_path(LIBZMQ_INCLUDE_DIR zmq.h)
|
|
find_library(LIBJSONC_LIBRARY NAMES json-c REQUIRED)
|
|
find_path(LIBJSONC_INCLUDE_DIR json-c/json.h)
|
|
|
|
# Mosquitto — для MQTT health (Phase 4b)
|
|
find_library(LIBMOSQUITTO_LIBRARY NAMES mosquitto REQUIRED)
|
|
find_path(LIBMOSQUITTO_INCLUDE_DIR mosquitto.h)
|
|
|
|
# libavformat / libavcodec / libavutil — для нативного mpegts output (Phase 7)
|
|
find_package(PkgConfig REQUIRED)
|
|
pkg_check_modules(LIBAV REQUIRED IMPORTED_TARGET
|
|
libavformat libavcodec libavutil)
|
|
|
|
# ── Сторонние библиотеки (subomodules в third_party/) ───────────────────
|
|
|
|
# cuframes — статически линкуем libcuframes. cuframes_static — это static lib
|
|
# который определён в third_party/cuframes/libcuframes/CMakeLists.txt.
|
|
# PIC обязателен — cuframes_static линкуется в наш SHARED libcuframes_composer.
|
|
set(CMAKE_POSITION_INDEPENDENT_CODE ON)
|
|
set(BUILD_TESTING OFF CACHE BOOL "" FORCE)
|
|
set(BUILD_EXAMPLES OFF CACHE BOOL "Cuframes examples" FORCE)
|
|
set(BUILD_TOOLS OFF CACHE BOOL "Cuframes tools" FORCE)
|
|
set(BUILD_FFMPEG_FILTER OFF CACHE BOOL "" FORCE)
|
|
set(BUILD_PYTHON_BINDINGS OFF CACHE BOOL "" FORCE)
|
|
add_subdirectory(third_party/cuframes)
|
|
# Восстанавливаем BUILD_EXAMPLES для наших собственных examples/
|
|
set(BUILD_EXAMPLES ON CACHE BOOL "" FORCE)
|
|
|
|
# nv-codec-headers — header-only, нужны заголовки nvEncodeAPI.h
|
|
# (NVENC) и cuviddec.h (NVDEC, на будущее). Не как target, просто include path.
|
|
set(NVCODEC_HEADERS_DIR
|
|
"${CMAKE_CURRENT_SOURCE_DIR}/third_party/nv-codec-headers/include")
|
|
if(NOT EXISTS "${NVCODEC_HEADERS_DIR}/ffnvcodec/nvEncodeAPI.h")
|
|
message(FATAL_ERROR
|
|
"nv-codec-headers заголовки не найдены в ${NVCODEC_HEADERS_DIR}/ffnvcodec/. "
|
|
"Выполни: git submodule update --init --recursive")
|
|
endif()
|
|
|
|
# ── Подпроекты ──────────────────────────────────────────────────────────
|
|
|
|
# src/ — основная библиотека композитора
|
|
add_subdirectory(src)
|
|
|
|
# examples/ — smoke-test программы (по фазам разработки)
|
|
if(BUILD_EXAMPLES)
|
|
add_subdirectory(examples)
|
|
endif()
|
|
|
|
# ── Сводка конфигурации ─────────────────────────────────────────────────
|
|
message(STATUS "")
|
|
message(STATUS "cuframes-composer ${PROJECT_VERSION} конфигурация:")
|
|
message(STATUS " Build type: ${CMAKE_BUILD_TYPE}")
|
|
message(STATUS " CUDA Toolkit: ${CUDAToolkit_VERSION}")
|
|
message(STATUS " CUDA include: ${CUDAToolkit_INCLUDE_DIRS}")
|
|
message(STATUS " nv-codec-headers: ${NVCODEC_HEADERS_DIR}")
|
|
message(STATUS " BUILD_EXAMPLES: ${BUILD_EXAMPLES}")
|
|
message(STATUS " BUILD_TESTS: ${BUILD_TESTS}")
|
|
message(STATUS "")
|