Как мы собрали 41-секундный рилс про Codex и Stream Deck

За коротким роликом осталось несколько десятков артефактов

Задача выглядела компактно: рассказать, как две кнопки Stream Deck показывают состояние двух рабочих аккаунтов Codex и переводят компьютер в нужный контекст. Исходный текст состоял из 99 слов. Голосовой клон произнёс финальную редакцию за 41 секунду, поэтому ролик сохранил полноценное объяснение вместо сокращения до рекламного слогана.

Производство заняло два дня и превратилось в проверку всего конвейера: от камеры и клонирования голоса до генерации аватара, локальной ретуши, видеоматтинга и программного монтажа. Числа ниже относятся к сохранённым файлам и зафиксированным тестам, а не к приблизительной оценке по памяти.

Что использовалось в съёмке и обработке

Сохранившиеся метаданные и уточнения автора дают точные технические параметры, но не полный съёмочный паспорт. Поэтому оборудование разделено на подтверждённое и неизвестное. Мы не приписываем съёмке свет или опорное оборудование, если они не зафиксированы в файлах и переписке.

• Stream Deck XLУстройство с сеткой 4 × 8, то есть 32 физическими кнопками. Оригинальный предметный кадр снят пользователем.
• Canon EOS R5 Mark IIМодель камеры подтверждена EXIF исходной фотографии Stream Deck. Для обучающего видео модель камеры в контейнере не записана.
• Canon RF 24–105 мм F4 L IS USMПремиальный китовый зум-объектив серии L. Его использование подтверждено автором съёмки.
• RØDE NT-USB MiniНастольный USB-микрофон использовался для записи исходного голоса. Модель подтверждена автором.
• 4K-видеопотокОсновной повторный дубль: 4096 × 2160, 50 кадров/с, H.264, стереозвук AAC 48 кГц, длительность 3:36,92, исходный размер около 3,9 ГБ.
• GeForce RTX 5080Локальная ретушь, тесты MODNet и MatAnyone, кодирование промежуточных файлов и проверочные рендеры.
• Производственный стекElevenLabs, HeyGen, CapCut как отвергнутый тест ретуши, FFmpeg, MODNet, RVM, MatAnyone, Remotion, React Three Fiber, Drei и Three.js.
• Не зафиксированоСхема света и точная модель опорного оборудования. В статье они не выдаются за подтверждённую часть процесса.

Съёмку пришлось повторить, чтобы сохранить руки и жесты

Первый тест длился 43,96 секунды. Он подтвердил, что лицо, речь и фон подходят для проверки Digital Twin, но для обучения материала было мало. Следующий дубль занял 3 минуты 5,68 секунды. Камеру держали вертикально, однако файл сохранился в горизонтальной матрице без стандартного флага поворота. Перед загрузкой в HeyGen его физически повернули, удалили первые 2,8 секунды и обрезали конец на отметке 180,8 секунды. Получился мастер 1080 × 1920 длительностью 2:58.

Уже после первого полного ролика выяснилось, что руки при движении подходят слишком близко к границам. Для нового образа записали третий дубль: 3:36,92, 4K и 50 кадров/с. Камера стояла примерно с трёхградусным наклоном. Файл повернули, привели к 9:16 и обрезали до 3:25, сохранив 2160 × 3840 и 50 кадров/с. Этот материал дал больше пространства вокруг кистей и позволил выбрать резкий опорный кадр около 00:15.

Голос собирался отдельно от изображения

Для Instant Voice Clone взяли три минуты речи из локального оригинала уже опубликованного видео. Выбран участок 9:27–12:27 без чужих реплик и заметной музыки. Его перевели в моно, привели к 48 кГц и 192 кбит/с, выровняли громкость и ослабили низкочастотный шум. Исходный обучающий сэмпл в статью не включён: для разбора достаточно производных тестов, а биометрический материал не стоит дублировать на публичном сайте.

Первые проверки выявили две проблемы. Бренд звучал как «Юнифи», поэтому в текстах для синтеза закрепили фонетическую форму «Юнифай Консалт». Длинное финальное предложение получало вопросительную интонацию. Его разбили на короткие утверждения. Вариант с локальным понижением голоса на один полутон оказался хуже исходного тембра и был отброшен.

Самой длинной стала работа со словом Windows. Дорожка с русской подсказкой ударения растянулась до 50,2 секунды. Попытка ужать её до 41,6 секунды ускорила весь голос. Затем были три русских варианта произношения и отдельный английский тест. В финале английское слово синтезировали отдельно и точечно вставили в исходную дорожку между паузами примерно с 12-й по 14,5-ю секунду. Общий темп и высота голоса не изменились. Финальный MP3 длится 41,14 секунды.

Ретушь нельзя было подменить снижением резкости

Первый подход через общие параметры кожи оказался неверным. Настройка CapCut «Очистить» усиливала локальную резкость, а ручное удаление дефектов записывало маски, но не меняло изображение. Проект сохранил кисть размером 7, интенсивность 100% и десять масок. После повторной проверки этот путь закрыли.

Локальный тест тоже пришлось переделать. В первой версии весь кадр уменьшался с 4K до 1080p, затем снова масштабировался и кодировался. Справа в сравнении терялась детализация волос и бороды, поэтому такое «до и после» было некорректным. Во втором тесте обработка шла в исходных 2160 × 3840, лицо отслеживалось по ключевым точкам, а изменения ограничивались тремя небольшими масками. Проверка зафиксировала 250 распознанных кадров из 250 и ноль изменённых пикселей вне масок.

Новый образ собирался локальными правками, а не цепочкой перегенераций

Из основного видео выбрали поясной кадр с прямым лицом и руками внутри рамки. Полноразмерная фигура для ролика оказалась лишней: аватар должен был открывать и закрывать историю, а середину занимали устройство и интерфейсные сцены. Поэтому появился студийный Look на тёмно-синем фоне, рассчитанный на фрагменты 0–8 и 34–41 секунду.

Образ прошёл через футболку, несколько вариантов косоворотки, историзированную и современную вышивку, круглые очки и две модели часов. Последовательная генерация всего портрета ухудшала лицо и руки. После этого каждую новую деталь стали вносить локально поверх исходного кадра. Вышивку строили отдельным детерминированным слоем со стежками и нитяными бликами. Серый ореол вокруг знака удалили отдельной правкой. Часы заменили на Zenith Defy Classic Skeleton White Ceramic через маску области запястья; остаток прежнего браслета обнаружили на увеличении и убрали расширенной маской.

Перед полным HeyGen-рендером сделали короткий тест: 2,09 секунды генерации дополнили стоп-кадром до ровных трёх секунд. Очки, вышивка и часы держались стабильно. Первый 41-секундный Avatar V-мастер стоил 33 кредита и получил белый фон без альфа-канала. Следующий мастер с исправленным произношением Windows неожиданно вышел на ровном синем фоне. Это сделало локальную вырезку возможной, но не решило её автоматически.

Удаление фона прошло четыре технических подхода

Первый черновик использовал покадровую сегментацию. На движении она давала белый ореол вокруг волос и чёрные провалы между пальцами. BiRefNet удалось стабилизировать по соседним кадрам, однако остаточный край всё равно выглядел искусственно. RVM проверили как модель с временной связностью, но на почти белом фоне она принимала большую часть подложки за человека.

Следующий MODNet-проход считался на RTX 5080. Он улучшил цельность фигуры, но потребовал отдельной очистки белого спилла на волосах. MatAnyone оказался самым устойчивым: начальная маска распространялась по пятисекундной последовательности и сохраняла белую ткань между пальцами. Тем не менее задача сменилась. Вместо сложной вырезки ведущего решили анимировать весь утверждённый кадр 1:1, сохранив студийный фон, масштаб и руки. Сначала проверили 2,54 секунды, затем сделали полный 41-секундный мастер.

Три черновика привели к отдельной Remotion-сборке

Первый монтаж длился 41,5 секунды и состоял из семи сцен: ведущий в углу, реальные фотографии устройства, крупные планы кнопок и графические статусы. После просмотра выяснилось, что аватар слишком мал, субтитры недостаточно крупные, а фон вырезан нестабильно. Кроме того, поворот плоской фотографии был ошибочно назван 3D.

Во втором цикле появилась генеративная иллюстрация устройства с 32 кнопками. Геометрия и количество экранов совпали с референсом, но изображение всё равно оставалось плоским ассетом. Третий черновик перешёл на полноэкранного ведущего и последовательные предметные сцены. Две длинные строки субтитров вышли за безопасные поля 9:16, поэтому их переразбили на 2–3 строки. Этот вариант уже дал рабочую композицию, но движение предмета оставалось ограниченным.

Финальную v4 собрали с нуля в Remotion 4.0.513. React Three Fiber, Drei и Three.js построили процедурный Stream Deck: корпус, сетку 4 × 8, 32 отдельные кнопки, текстуры экранов, свет, камеру и подсветку двух аккаунтов. Речь и аватар остались в исходном масштабе 1080 × 1920. Между фрагментами ведущего появились полноценные предметные сцены, а субтитры получили увеличенный мобильный кегль и безопасные поля.

Первая покадровая проверка обнаружила, что корпус выходит за боковые границы. Камеру отодвинули, перспективное заполнение уменьшили и снова проверили ключевые кадры. После второй проверки устройство полностью помещалось в 9:16, все 32 кнопки читались, а активные аккаунты выделялись отдельным светом. Полный рендер прошёл десять контрольных точек без чёрных провалов и пустых сцен.

Короткий разбор производственного конвейера

В ролике в начале статьи весь процесс собран в 59,56 секунды: исходная съёмка, материал для цифрового двойника, голосовой клон, тесты образов, ретушь, программный монтаж и финальная проверка. Это облегчённая веб-версия 720 × 1280; мастер сохранён в 1080 × 1920.

Что этот процесс изменил в конвейере следующих роликов

Главный результат — не один MP4, а проверенный порядок работы. Сначала записывается кадр с запасом вокруг рук. Затем отдельно утверждаются голос, произношение и статичный Look. Дорогой HeyGen-рендер начинается с двух-трёх секунд. Вырезание фона проверяется на коротком контрастном фрагменте. Полный монтаж запускается после того, как утверждены масштаб ведущего, один предметный кадр и мобильный размер субтитров.

Для следующей темы этот порядок сокращает число дорогих итераций. Голосовой клон, Look, Remotion-шаблон, безопасные поля и процедурная сцена уже существуют. Меняются сценарий, предмет разговора, реальные демонстрации и несколько сцен, а базовая производственная система остаётся прежней.