Первые в России! Как команда TDS реализовала дополненную реальность с дрона в прямом эфире на фестивале «Новая волна 2025» в Казани.

Международный конкурс молодых исполнителей «Новая волна 2025» в Казани стал настоящим технологическим триумфом отечественного телепроизводства! Наша команда TDS впервые в России реализовала дополненную реальность (AR) в прямом эфире с дрона, превратив трансляцию в захватывающее интерактивное шоу. Виртуальные небоскрёбы с бегущей строкой «Новая Волна», логотипы и имена артистов, парящие над сценой — всё это стало реальностью. Как мы это сделали? Рассказываем!

Наши другие проекты технического продакшна: TDS production

Проекты VR|AR|XR: Virtual production
Контакты: taplink

Начнем с основ. Дополненная реальность (AR) — это когда цифровые объекты накладываются на реальный мир в реальном времени. Помните покемонов в игре Pokémon GO, появляющихся на улице через камеру телефона? Теперь представьте то же самое, но с дрона! Он летает, снимает местность, а мы добавляем виртуальные элементы — от логотипов до целых небоскрёбов, — которые выглядят так, будто реально существуют.

Ключ к успеху — машинное зрение и оптический трекинг в связке с технологией «через объектив» (TTL). Машинное зрение позволяет дрону анализировать пространство, и использовать его как ориентиры без физических маркеров. Это особенно важно для прямого эфира, где картинка сразу должна быть идеальной.

Это открывает огромные возможности для телевидения, спорта и развлечений. Вместо скучных статичных кадров зрители получают динамичное шоу. Дроны идеальны для этого, потому что они мобильны — могут летать куда угодно и снимать с ракурсов, недоступных обычным камерам, a c помощью Unreal Engine 5 создается графика, текста и анимация, которые идеально синхронизируются с движением дрона.

Самое большое преимущество технологии - это огромная свобода для творчества. Трансляции больше не привязаны к статичным камерам — они могут создавать динамичные сцены, где виртуальная графика следует за движением дрона. Например, на спортивном матче дрон может пролететь и отобразить статистику прямо над игроками.

К нам обратились с запросом: можно ли дорисовать примечательности Казани, чтобы улучшить вид на общих планах, заполнить "чёрные" зоны и сделать панораму для трансляции зрелищнее и эффектнее.

Для решения поставленной задачи командой TDS production было предложено использовать технологию дронов с машинным зрением, за которыми давно следили.

Чтобы всё выглядело реалистично, нельзя просто нарисовать картинки и наложить их на видео. Нужно, чтобы виртуальные объекты стояли точно на своих местах, не дрожали и не исчезали при движении дрона. Поэтому мы начали с тщательной подготовки.

Сначала наша команда провела геодезию района — это как топографическая съёмка, где с помощью специальных инструментов мы измерили все расстояния, высоты и формы зданий, дорог и других объектов вокруг стадиона «Ак Барс Арена». Без этих действий виртуальные объекты могли бы "плавать" в воздухе или проходить сквозь реальные стены.

После проведённых измерений мы создали точную . Это похоже на постройку миниатюрного виртуального города: каждое здание, дерево и дорога воспроизведены с ювелирной точностью. Почему это так важно? Потому что дрон постоянно двигается и меняет угол съёмки, а виртуальные объекты должны идеально совпадать с реальностью, как детали пазла. Если модель неточна, AR не сработает — небоскрёб мог бы «висеть» в воздухе или исчезать.

Затем мы перешли к созданию самих виртуальных элементов для дополненной реальности (AR). Мы создавали и прорабатывали каждую деталь, каждое дерево и небоскреб, чтобы графика выглядела максимально реалистичной. В процессе работы мы так увлеклись, что создали даже больше, чем планировали.

Как "вживить" эти объекты в реальный мир? Здесь помогает машинное зрение и оптический трекинг. Дрон снимает видео, а программа анализирует кадр — распознаёт реальные здания, свет и движение, как глаза робота. Затем она накладывает виртуальные объекты точно на пространство.

Фото дневных тестов с добавлением дополненной реальности (AR):

По итогу нашей работы мы создали виртуальные экраны с изображение крупным планом ведущих и исполнителей, идеально вписанных в кадр, а над сценой парили виртуальный логотип фестиваля и имена артистов, и все это отображалось в реальном времени. Это был настоящий интерактив в прямом эфире!

Также на открытии фестиваля состоялся грандиозный и яркий салют. Мы записали его с помощью дрона и интегрировали запись салюта не только в эфир первого дня, но и в последующие.

Работа в прямом эфире — это всегда вызов. На тестах мы столкнулись с проблемой передачи данных с камер на расстояние до 1,5 км. Радиоканалы давали помехи и задержки, что недопустимо для дополненной реальности (AR) в реальном времени. Мы решили задачу, проложив оптоволоконные линии к камерам и использовав технологию MediorNet для высокоскоростной передачи данных. Это позволило мгновенно принимать сигнал с камер, обрабатывать его, накладывать графику и транслировать шоу без малейших задержек.

До и после добавления дополненной реальности (AR).

Графика, созданная в Unreal Engine 5, была стабильной, даже при манёврах дрона. Результат превзошёл все ожидания: дрон создал кадры, которые затмили статичные камеры. Виртуальные небоскрёбы с бегущей строкой, парящие логотипы и имена артистов, экраны с крупными планами выступлений фестиваля в реальном времени, а также очень масштабные постройки на заднем фоне.

Мы продумали всё до мелочей: в стёклах виртуальных зданий отражались реальные машины, движущиеся по дороге, что добавило реализма. Это был технологический триумф, который задал новую планку для прямых эфиров. Дальше - больше!