RAW-видео на смартфоне. Детальный обзор MotionCam

motioncam
Приложение MotionCam позволяет снимать высококачественное видео на смартфонах под управлением Android. Результат сильно отличается от того, что даёт стандартное приложение в смартфоне.

Примеры можете посмотреть в моём видео.

RAW-видео позволяет получать картинку с большим динамическим диапазоном и без артефактов, свойственных стандартному приложению (неестественная резкость, артефакты низкого битрейта).

Изображение из MotionCam выглядит похожим на то, что выдают камеры Blackmagic. По динамическому диапазону смартфону, естественно, с ними никак не сравниться. Но общее впечатление похожее.

С помощью MotionCam можно снимать видео как в RAW, так и в сжатых форматах.

Как это работает?

motioncamВариант 1. Смартфон пишет видео в формате mcraw. Этот формат не открывается ни на смартфоне, ни в монтажных программах. Его нужно конвертировать. Это можно сделать в смартфоне в приложении MotionCam или же на компьютере в MotionCam Tools.

На смартфоне вы можете конвертировать mcraw вы можете в сжатые кодеки HEVC, h264, ProRes или же в последовательность DNG-файлов.

  • Конвертация mcraw в HEVC или h264 происходит довольно быстро, практически в реальном времени (то есть скорость рендера около 24fps);
  • конвертация в ProRes несколько медленее (около 14fps);
  • конвертация из mcraw в DNG идёт очень медленно (0.8fps). Ролик на 30 секунд конвертировался из mcraw в DNG смартфоном в течении 15 минут.

Цифры указаны для обработки на смартфоне Xiaomi MI 11 Ultra для 16 битного RAW-видео.

В последнем обновлении приложения снизили битность RAW-файлов с 16 до 10, так что теперь они меньше весят и рендер DNG ускорился более чем в два раза. При конвертации mcraw на компьютере пользователю доступен только DNG формат вывода. h264/h265/ProRes можно рендерить только на смартфоне. Так решил разработчик.

Но это ещё не всё.

Сконвертированное видео вам нужно открыть в монтажной программе и провести цветокоррекцию. Лучший результат получается с DNG-файлами, которые автоматически распознаются Davinci Resolve как готовый клип в формате raw-видео. А это видео уже можно преобразовать в формат Blackmagic Film, накинуть на него лут и вот тогда наступает КИНО))

Вариант быстрее — конвертировать исходник mcraw в DNG на компьютере в MotionCam Tools. На смартфоне, этот процесс медленней происходит.

После всех этих процедур вы получаете максимальное качество изображения. При чём, не только в плане мягкости/киношности/динамического диапазона, но и в плане шумов на видео. В этом формате даже ISO 2500 на смартфоне выглядит довольно чисто. Плюс такое видео можно конвертировать в различные форматы и у вас есть огромная гибкость в плане цветокоррекции. Минус — огромный размер файлов и нужно немалое время на конвертацию файлов.

motioncamВариант 2. Режим DirectLOG без лута. Смартфон пишет уже сжатое видео в формате h264/265/ProRes. Возможна запись в цветовом пространстве REC.709, то есть готового видео, которое не нужно красить. Или же можно писать в Log-профиле, на которые потом накладывать Lut-файл для цветокоррекции.

Качество чуть хуже, чем в первом варианте, но все равно ощутимо лучше, чем в стандартном приложении. Плюс у вас есть гибкость в настройке яркости/динамического диапазона при постобработке. Такое видео занимает немного места и не нуждается в дополнительной конвертации. С ним быстро и удобно работать.

Также можно поставить запись без лог профиля, сразу в REC 709, но эффект будет хуже.

Скачать лут для mclog-формата можно в discord канале разработчика или на его сайте (там появится позже).

Вариант 3. Режим DirectLOG + LUT. Камера пишет в Log-профиле, на который автоматически накладывает LUT-файл (который вы подгружаете в приложение).

Плюс в том, что вы сразу получаете качественное видео, которое не нужно обрабатывать. Минус в том, что далеко не все смартфоны могут потянут этот режим. И ещё один минус, такое видео потом почти не поддаётся цветокоррекции.

По умолчанию mcraw-файлы сохраняются на смартфоне в папке Documents/MotionCam, сжатые видео — в папке DCIM/MotionCam. Это можно изменить в приложении.

Про динамический диапазон на смартфоне

Отдельно хочу рассказать о возможностях смартфона с MotionCam в плане динамического диапазона.

Это в первую очередь зависит от размера сенсора. Так например, стандартная камера (экв. 24мм) Xiaomi MI 11 Ultra даёт больше ДД по сравнению с телекамерой (экв.120мм). Xiaomi MI 11 Ultra лучше, чем Xiaomi 10T Pro с меньшим сенсором и так далее.

Но при прочих равных максимум ДД вы можете выжать, если снимете в mcraw и конвертируете в DNG файлы, которые потом откроете в Lightroom. И там можно вытянуть много, но при этом уровень шумов будет очень высоким. Потом эти шумы можно подавить, но стандартными средствами Lightroom это делается плохо. Обычный шумодав сильно съедает детали. Если упороться и подавить шумы на сотнях/тысячах кадров из видео с помощью ИИ в лайтрум, то вы потом увидите, что эти кадры отличаются между собой и это видео не годится к просмотру. Лучше для такой задачи использовать Topaz AI для видео.  Но стоит ли этим вообще заниматься? — Нет. Но я протестировал)

Проще давить шумы в Davinci и слишком не задирать тени.

Если сравнивать Log-видео из MotionCam с тем, что выдаёт смартфон в стандартном HDR-режиме, то HDR-режим даёт чуть больше ДД. Преимущество есть у RAW-формата, но при поднятии теней картинка будет шумной.

В целом, ДД на смартфоне ощутимо ограниченный и даже в RAW-формате можно легко получить выбитые пересветы.

Настройка экспозиции

С этим нужно быть осторожными, т.к. динамический диапазон маленьких сенсоров ограничен. При съёмке на смартфон можно легко получить выбитые участки в облаках или других светлых объектах даже в RAW-формате и даже при небольшой ошибке в +0.5 EV. И с другой стороны, если вы недоэкспонируете, то получите грязные и шумные тени. Гибкость с экспозицией минимальная, даже для RAW-видео. Вытянуть картинку можно, но деградация изображения ощутима.

Рекомендую в приложении внимательно следить за гистограммой и пользоваться false color (окрас переэкспонированных зон в оранжевый и недоэкспонированных зон в синий/фиолетовый цвета).

Стабилизация видео

Она работает, но нужно быть внимательными к тому, как вы держите смартфон. Если у вас дрожат руки или на улице сильный ветер, картинка будет дрожать.

Оптическая стабилизация работает с этим приложением, но эффект от неё не такой сильный как при съёмке на фотоаппараты/видеокамеры. При записи с рук видео может получаться нормальным, но не всегда.

Про битность

Раньше приложение MotionCam записывало поток видео в 16 битах. Сейчас по умолчанию поставили 10-битный RAW, но в настройках при желании можно вернуть 16 бит.

Я сравнивал RAW-фото с смартфона с DNG-кадром из 16-битного видео — получается практически тоже самое по тягучести. Света/тени вытягиваются одинаково на RAW-фото со смартфона и на кадре из RAW-видео. Если говорить, например, о Canon R5, то там RAW-видео пишется в 12 битах и заметно уступает RAW-фото с этой же камеры.

Сейчас в приложении по умолчанию стоит 10 бит для RAW-видео и это хорошо, т.к. скорость конвертации mcraw-DNG реально увеличилась, а файлы стали ощутимо меньше.

Минимальные требования к смартфону

  • Во-первых, нужно чтобы в вашем смартфоне был разблокирована возможность записи RAW-потока данных. Это нужно проверять.
  • Во-вторых, в связи с тем, что запись RAW-видео — задача ресурсоёмкая, возникает вопрос, какой смартфон потянет этот режим.

Ответ — всё зависит от настроек. Если снимать в режиме pixel-binning с пропуском строк и менее качественной картинкой, то пользоваться этим приложением можно на любом смартфоне. Также, рекомендую ставить 24fps вместо 30fps, в некоторых режимах это помогает.

В целом, возможности приложения, конечно, зависят от модели вашего смартфона. Я протестировал MotionCam на смартфонах Xiaomi 10T Pro и Xiaomi MI 11 Ultra.

Особенности работы Xiaomi 10T Pro (процессор Snapdragon 865):

  • 6К RAW-видео со всего сенсора смартфон не тянет (6016 на 4512 пикселей, соотношение сторон 4:3)
  • 4К RAW-видео с кропом сенсора примерно х1.3 смартфон пишет уверенно, без пропуска кадров
  • 4К HEVC 10 bit 4:2:0 без наложения лута пишется нормально, без пропуска кадров
  • 4К ProRes 10 bit 4:2:2 без наложения лута не тянет, появляется пропуск кадров
  • 4К DirectLOG (с лутом) смартфон не тянет, появляется пропуск кадров

Особенности работы Xiaomi MI 11 Ultra (процессор Snapdragon 888):

  • 4К RAW-видео пишется без кропа, со всего сенсора, смартфон пишет уверенно, без пропуска кадров
  • HEVC 8 bit 4:2:0 смартфон пишет уверенно, без пропуска кадров
  • режим 4К HEVC 10 bit 4:2:0 не доступен
  • 4К ProRes 10 bit 4:2:2 без наложения лута не тянет, появляется пропуск кадров
  • 4К DirectLOG (с лутом) можно писать в течении нескольких минут, после чего появляется пропуск кадров

В целом, для комфортной работы вам понадобится смартфон на процессоре Snapdragon 845 и выше. То есть, речь идёт о флагманских моделях начиная с 2018 года. Это значит, что совсем необязательно иметь самый последний смартфон для работы с RAW-видео в MotionCam.

Про объём памяти

Если писать в сжатых кодеках (HEVC или h264), то с этим проблем не будет. Но если вы хотите писать именно RAW-видео, то место в смартфоне заканчивается довольно быстро.

Полминуты RAW-видео занимают примерно 5 гигабайт. Смартфона с 256гб памяти хватит примерно на 30 минут записи. При этом, расширение памяти за счёт SD-карт бесполезно, т.к. их скорости не хватит для этой задачи.

Энтузиасты используют внешние SSD через USB Type C. Но для этого у вашего смартфона должен быть USB версии 3.2. Например, у Xiaomi MI 11 Ultra USB версии 2.0, скорости которого недостаточно. Тут уже возникает вопрос — что именно и как долго вы хотите писать в таком формате.

Для того, чтобы сделать клип из нарезки видеофрагментов, смартфона с 256 ГБ памяти будет достаточно. Если же вам нужно писать долго, можно переключиться в h265/h264. Правда, 1 час записи видео тратит примерно 60% заряда аккумулятора.

Ограничения с модулями камер

На некоторых моделях смартфонов писать RAW-видео можно будет на любую камеру, а на некоторых — только на основную. Какие именно модели что будут поддерживать — пробуйте. В приложении для этого есть пункт Search For Hidden Cameras. Вышеупомянутые смартфоны поддерживают все камеры в MotionCam.

Кстати, приложение пока доступно только на английском, позже обещают добавить и другие языки.

Итого, что с совместимостью?

Чтобы проверить как будет работать ваш смартфон, вы можете установить бесплатную версию MotionCam на Google Play и протестировать его производительность.

Платная версия MotionCam Pro открывает возможность записи в режиме DirectLOG и позволяет пользоваться инструментами мониторинга (гистограмма, false color).

Отзыв о MotionCam в целом

Как вы могли видеть из текста выше, вся эта затея рассчитана на энтузиастов. Но для людей, которые имеют некоторый опыт работы с raw-видео, в этом нет ничего сложного.

Если вы не хотите заморачиваться, но в то же время, вам интересно получить более качественную картинку из смартфона, можно снимать в сжатых кодеках без RAW-видео. Результат тоже впечатлит.

Больше информации есть в моём ролике для спонсоров канала.

Видео от разработчика приложения MotionCam (на английском):