The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Google представил AutoFlip, фреймворк для умного кадрирования видео

16.02.2020 09:28

Компания Google представила открытый фреймворк AutoFlip, предназначенный для кадрирования видео с учётом смещения ключевых объектов. AutoFlip использует методы машинного обучения для отслеживания объектов в кадре и оформлен как надстройка над фреймворком MediaPipe, который использует TensorFlow. Код распространяется под лицензией Apache 2.0.

На широкоэкранном видео объекты не всегда находятся в центре кадра, поэтому фиксированного обрезания краёв не всегда достаточно. AutoFlip отслеживает активность людей и объектов в кадре, и динамически смещает окно кадрирования для оптимального охвата ключевых элементов сцены (например, если в кадре несколько людей и один из них говорит или двигается, то фокус кадрирования будет может быть сосредоточен на этом человеке).



  1. Главная ссылка к новости (https://opensource.googleblog....)
  2. OpenNews: Обновление MediaPipe, фреймворка для обработки видео и звука с использованием машинного обучения
  3. OpenNews: Google выпустил дистрибутив Mendel Linux 4.0 для плат Coral
  4. OpenNews: NVIDIA открыла код системы машинного обучения, синтезирующей пейзажи по наброскам
  5. OpenNews: Выпуск системы машинного обучения TensorFlow 2.0
  6. OpenNews: Выпуск библиотеки компьютерного зрения OpenCV 4.2
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/52379-mediapipe
Ключевые слова: mediapipe, video, autoflip, ai
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (59) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, artenox (?), 09:48, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Крутая вещь для просмотра 2.35:1 на 16:9 и 16:9 на 4:3.
    Вопрос юзабельно ли это для домашнего применения? Закинул на вход видео, на выходе получил готовое.

    Кстати, а в каких монтажках Pan и Scan можно оперативно менять? В идеале, чтобы вообще на лету (как мультикам переключают).

     
     
  • 2.2, artenox (?), 09:53, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А в каких монтажках можно делать такой стаб? (без обрезки) https://youtu.be/-kS2JCLwcWA?t=347
     
     
  • 3.56, Аноним (56), 21:57, 17/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > А в каких монтажках можно делать такой стаб?

    ffmpeg! Хоть он и не монтажка... в привычном понимании... но "линейный" процессинг им делать можно, и он даже умеет делать весьма заковыристые вещи.

     
  • 2.41, Аноним (41), 20:41, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Крутая вещь для просмотра 2.35:1 на 16:9 и 16:9 на 4:3.

    Это, в смысле, выкинуть половину видео - и тогда влезет в экран? Ну круто, да :)

     
     
  • 3.58, Takov_put (?), 09:35, 18/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ну так зачем вам пейзажи Мандалорца, не в них же соль сериала...
     

  • 1.3, Аноним (3), 10:22, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    >оформлен как надстройка над фреймворком MediaPipe, который использует TensorFlow.

    Продвижение своих продуктов путём завязывания всего на них.

     
     
  • 2.5, A.Stahl (ok), 10:28, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +15 +/
    И я, скотина эдакая, когда пишу код, то часто использую свои предыдущие наработки. Более того -- я считаю что это удобно. И ради чего? Ради экономии своих нафиг окружающим не интересных времени и нервов. И мне даже не стыдно.
     
     
  • 3.6, Аноним (3), 10:39, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Успокойся, я сам тоже так делаю.
     
  • 3.7, Аноним (7), 10:59, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • –7 +/
    Да ты же еще и ОС сам для себя написал под своё же железо.
     
  • 3.43, Lex (??), 21:53, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Под какой лицензией ?
     

  • 1.4, Аноним (4), 10:27, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +11 +/
    Фреймворк делающий вертикальные видео из горизонтальных
     
     
  • 2.8, Аноним (7), 11:01, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • –14 +/
    Горизонтальные видео пережиток прошлого где их смотреть в кинотеатре? В таких штуках которые когда-то назывались ПК? Да где их  сейчас найдешь в музее?
     
     
  • 3.9, artenox (?), 11:16, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Вертикальные видео снимают только ламеры, которые не знают, что перед съемкой надо повернуть смартфон иначе потом будет больно смотреть на большом брате.

    > в музее

    Вот именно, вертикальные видео это даже не 4:3 (1.33:1), а 9:16 (0.56:1). Даже не квадрат.

     
     
  • 4.11, Аноним (-), 11:57, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > иначе потом будет больно смотреть на большом брате

    Они не смотрят на большом брате. Да и большого брата часто уже нет.

     
     
  • 5.12, Аноним (12), 12:28, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Есть же, большой брат с торрентами стоит у каждого в гостиной. У некоторых в спальне, но это от недостатка места. С огромной диагональю, а иначе какой смысл.
     
     
  • 6.17, Аноним (3), 13:35, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Торренты обычно на роутерах и насах крутят
     
  • 6.19, Аноним (19), 13:58, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    У каждого питекантропа стоит в гостиной. С другой стороны мнением этих форм жизни пренебрегает даже гугл как видно из новости.
     
     
  • 7.26, Аноним (12), 17:08, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А как кино смотреть без большого брата? DRM вроде и движется именно по этому пути: смотреть только дома, на сертифицированном оборудовании, в группы больше 1 не собираться…
     
  • 7.52, KhabMan (ok), 06:35, 17/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > мнением этих форм жизни пренебрегает даже гугл

    Так пренебрегает, что постоянно апгрейдит хромкаст, ага...

     
  • 7.59, Takov_put (?), 09:37, 18/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    с одной стороны рад, что не питекантроп, с другой как то обидно, что хочется им стать(купить большого брата с плойкой)
     
  • 5.22, Аноним (3), 15:41, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >Да и большого брата часто уже нет.

    Тут должна была быть модифицированная мемоцитата, но я так и не придумал, как её нормально отпетросянить.

     
  • 5.30, artenox (?), 17:44, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > большого брата часто уже нет

    Телеков тоже уже нет?

     
  • 4.18, Аноним (19), 13:57, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • –4 +/
    только старперы которые в принципе знают что такое большой брат или "телевизор". Кстати от телевизора у них же и атрофировались умственные способности. Теперь они не в состоянии осознать что может быть по другому.
     
  • 3.27, коржик (?), 17:35, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Телефон ещё можно боком держать
     
     
  • 4.38, молодой продвинутый нестарпер (?), 20:22, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    да ну, че, как лоху, чтоль? Надо просто телик прикрутить к стене норм, а не как лохи, горизонтально.

     
     
  • 5.47, Аноним (-), 22:40, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > да ну, че, как лоху, чтоль? Надо просто телик прикрутить к стене
    > норм, а не как лохи, горизонтально.

    Про кронштейны умеющие поворачиваться вокруг своей оси для переключения портрет-пейзаж нестарперам походу не рассказали :)

     
     
  • 6.49, Аноним (49), 22:53, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Это ты маленькую πиздφлинку можешь повращать, а не нормальный телик, который упрётся тебе в пол при попытке...
     
     
  • 7.57, Аноним (56), 22:00, 17/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Это ты маленькую πиздφлинку можешь повращать, а не нормальный телик, который
    > упрётся тебе в пол при попытке...

    Так, блин, его ж на некоторой высоте вешают, если такого хотелось. И чтоб оно в пол уперлось - это у вас чего там, двухметровая диагональ? :)

     
  • 3.34, Суп из потрошков (?), 19:22, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Что вы залили в свою машину времени для параллельных вселенных?
     
     
  • 4.42, Crazy Alex (ok), 21:12, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Засыпали.
     
  • 3.50, Аноним (50), 22:54, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Горизонтальные видео пережиток прошлого где их смотреть в кинотеатре? В таких штуках которые когда-то назывались ПК? Да где их  сейчас найдешь в музее?

    Возьмите: ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
    Кончатся, пишите. Ещё вышлю.

     
     
  • 4.60, Товарищ сержант (?), 14:15, 18/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    че это за забавные значки ?
     

  • 1.10, Аноним (10), 11:49, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    можно будет превью из порно по-умному нарезать
     
  • 1.13, Аноним (49), 12:59, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Зачем переводить нормальное видео в вертикальное?!
     
  • 1.14, Аноним (14), 13:01, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Народ а как запустить то все это дело на пк ?
     
     
  • 2.20, Аноним (19), 14:00, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    А как это запустить на утюге? Ответ утюги и твой пк не нужен, купи нормальный смарт смотри на нем. В естественном вертикальном положении.
     
     
  • 3.24, Аноним (14), 16:02, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Нет я к тому что как можно конвертировать видео и сохранить его
     
     
  • 4.31, Аноним (31), 18:00, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ну там как бы инструкция по установке там и базель правильной версии нужен и все дела, но я решил вместо тебя ставь через докер. Потом запуская example/desktop/autoflip не путая ключики прописываешь путь к своем файлу и на выходе получаешь порезанный.

    Если с консолью линуксом и докером никогда не работал лучше не пробуй.

     
  • 3.46, Аноним (46), 22:29, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > купи нормальный смарт смотри на нем

    И деньги на новые глаза приготовь.

     

  • 1.15, Аноним (15), 13:29, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Google: "фреймворк умного кадрирования видео для глупых людей" ;)
     
     
  • 2.21, Аноним (19), 14:00, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Для нормальных прогрессивных людей.
     
     
  • 3.45, Аноним (45), 22:07, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +6 +/
    Он так и сказал, просто слов меньше.
     

  • 1.16, Аноним (14), 13:35, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Народ а как запустить то все это дело на пк ?
     
     
  • 2.23, Аноним (3), 15:43, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Заплатить гуглу. Гугл сделал почти всё, чтобы обычные пользователи не могли сами собрать его продукты.
     

  • 1.25, Kuromi (ok), 17:07, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Они придумали фреймворк который превращает "горизонтальные" видео в "смартфонно-вертикальные" ? О времена о нравы... Гуглу надо не софт для этого придумывать, а на Ютубе банить вертикальные видосы, неужели так сложно повернуть смартфон при съемке?

    Впрочем, мне уже попадался один "инновационный интернет кинотеатр с вертикальными фильмами адаптированными для смартфона".

     
     
  • 2.28, A.Stahl (ok), 17:38, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >неужели так сложно повернуть смартфон при съемке?

    Т.е вариант когда нужно снять что-то узкое и высокое ты сразу отметаешь? Ты предпочитаешь снимать это мелким и занимать бОльшую часть площади видео каким-то неактуальным фоном?

     
     
  • 3.33, Аноним (33), 18:31, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Хм. А глаза у нас тоже по вертикали расположены? Да даже один глаз имеет зрительную зону больше по горизонтали, чем по вертикали. Потому горизонтальное видео и смотрится естественно и лишний фон не мешает, а наоборот создаёт среду для объектов.
     
  • 2.36, безопастный город (?), 19:52, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    нет, они придумали фреймворк, который вырезает из видео обзорной камеры - тебя.

    И если ты думаешь, что для чего хорошего - то у меня для тебя плохие новости.

     

  • 1.29, Аноним (15), 17:41, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > что-то узкое и высокое

    Хорошо хоть не длинное, БГГ!)))

     
     
  • 2.32, Аноним (31), 18:02, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Длинное можно потом повернуть на 90 градусов и нарезать сабжем самые интересные места.
     

  • 1.35, Суп из потрошков (?), 19:24, 16/02/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    А если собачка побежала в одну сторону, а мужик в другую?
     
     
  • 2.37, безопастный город (?), 19:53, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    модель обучали - на людях, собачки ей неинтересны.
    Просто в этом кадре кроме человека есть еще лишний объект.

     
  • 2.39, artenox (?), 20:30, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А если в одну сторону побежит баба, а в другую мужик, кого выберет гугл?
     
     
  • 3.40, Аноним (40), 20:38, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    В центре оставит.
    Вот, если они побегут с разной скоростью, интересно будет посмотреть как нейросеть расплющит. Возможно, камера проводит мужика, а потом вернется к бабе.
     
  • 3.44, Аноним (-), 22:05, 16/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >  кого выберет гугл?

    Сделает стерео! А то что вы станете косоглазым - извините, в лицензии написано же: as is!

     

  • 1.51, Аноним (51), 03:41, 17/02/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Бенни Хилл отлично продемонстрировал кадрирование в "Deep in my Heart" (также ищется по «benny hill pan and scan»).
     
     
  • 2.54, Аноним (10), 10:28, 17/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    ну иди передёрни, раз такое дело
     

  • 1.53, Huff (?), 08:26, 17/02/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    надо чтобы смарт при попытке снимать вертикально бился током
     
     
  • 2.55, Аноним (46), 11:08, 17/02/2020 [^] [^^] [^^^] [ответить]  
  • +/
    И лезвия бы по бокам выскакивали и отрезали пальцы.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру