Как устроен перевод видео?
HTML-код
- Опубликовано: 14 ноя 2024
- В приложении Яндекс и Браузере появилась возможность включать русскую озвучку для видео не только на английском, но ещё и французском, испанском и немецком языках.
Какие технологии используются для закадрового перевода и с какими неожиданными нюансами столкнулись при разработке - рассказывает Филипп Панфилов, менеджер продукта.
Переводчик видео - это космическая фича. Спасибо Яндексу и разработчикам. Я смотрю довольно много разных туториалов на английском языке и переводчик видео намного облегчил жизнь. Теперь стерты барьеры в самообразовании. Да, на русском языке много туториалов, но всё-таки большинство пока на английском. Ну и когда люди будут говорить, что у нас нет никаких прорывных технологий всегда будут говорить, что лично для меня прорывная технология 21 года - это переводчик видео от Яндекса. Такого вроде как нигде в мире больше нет.
обожаю эту функцию)Это лучшее что было создано.Я интересуюсь сведением и аранжировкой музыки и могу узнавать информацию с иностранных источников.Единственный минус что заметил это музыка становится но это не супер критично.Спасибо
Какие же вы МОЛОДЦЫ! Это прорыв!!! Успехов вам
Яндекс, вы гигантские молодцы! Я верю в вас!
Спасибо вам большое! Смотрю видео на иностранном и пользуюсь вашей функцией) Даже голос Алисы приятно слышать.
Спасибо вам! Я для себя новый ютуб открыл!
Перевед видео круто я посмотрел пару видео с переводом все понятно :) 👍
Яндек успехов вам !
(Вод бы ещё для игр такую функцию перевода придумали 🤤😂)
Штука действительно шикарная. Как отмечалось в интервью Шихман вы поработали над темпом речи. Если шагнуть дальше? Голос имеет несколько аудиохарактеристик - громкость, высота, тембр, тон, темп. Есть ещё другие характеристики, но они больше субъективные (благозвучность, полетность, подвижность). А вот громкость, тембр, темп, высота и тон пожалуй можно оцифровать (в аудиоредакторах такие параметры вроде как можно менять) и переложить на искусственный голос. Таким образом он станет приближен к реальному. Надеюсь нынешние технологии достигли такого уровня :)
Список языков будет увеличиваться? Китайский арабский или только европейские?
Здравствуйте Яндекс спасибо вам огромное но есть замечания сделайте пожалуйста перевод видео 5 часовой 7часовой многие видео уроки сделано именно 5 6 8часовой к сожалению Яндекс не переводить такие видосы спасибо
Поддерживаю
Перевод офигенен. Но вот бы ту же технологию пустить ещё на запикивание мата (там же по идее сильно проще должно быть).
Здравствуйте! Увидели. Команде идею передадим :)
@@yandexsupport Спасибо! В мотивоционную копилку ;)
ruclips.net/video/L8-BEqJ463w/видео.html
(тайминг не случайный)
Это невероятно классная фишка. Хотелось бы перевод с украинского. А-то сейчас много кто из украинских блогеров, всю жизнь вещающих на русском, перешли на украинский язык... Даже многие локальные каналы, где все ролики по одной конкретной игре. Про причины пытаться рассуждать я не хочу. Это их дело. Да и я, собственно без негатива к ним это пишу. Многие даже всё равно отдельно русские субтитры пишут. Но читать субтитры во-первых не удобно. Постоянно останавливать ролик. Да и смотришь ты всегда вниз плеера, а не в центр. Ты не смотришь видео, а именно что читаешь субтитры. А хочется именно что *смотреть* ролик. Да и на фон говорить тоже поставить иногда хочется, если видео ряд не особо интересен.
В Яндекс браузере на iPad нет перевода видео! Когда сделаете?
У вас последняя версия установлена?
Здравствуйте! Планами поделиться, увы, не можем. Пожелание передали команде, постараемся порадовать вас в будущем :)
Эх, предыдущий комментарий удален.
Видимо из-за наличия ссылки.
Студенты создали комплект из двух нейросетей, одна оставляет только голос, вторая повышает его качество до студийного эталона. Работает лучше чем шумодав от Cedar.
А можете создать сервис, для приведения в норму фонограмм учебных занятий? Просто у преподавателей/учителей нет дикторских кабинок дома.
Нейросети типа Nvidia Rtx voice хороши, но они "душат" голос.
Просто если 4 пары прослушать с плохим качеством звука, потребуется силы восстанавливать пару дней), а это невозможно.
Здравствуйте, есть ли что похожее вне ютуба?
как-то мало технических подробностей. Всё видео можно заменить одной фразой: перевод делает нейросеть, это сложно и не очень хорошо. Примеры бы хоть привели.
Вот тут побольше технических подробностей habr.com/ru/company/yandex/blog/576438/
@@yandex Да, там есть примеры и чуть более развернуто, но всё равно, даже реферат не напишешь с такого) Однако тенденция сделать универсальный переводчик из Стар Трека узнаётся... молодцы!
Перевод перестал работать и кнопка включить не всегда появляется, хотя до этого это же видео было переведено, а сейчас не хочет переводить!!!👎👎👎
Ну когда вы уже добавите горячую клавишу для перевода страниц ?
Здравствуйте! Пока сроками поделиться не можем, но ваше пожелание уже передали команде Браузера :)
Вопрос. Где происходит обработка речи в текст и обратно, а также его перевод?
Здравствуйте! В нашей технологии перевода видео используется промежуточный кэш, чтобы не переводить каждое видео для каждого пользователя заново и уменьшить время ожидания перевода.
Идея неплоха, но функция пока сыра, т.к. не имеет возможности заглушить язык оригинала. Когда перевод накладывается на иностранный язык его сложно разобрать.
Сделайте перевод видео и на турецком языке пожалуйста
Здравствуйте! Уже передали разработчикам, что вам хотелось бы видеть перевод видео на турецком языке. Будем знать, чем порадовать вас в будущем :)
сделайте эту фишку в Яндекс диске! а то не каждое видео в ютуб можно загрузить (авторские права) и посмотреть его на русском) спасибо)
вы просто соединили несколько существующих технологий в единую и получили новую фичу
а что если сделать дипфейк перевод, взять и перевести не только речь собеседника машинным голосом, но взять и и озвучить собственным же голосом спикера и с помощью липсинга поменять мимику человека, оставив закадровый фон неизменным, это же было бы чудо, если бы какая нибудь англоязычная звезда заговорила своим голосом по русски и без акцента ???
1:42 нейросеть? вам бы научить систему понимать контекст сказанного, понимать какой сайт и про что видео, а то я недавно смотрел кое что об Илоне Маске его ракетостроении и машина выбирала слова со значениями совсем другово типа -- там из бытовухи, а надо было из техники. Все мы знаем что в англиском на одно слово 15 значений а в русском на одно значение 15 слов из разных языков
а может вам ставить что-то типа маркера на информацию, и в зависимости от типа видеоролика машинка будет выбирать слова наиболее близкие к тематике , да и всё равно вам ИИ придётся делать, пусть учится таким вещам с молоду , пониманию контекста и делению его на категории
Раньше перевод был действительно быстрым!! А сейчас фиг поймешь! Переведёт моментально или 15 мин ждать!
Мои устройства: MacBook Pro 14 (M1pro)
iPhone SE 2020
Здравствуйте! Подскажите, пожалуйста, перевод долго грузится на любом видео, или на каком-то определённом? Проверьте, например ruclips.net/video/KxGPe1jD-qY/видео.html . Воспроизводится ли перевод видео без задержки?
Последние шаги на пути к универсальному переводчику. Жаль что пока всё это будет тока в облаке.
Смотрел интервью Роджера Тейлора, и переводчик подумал что говорит женщина)
Здравствуйте! Пришлите, пожалуйста, ссылку на то видео. Всё проверим.
это ТОП!!!
Заметила, что это зачастую не работает на видео, в которых не подключены субтитры, даже если речь вполне членораздельная.
видео больше трех часов не переводит что делать?
Здравствуйте! Уточните, пожалуйста, перевод просто не работает или на видео длиною больше трёх часов не появляется сама кнопка для перевода? Не могли бы вы прислать ссылку на пример видео, которое не удаётся перевести?
Также подскажите, пожалуйста, какая версия браузера у вас установлена. Проверим, в чём дело.
@@yandexsupport ну например этот видос
ruclips.net/video/bMknfKXIFA8/видео.html
Есть минус в вашей технологии. Если в видео репортер говорит на русском, а оппонент на английском(либо основная часть вставки на английком)! - значек перевода видео не появляется.
Иногда мужская речь на половине интервью может начат озвучивать женским голосом. (и переключение идет в течении всего ролика)
Здравствуйте! Отправьте, пожалуйста, ссылку на видео. Проверим, в чём дело.
@@yandexsupport ruclips.net/video/seXs_ay0k34/видео.html
@@yandexsupport ruclips.net/video/WXawVc-Fz3E/видео.html. Вот здесь перевод не предлагается.
@@yandexsupport на яндекс диск можно подключить перевод?
@@Max_Media431 Спасибо за видео, передали их команде. Сейчас подключить перевод видео, загруженных на Диск, не получится, но мы записали вашу идею :)
Привет Яндекс!
huggy wuggy->huggy wuggy
monster video super ❤
Толокеры за 2 копейки переводят вам видео)))
Сегодня смотрел ролик по установке гипервизора первого типа. На 5й минуте мне стало уже больно смеяться. Ролик: Cara Mudah install Hakintosh macos big sur & Proxmox.
Или переводчик сделайте нормальным, или предоставьте возможность пользоваться приложениями MacOS в контейнерах (это не противоречит законодательству).
В общем, - английский актуален по прежнему.
Турецкий язык
*Грустный факт: Я обычный парень, и тоже делаю классные видео, а меня никто не замечает ...😢Дай Бог здоровья всем кто заметит. 😔*
Никогда не отпускай руки
По сути ничего нового, распознание речи существует давно, перевод без каких либо правил, в половине случаев получается полная чушь, идея яндексу не принадлежит, столько шума вокруг технологии которой уже лет 5 а то и 10