Как проанализировать обученную модель и повысить точность распознавания речи| TensorBoard это просто
HTML-код
- Опубликовано: 30 сен 2024
- Дорогие друзья, приветствую вас на моем канале!
Сегодня я расскажу, как использовать инструмент TensorBoard для анализа и оптимизации обученных моделей распознавания речи. В этом уникальном видео вы узнаете, как визуализировать процесс обучения, находить узкие места в архитектуре модели и повышать точность распознавания с помощью TensorBoard.
Я протестировал и тщательно проанализировал популярные модели для распознавания и синтеза речи - Crepe, Dio, Harvest, Mango-Crepe и PM. Каждая модель тренировалась в течение 600 эпох, всего на эксперименты ушло более 40 часов кропотливой работы.
В этом видео вы увидите подробное сравнение точности, скорости обучения, стабильности и других ключевых метрик для этих моделей. Я покажу результаты многочисленных тестов и определю, какая из моделей демонстрирует наилучшие показатели в конкретных условиях.
Особое внимание я уделил важной проблеме переобучения модели. Вы узнаете, как распознать переобучение и какими методами его можно предотвратить, чтобы оптимизировать процесс распознавания речи. Для демонстрации переобученности модели, было сделано обучение модели на 2000 эпох, в видео я вам покажу что из этого вышло.
В видео я также подробно остановлюсь на следующих моментах:
Как анализировать ошибки модели в tensorboard и улучшать архитектуру
Рекомендации по предобработке данных для обучения модели
Советы по оптимизации вычислительных ресурсов при тренировке больших моделей
Это видео содержит ценную информацию, которая поможет разработчикам голосовых помощников, исследователям в области распознавания речи и всем, кто интересуется ML.
Подписывайтесь на канал, ставьте лайк, оставляйте комментарии и задавайте вопросы - я с радостью на них отвечу! Приятного просмотра!
Команды для установки tensorboard:
python -m venv venv
.\venv\Scripts\activate
pip install tensorboard
tensorboard --logdir logs
Ccылка на исследование DiffGrad: / meet-diffgrad-new-deep...
Ссылка на телеграм канал: t.me/ba1yya
Ссылка на чат телеграм: t.me/ba1yya_chat
Можете поддержать мой контент тут: boosty.to/ba1yya
теги-
ai cover, ai, so vits svc, cover, ai cover tutorial, how to ai cover, kanye west, нейросеть, how to make an ai cover, make ai cover, how to make ai cover, artificial, tutorial, how to make an ai cover tutorial, how to make a cover with ai, intelligence, how to make a song with ai, so-vits-svc, tutorial how to make an ai cover, ai voice, sovitssvc, модель голоса, vits svc, делаем модель голоса, как сделать голос colab, so-vits-svc 4.0, модель голоса google colab, делаем ai cover, своя модель голоса, mashup, so-vits-svc туториал, sovitssvc tutorial, so vits svc туториал, so-vits-svc google colab, so vits svc на андроид, мешап, как сделать модель голоса, so-vits-svc модель, so-vits, so-vits-svc как сделать свою модель, модель голоса сделать, мэшап, как сделать свою модель голоса, how to make kanye's voice, как сделать ai cover, how to make ai cover songs, кавер, ии, tinybunny, нейромэшап, aicover, нейрокавер, remix, искусственный интеллект, ai music, mashup.hk, mashup hk, lil t4k, music, #mashup, ai song tutorial, ai cover songs, how to ai cover tutorial, how to ai voice cover, ремикс, so vits svc tutorial, soviets svc tutorial, ai vocal tutorial, lil uzi vert ai, diff svc, sovits, how to use so vits svc, rvc, rvc tutorial, rvc ai, how to use rvc, new ai, how, bts, rvc ai cover, ghost, gotye, to, create, make, error google colab ai, спела, поет, за деньги да, кавер куплинов, ai нейросеть, винни пух, курт кобеин, kuplinov, best ai voice generator, аи кавер, как сделать кавер, ai мэшапы, как делать нейромэшапы?! / как сделать голос моргенштерна? | ai cover, musicfy ai, ai cover song, голоса знаменитостей, голос моргенштерна, как делать мэшапы, нейромешапы, как делать нейромэшапы, как, голоса артистов, remov, ai cover songs drake, rap, chatgpt, open ai, хип хоп, ai art, миджорни, нейросети, канье уэст, ai covers, ai generated music, скам, trends, ai rap, моргенштерн мэшап, мэшапы это, как сделать кавер найросетью, где взять модели для ai cover?, что сейчас популярно на ютубе, anighost, анигост, нейросеть моргенштерн, моргенштерн нейросеть слив трека, , оксимирон мэшапы, мэшапы, мэшап с нейросетью, мэшапы слушать, оксимирон нейросеть, трек с нейросетью, куплинов cover, нейросеть поет,drake, rihow, #озвучка, #озвучка_видео, #озвучивание, #голос, #изменение_голоса, #голосовые_эффекты, #кагл, #кагл_озвучка, #машинное_обучение, #искусственный_интеллект, #айти, #it, #программирование, #python, #ютуб, #ютубер, #лайфхак, #обучение, #селфдевелопмент, #kaggle, #RVC, #визуализациямоделей
C:\RVC_new> tensorboard --logdir logs
tensorboard : Имя "tensorboard" не распознано как имя командлета, функции, файла сценария или выполняемой программы. Проверьте правильность написания имени, а также наличие и правильность пути, после чего повторите попытку.
строка:1 знак:1
+ tensorboard --logdir logs
+ ~~~~~~~~~~~
+ CategoryInfo : ObjectNotFound: (tensorboard:String) [], CommandNotFoundException
+ FullyQualifiedErrorId : CommandNotFoundException
такая ошибка не где нет ответов как её исправить, не подскажешь как исправить ?
10:34 Какая эпоха соответствует шагам на графике можно увидеть в папке weights. Там прописана эпоха, а рядом шаг в названии файла.
11:00 братан ну прекрати ты говорить ХАРД ВЕСТ! У тебя выходит какой то жесткий запад вместо ХАРВЕСТ - в переводе плодотворный! А не урожай )
@baiyya, сейчас rmvpe (rmvpe_gpu) добавился. сравнивали с harvest?
Спасибо большое за твой огромный труд.
А каким образом можно установить этот diffgrad? А то я что то не понял видимо, не понимаю что куда писать :(
можешь объяснить что обозначают и делают harvest, crepe, mangio crepe
Делят аудио на части твое. Каждый разным методом
сделай видео как работать с tensorboard в гугл колабе
Точно так же. Загрузить модель и включить его
@@ba1yya понял, спасибо большое
Спасибо огромное! Молодец👍
200-300 эпох -какого длинны звукового файла будет достаточно?
Ну я же в видео сказал. Не длинна главное файла, а ширина голоса кака я нем. Иногда и для минутного файла нужно 500 эпох, а иногда для 15 минутного 300 хватит.
Огромное тебе спасибо . Действительно делаешь очень полезные видео
Спасибо большое за помощь! Благодаря вам я смог сделать свои первые модели!
ещё появились такие вопросы: если по итогу натренировал модель допустим как раз таки до 2000 эпох, смотришь на график и понял, что модель перетренировалась и надо было останавливать к примеру вообще на 500 эпохе, то теперь нужно будет заново тренировать модель с теми же аудиофайлами, с тем же методом и выставить как раз таки 500 эпох? это будет так работать или уже начиная заново тренировать могут быть другие условности?
Могут быть другие. Но они не критичны. Эпохи через сколько делать сохранения для этого и есть этот ползунок, чтобы потом нужную эпоху если что вытащить. 5-10 там поставить, потом проанализировать и вытащить что надо
Нет, перед тем как подменять голос просто выберешь нужную, лучшую эпоху
Не работает. ".\venv\Scripts\activate" не распознано как имя командлета"
Здравствуйте, подскажите пожалуйста на какой лучше обращать финальный результат на графике?
У меня сильно расходятся данные, на графике loss/g/fm показывает лучшее значение 1400 далее он только ползёт вверх, а главный график loss/g/total показывает лучший результат на отметке 2000.
В вашем видео, когда вы рассказывали подробно про графики у вас тоже было видно, что на графике loss/g/fm лучший показатель примерно я предположу на отметке 1000, а дальше показатели ушли вверх, а на графике loss/g/total он у вас ушёл дальше, и лучший результат на отметке 7000 в самом конце и это ещё не предел я так понимаю показатели могли быть ещё лучше, если бы вы дальше продолжили тренировать
Разбери пожалуйста тему как улучшить качество орфографии, очень часто путаются буквы Р Ж Л, есть какой-то метод пофиксить такие проблемы?
Что делать если в VS Studio вылезает ошибка что этой команды не существует?
Python значит не установлен. К первому видео тоже отсылка
правой кнопокой по пуску Windows power shell(администратор) пишешь Set-ExecutionPolicy Unrestricted -Scope CurrentUser ентер пишешь Y ентер
@@DenisovVadim Спасибо, пропала ошибка
У меня почему-то пишет об ошибках, какая может быть причина?
PS C:
vc> python -m venv venv
Python
PS C:
vc> .\venv\Scripts\activate
.\venv\Scripts\activate : Имя ".\venv\Scripts\activate" не распознано как имя командлета, функции, файла сценария или выполняемой программы. Проверьте правильность написания имени, а также наличие и правильность пути, после чего повторите попытку.
строка:1 знак:1
+ .\venv\Scripts\activate
+ CategoryInfo : ObjectNotFound: (.\venv\Scripts\activate:String) [], CommandNotFoundException
+ FullyQualifiedErrorId : CommandNotFoundException
PS C:
vc> pip install tensorboard
pip : Имя "pip" не распознано как имя командлета, функции, файла сценария или выполняемой программы. Проверьте правильность написания имени, а также наличие и правильность пути, после чего повторите попытку.
строка:1 знак:1
+ pip install tensorboard
+ ~~~
+ CategoryInfo : ObjectNotFound: (pip:String) [], CommandNotFoundException
+ FullyQualifiedErrorId : CommandNotFoundException
PS C:
vc> tensorboard --logdir logs
tensorboard : Имя "tensorboard" не распознано как имя командлета, функции, файла сценария или выполняемой программы. Проверьте правильность написания имени, а также наличие и правильность пути, после чего повторите попытку.
строка:1 знак:1
+ tensorboard --logdir logs
+ ~~~~~~~~~~~
+ CategoryInfo : ObjectNotFound: (tensorboard:String) [], CommandNotFoundException
+ FullyQualifiedErrorId : CommandNotFoundException
Пайтон криво встал. Там у кого то подобное в коментах было. Поищи
@@ba1yyaРугается. После команды "tensorboard --logdir logs" пишет "from six import with_metaclass, viewkeys" "ModuleNotFoundError: No module named 'six'.
Не подскажешь, что не так?
@@МаксимПутютин pip install six
Привет! Можешь пожалуйста сказать что такое . kcpt файл и зачем он вообще нужен, простоя вообще 0 в програмировании и не понимаю нифига(((
Большое спасибо за информацию по Tensorboard
В видео ты говоришь,что для того,чтобы узнать нужный epoch,нужно взять нужный шаг на графике и поделить на 12.У меня последний шаг на графике 6400 / 12 = 533,хотя epoch у меня всего 150.Так как правильно узнать?
6400/150 логично же)
Скрипт просто обновлен там другие значению уже. Да)
Спасибо.Я так и думал,просто ты сказал 12 и человек в комментариях тоже написал,что у него 12.))@@ba1yya
@@VertexChannel1 раньше у всех 12 было) сейчас по разному
Ругается. После команды "tensorboard --logdir logs" пишет "from six import with_metaclass, viewkeys" "ModuleNotFoundError: No module named 'six'
pip install six
@@somrefscrep9 Спасибо
Огромное человеческое спасибо! Колоссальный труд был проделан, зато теперь всё понятно: какую модель выбирать при тренировки и сколько эпох делать.
Баяш ты самый топовый человек в мире!!!
Я может чего не понимаю, но команда .\venv\Scripts\activate не работает, выдает ошибку. Собственно последующие тоже
Пайтон не установлен
А как ее то к модели подключить?
не знаю, удаляются ли коменты сами по себе, так как не нахожу их после обвновления страницы, автор, поставь сердечко плиз, чтобы у меня выскочило уведомление что все ок, вопрос такой, у тебя в видосе 5600 шаг - какая это эпоха ? как это считать ?
В папки вейтингс после эпохи стоит указание шага. Его подели на эту эпоху и узнаешь свою размерность
Можно ли будет проанализировать модели, которые тренировались до установки TensorBoard? И если да, то какие файлы ему нужны, только pth и index или что-то ещё?
В тг в чат зайди, скрин скину. По сути там несколько файлов из папки лог только нужно
14:00 Бро, ты смотришь статистику по CIFA10 это совершенно не такая нейросеть и показатели могут быть кардинально другие. Но если кто поэкспериментирует и скажет нам - будет интересно посмотреть))
Видел реализацию этой модели в rvc показатели на 5-6% лучше)
Вы обещали инструкцию как в FL создать AI кавер не отличимый от человека. :)
Какой смысл в этом уроке если голос будет перетренерован или недотренерован) сначала база, потом все остальное)
Спасибо за проделанную работу
А на что влияет crepe_hop_length? И нужно ли разрезать файлы перед загрузкой в RVC?
На 64 ставь и не парься. На сколько резко может голос от одного тембра к другому перейти. Артисты так голоса не меняют в принципе никто резко. Поэтому 64. Чем меньше значение тем точнее он порежет файлы, но и тем дольше время обработки будет.
Можно одной дорожкой все закинуть в принципе, он сам там разберется, главное чтобы пауз не так много было
@@ba1yya спасибо. А то я где-то слышала, что надо по аналогии с SVC по 10 секунд нарезать, но во время второго этапа видела, что RVC сам создаёт wav файлы.
А можно ли в одном датасете использовать одновременно голос из пения и простого разговора? Если нет, то лучше использовать пение или простой разговор для обучения?
Можно, но есть одно НО. Если в датасее будет много "разговора", то нейросеть усреднит полученные значения и финальная модель может станет менее эмоциональной в плане передачи вокала. Поэтому если вам нужна разговорная модель, то лучше сделать её отдельно, она получится более качественной.
Я так и не понял на что нужно делить)))
A Все понял. Пацаны, кто еще не понял. Если у вас сохраняется к примеру каждые 50 эпох. То в Файле будет name_e50_s600.pth. Просто делите s (600) на e (50). В моем случае это 12.
И потом на графике ищите самый низкий. Там будет step n. У меня это 9800 я просто поделил на 12. Получается что мне хватило бы 817 эпох. Датасет очень хороший достал) С чистым звуком. И более менее хорошим диапазоном
У всех на 12 делить надо, да
@@ba1yya А такой вопрос. А можно как-то из модели в 1200 эпох вытащить именно 817?
@@BikutaPankeki нет. Если только промежуточные сохранения есть с 800 до 817 дотренить можно)
Я слышал что можно тренить моделки на rvmpe, и они лучше harvest, это правда?
Видел что преобразование им можно делать. Для тренировки не видел еще
@@ba1yya В общем, натренировал свою модель на rmvpe, и получилось даже очень круто, но много мороки. Надеюсь добавят rmvpe в качестве тренировки, на лёгкую версию rvc
бро ты лучший. Ты самоучка ?
Ну техническое образование есть. Это было как хороший фундамент, чтобы в этом потом самому разобраться)
Подскажи а как проанализировать модель, сделанную в кагле (не на ПК а в виртуальной среде)?
Пока никак. Чуть позже расскажу какие есть варианты
@@ba1yya Спасибо за ответ и Ваши гайды, ждем!:)
Ждём!
Спасибо!
УРААА, я дождался
спасибо, интересно,
про параметры "в среднем по больнице" понятно, но всё же хотелось бы узнать, в каких случаях нужно использовать другие модели, в каких случаях стоит поднять количество эпох, а где можно и уменьшить
Все на графиках. Всегда харвест, эпох больше можно если следующий экстремум ниже предыдущего. Но таковое навряд ли будет)
все зависит от ваших целей, ресурсов, времени и датасета. Если нужна качественная модель голоса, приближенная к оригиналу (насколько это возможно), при этом готовы подождать, то вы выбираете harvest, ставите оптимальное кол-во эпох, как правило бывает достаточно 200-400, в зависимости от диапазона тона голоса(ов) в вашем датасете. Если вам нужно сделать быстро при низком качестве конечной модели, учитывая, что ваш датасет состоит из образцов низкого качества звучания - узкий диапазон тонов, плохая дикция, посторонние шумы, вы ставите dio или pm, примерно до 100 эпох. Это условные значения, приближенные к реальности, которая у каждого своя на основе ваших целей, ресурсов, времени и датасета. Автор в видео действительно дал очень важные представления об очень полезном инструменте, особенно для новичков. Используя график и бэкап прогресса через определенно кол-во эпох (в цикле, через каждые N эпох) обучения, вы всегда можете отследить лучший прогресс обучения и вернуться к той эпохе обучения, на которой был достигнут лучший результат. Автор об этом не сказал, но это висит в контексте того, о чем он вообще говорил.
@@clwnmskЗдравствуйте, подскажите как вернуться к той эпохе на которой был лучший результат?
Жду не дождусь
Respect
а последующие разы как запускать так же все прописывать?..
все понял пересмотрел....\venv\Scripts\activate ...tensorboard --logdir logs
Не знаю почему, но у меня на этапе установки виртуальной среды ничего не происходит, то есть когда я пишу в терминал python -m venv venv, мне пишет Python, если пишу потом .\venv\Scripts\activate, то выдается ошибка. RVC скачивал с последнего видео, который с rmvpe. В самом vscode все расширения выключил на всякий. Пытался смотреть гайды, но я в этом не особо разбираюсь, так что ничего не понял.
Пайтон не установлен. Или в переменную среду path не встал. Посмотри в интернете как его туда поставить и поставь
@@ba1yya вроде как python устанавливал, остальное щас чекну
@@ba1yya не совсем понял про path. Я открыл переменные среды и там есть переменная Path и путь к ней, её изменить как-то нужно?
@@ba1yya python переустановил на всякий случай, все равно выдает ошибку
.\venv\Scripts\activate : Имя ".\venv\Scripts\activate" не распознано как имя командлета, функци
и, файла сценария или выполняемой программы. Проверьте правильность написания имени, а также нал
ичие и правильность пути, после чего повторите попытку.
@@SbIN_GITLEPA в интернете посмотри как питон к этой переменной среде добавить
Привет. Сделай пожалуйста рамку на видео с острыми углами и без теней, это будет лучше для восприятия!