не думал, что когда нибудь это скажу.....но, Браво!!!! отличное подача материала, хорошее построение нс, а главное понимание того,что делаете....Браво!!!!
Круто! У меня при первой попытке сеть угадала слово в слово. А потом уже пошло свободное творчество. Но для такой простой сети это правда очень крутой результат! Я удивлен)
Спасибо за видео. У Вас в коде inp_chars = 6, а в комментариях Вы говорите по трем символам предсказываем четвертый, я же правильно понимаю, что все же по шести символам предсказываем седьмой? И еще вопрос. Я не понял как сеть поняла какой длинной должна быть спрогнозированная фраза?
Да, совершенно верно, по переменной inp_chars определяем число предыдущих символов, по которым строим прогноз. Далее, сеть рекуррентно (по порядку) прогоняет эти символы через себя и на выходе формирует один прогнозируемый символ, т.е. она формирует только один прогноз. Если хотим построить несколько прогонозов, то опять нужно взять inp_chars предыдущих символов для прогнозирования очередного. И так далее.
Здравствуйте и большое спасибо за ваши уроки. Напишите пожалуйста а как в этом уроке можно увидеть когда наступает переобучение нейронной сети, ведь выборки валидации у нас нет и соответственно val_loss у нас не показывается? П.С. Повторил вашу Н.С. по прогнозированию следующего слова, только я сделал больше количество предложений и соответственно увеличилось количество слов, и теперь меня мучает вопрос как проконтролировать что б Н.С. не переобучалась.(Просто 'Validation split= 0.2' добавить?)
Подскажите, пожалуйста. Вы в одном уроке разбиваете текст на буквы, в другом - на слова. Но я слышал что наиболее эффективным является разбиение на токены, то есть части слов. Правда ли это и как разбить текст но токены с помощью Tokenizer?
Здравствуй, да вроде в начале он сказал, что это обычный текст, может говорил откуда, из книги, стиха и тд. Точнее там были короткие высказывания. Думаю, будет не сложно найти, я пока сейчас не собираюсь делать программу, а чуть попозже. Могу скинуть тебе, напиши как с тобой связаться или просто тут ссылку могу оставить.
@@user-mu5cj4hv9l Доброго времени суток, спасибо большое за ответ! Я уже разобрался, файл находится на сайте(ссылка в описании, где lesson 21) в самом низу
@@Ярослав-е4й9щДобрый день, а вы бы не могли скинуть данный сайт. У меня почему то ютуб не разворачивает полностью ссылку, оставляя её обрезанной. Спасибо
Лайк, а в каком формате обучающая выборка. Делаю на colab, выдает ошибку: 'utf-8' codec can't decode byte 0xc8 in position 0: invalid continuation byte
Хорошая идея )) Только лучше здесь использовать анализ текста по словам + генерация выходного текста (также по словам или выбирать заранее заданные варианты).
@@selfedu_rus Привет. Я изучаю именно RNN, остальные нейросети усвоила по туториалам на других каналах. Ищя видео про RNN, я случайно набрела на твой канал, и хочу выразить тебе огромную благодарность. Ты делаешь великое дело) Но у меня есть вопросик. 11:25 Ты используешь many to one, тогда почему у тебя на выходе RNN слоя 3 нейрона? Должен же быть один.
для чего мы удаляли первый пустой символ и знаки препинания? с ними тоже все нормально работает. А если добавить количесво нейронов и количество эпох то вообще сказка получается, совсем чуток не хватет что бы можно было поболтать с НС :). только не понятно почему так долго подбирается следующий символ, казалось это должно происходить быстро, но если поставить длинну ответа в 300 символов например то ждать надо довольно долго.
Отличное видео, здесь понятно, как формируется выходной вектор, размерность входного соответствует выходному . А как задается соответствие если например нам нужно разделить два класса: мужчин и женщин? На вход мы подаем фотографию размера N x N например и соответственно выходов сети у нас будет N x N, а выхода всего два, и как понять что при максимальном значении на первом выходном нейроне будет определяться класс мужчин, а на втором - женщин, а не наоборот? Это вопрос скорее не по этому видео, а в общем. Правильно ли я понимаю, что для этого когда мы формируем обучающую последовательность данных, в качестве ответной реакции на фотографию мужчины мы должны создать вектор [1, 0] если хотим, чтобы реакция на мужчину была на первом нейроне?
я начал учить питон чтобы потом перейти на нейронку или ИИ скажите плз будет ли это актуально через 5-10 лет и какие перспективы у всего этого что можно будет делать с помощью этого?
А, полную хрень написал, неважно, но короче, значение у каждого ключа(символа, в нашем случае) - это частота появления этого ключа. 6 утра, чета поплыл, просто. Прошу прощения, если это имелось ввиду в ролике, мозг с трудом переваривает информацию
И еще, можете, пожалуйста, объяснить, что происходит в этой строчке: X = np.array( [data [i:i + inp_chars, : ] for i in range(n)] ) Не понимаю синтаксис в квадратных скобках, где срез в конце, то что [i:i+inp_chars, :]
не думал, что когда нибудь это скажу.....но, Браво!!!! отличное подача материала, хорошее построение нс, а главное понимание того,что делаете....Браво!!!!
Спасибо! ))
Круто! У меня при первой попытке сеть угадала слово в слово. А потом уже пошло свободное творчество. Но для такой простой сети это правда очень крутой результат! Я удивлен)
Да, неожиданно хороший результат, спасибо за видео
утренние мысли в понедельник подняться это твой ятосте !
Автор зайка, просто лучший курс по нс
Спасибо большое
super!!!!!
Very nice!
Спасибо за видео. У Вас в коде inp_chars = 6, а в комментариях Вы говорите по трем символам предсказываем четвертый, я же правильно понимаю, что все же по шести символам предсказываем седьмой?
И еще вопрос. Я не понял как сеть поняла какой длинной должна быть спрогнозированная фраза?
Да, совершенно верно, по переменной inp_chars определяем число предыдущих символов, по которым строим прогноз. Далее, сеть рекуррентно (по порядку) прогоняет эти символы через себя и на выходе формирует один прогнозируемый символ, т.е. она формирует только один прогноз. Если хотим построить несколько прогонозов, то опять нужно взять inp_chars предыдущих символов для прогнозирования очередного. И так далее.
Здравствуйте и большое спасибо за ваши уроки.
Напишите пожалуйста а как в этом уроке можно увидеть когда наступает переобучение нейронной сети, ведь выборки валидации у нас нет и соответственно val_loss у нас не показывается?
П.С. Повторил вашу Н.С. по прогнозированию следующего слова, только я сделал больше количество предложений и соответственно увеличилось количество слов, и теперь меня мучает вопрос как проконтролировать что б Н.С. не переобучалась.(Просто 'Validation split= 0.2' добавить?)
Подскажите, пожалуйста. Вы в одном уроке разбиваете текст на буквы, в другом - на слова. Но я слышал что наиболее эффективным является разбиение на токены, то есть части слов. Правда ли это и как разбить текст но токены с помощью Tokenizer?
Общая идея раскрыта весьма доступно, но детали с первого просмотра не улавливаются. Надо пересматривать.
Здравствуйте, отличный урок! Скажите, пожалуйста, где можно найти файл с обучающей выборкой?
Здравствуй, да вроде в начале он сказал, что это обычный текст, может говорил откуда, из книги, стиха и тд. Точнее там были короткие высказывания. Думаю, будет не сложно найти, я пока сейчас не собираюсь делать программу, а чуть попозже. Могу скинуть тебе, напиши как с тобой связаться или просто тут ссылку могу оставить.
@@user-mu5cj4hv9l Доброго времени суток, спасибо большое за ответ! Я уже разобрался, файл находится на сайте(ссылка в описании, где lesson 21) в самом низу
@@Ярослав-е4й9щДобрый день, а вы бы не могли скинуть данный сайт. У меня почему то ютуб не разворачивает полностью ссылку, оставляя её обрезанной. Спасибо
Лайк, а в каком формате обучающая выборка. Делаю на colab, выдает ошибку:
'utf-8' codec can't decode byte 0xc8 in position 0: invalid continuation byte
вроде, я все в utf8 делал, но, как вариант может windows-1251
У меня идея! Надо обучить ее на тексте гороскопа и печатать предсказания!
Хорошая идея )) Только лучше здесь использовать анализ текста по словам + генерация выходного текста (также по словам или выбирать заранее заданные варианты).
@@selfedu_rus Оказывается уже есть реализации, причем на русском языке, на книгах Пелевина. Поржал от души когда почитал)
@@selfedu_rus Привет. Я изучаю именно RNN, остальные нейросети усвоила по туториалам на других каналах. Ищя видео про RNN, я случайно набрела на твой канал, и хочу выразить тебе огромную благодарность. Ты делаешь великое дело) Но у меня есть вопросик. 11:25 Ты используешь many to one, тогда почему у тебя на выходе RNN слоя 3 нейрона? Должен же быть один.
@@lubal304 Спасибо. На рисунке вычислительный граф представлен - это не три слоя нейронов, а один рекуррентный развернутый во времени :)
*Раскрыл бизнес всех астрологов*
Пробел, я так понимаю, потому не поставлен перед если, потому что перед ним всегда запятая, а она удалена из выборки
Запятая удалена, но пробел между словами остаётся, поэтому нет
для чего мы удаляли первый пустой символ и знаки препинания? с ними тоже все нормально работает. А если добавить количесво нейронов и количество эпох то вообще сказка получается, совсем чуток не хватет что бы можно было поболтать с НС :). только не понятно почему так долго подбирается следующий символ, казалось это должно происходить быстро, но если поставить длинну ответа в 300 символов например то ждать надо довольно долго.
Отличное видео, здесь понятно, как формируется выходной вектор, размерность входного соответствует выходному . А как задается соответствие если например нам нужно разделить два класса: мужчин и женщин? На вход мы подаем фотографию размера N x N например и соответственно выходов сети у нас будет N x N, а выхода всего два, и как понять что при максимальном значении на первом выходном нейроне будет определяться класс мужчин, а на втором - женщин, а не наоборот? Это вопрос скорее не по этому видео, а в общем. Правильно ли я понимаю, что для этого когда мы формируем обучающую последовательность данных, в качестве ответной реакции на фотографию мужчины мы должны создать вектор [1, 0] если хотим, чтобы реакция на мужчину была на первом нейроне?
Для классификации фоток лучше подходят свёрточные, о них речь шла ранее в предыдущих видео уроках.
я начал учить питон чтобы потом перейти на нейронку или ИИ скажите плз будет ли это актуально через 5-10 лет и какие перспективы у всего этого что можно будет делать с помощью этого?
Думаю через 5-10 лет все еще актуально будет, но это мое личное мнение
Был бы гитхаб 👉👈
))) научите ее в футбол играть, забавно было бы посмотреть.
Это уже другая технология - обучение с подкреплением )
А что за первый невидимый символ '\ufeff'?
появляется при кодировке UTF-8
@@selfedu_rus как я могу проверить его наличие?
@@mielierz if str[i] == '\ufeff'
Хотел сделать токенайзер 256 скалярных значений, он жрет 2 гига оперативы
У меня почему-то tokenizer букву ё не определяет
да, ее отдельно надо прописать в фильтре
Так работает "Т9" ? 😀
Почти. Он прогнозирует не букву, а слово
Хочу добавить, что токенайзер раздает индексы символам по частоте их встречаемости в тексте
А, полную хрень написал, неважно, но короче, значение у каждого ключа(символа, в нашем случае) - это частота появления этого ключа. 6 утра, чета поплыл, просто.
Прошу прощения, если это имелось ввиду в ролике, мозг с трудом переваривает информацию
И еще, можете, пожалуйста, объяснить, что происходит в этой строчке:
X = np.array( [data [i:i + inp_chars, : ] for i in range(n)] )
Не понимаю синтаксис в квадратных скобках, где срез в конце, то что [i:i+inp_chars, :]
@@mikhalpalych здесь выделяются One-Hot векторы последних inp_chars символов в диапазоне [i; i+inp_chars)
утреннртентелинеи,в ензн внткео ет н вна ео првнеоею ен / вот получ результат при вероятности 90 проц.Где здесь смисл,
У меня тоже результат плохой
сделай обучающую выборку больше