Ошибка в "Просмотр изображения из набора данных для тестирования". Код ошибки: NameError Traceback (most recent call last) in () 1 index=50 ----> 2 plt.imshow(toimage(X_test[index])) 3 plt.show() NameError: name 'toimage' is not defined
Отличная тема для видео, спасибо! Но пока у меня эта тема не в приоритете. Сначала доделываю компьютерное зрение, затем перехожу к теме обработки текстов. Только после этого перейду к обработке последовательностей, к которым относится и музыка.
Андрей, не в курсе, существует возможность управлять ВМ удаленно? к примеру по такому сценарию - есть сервер, на него заходит клиент, сервер подключается к Google Colaboratory, запускается ВМ на этом экземпляре выполняется произвольный код к примеру сложение двух чисел и возвращается результат по сокету или сохраняется на google.drive не суть, сервер возвращает результат, ВМ выключается(удаляется).
Здравствуйте, Андрей, еще раз спасибо за курс очень интересный и развивающий. Хотел спросить по поводу google colaboratory, заметил что он не может работать с файлами находящимися не в директории своего облачного IDE, т.е. с директориями и файлами на моем компьютере, не подскажете, есть ли возможность работать с неподгруженными на сервер файлами? (хотя это не принципиально но все же было бы удобно)
@@AndreySozykin насколько узнавал, можно так же собрать непараллельных текстов на исходном языке и потом использовать их для "back-translation". Такой комментарий оставил пользователь, который занимался настройкой перевода с малоресурсного языка в Colab: "Дообучил mBART-50 на 75К парах (из которых больше половины - это не предложения, а слова и фразы из словаря). Качество перевода с этого языка на русский получилось приемлемым (ChrF++ 40% на тестовой выборке с одним референсом; визуально больше половина переводов приемлемые). Сейчас готовлю дообучение с back-translation, и ожидаю, что это ещё сильно докинет."
Спасибо за видео. Если честно я в вашем канале много раз встречал уроки по нейронам, но не особенно интересовался, а теперь вот и думаю надо ли мне учить это все, если я собираюсь стать сисадмином??пригодится ли мне это?
Андрей, здравствуйте. Скажите, почему в нормализации данных мы делим x/X-ую выборку на 255? Это дисперсия или степени свободы? Или что-то другое? Как это интерпретируется?
Это максимальное значение интенсивности пиксела в изображении. После того, как мы разделим все значения на 255, они будут в диапазоне от 0 до 1. Как MinMaxScaler в sklearn.
Датасет lowres, но это не беда, за улучшение генерализации можно бороться и на lowres и вообще на 2D лабиринтах, как Руслан Салакхутдинов. Однако модель последовательная, без длинных resnet связей, без сложных связей как в U-net. А если хочешь бороться за улучшение генерализации, то мне кажется, что даже для задач reinforcement learning, и скажем более широко agent learning, надо делать не старый добрый Q-learning, а что-то типа GAN с U-Net генератором, сложными связями, например мне кажется, что длина связей может подчиняться закону обратной пропорциональности квадрату расстояния между слоями, так как такое прокатывает в физике; (до кучи упомяну attention). И такие GAN-заготовки можно шлифовать эволюцией или металернингом. И вот вопрос возникает, для такой настоящей борьбы за что-то новое, за новый уровень генерализации, достаточно ли гибки штуки типа кераса поверх тензорфлоу? Не заточены ли они на банальность? Имеет ли смысл забивать себе голову керасом и питоном, может лучше сразу изучать CUDA на C++?
Андрей, сколько времени примерно будет обучаться сеть с 2мя внутренними слоями (2000,500) и 12000 входящий ? на этом сервисе будет адекватно или лучше покупать видяху?
Насколько я понял, если запустить несколько ноутбуков, они все подключаются к одной виртуальной машинет. Так что от нескольких обучений ускорения не будет.
Андрей, добрый день! Подскажите пожалуйста, где можно посмотреть, сколько часов бесплатного использования осталось? Чтобы мне знать, что нужно сохранить данные и заново открывать другую vm
Андрей а подскажи пжлст как можно в переменныю путь запихать и потом ее использовать во всем ноуте при заливе на г драй туда обратно ) типо что бы портынку эту сто раз не таскать # !cp /content/drive/'My Drive'/'_Stepik'/'Deep Learning (семестр 1, осень 2020) базовый поток'/'14.1 Домашнее задание. Решение ML-задачи и Kaggle'/submission.csv . а просто типо !cp path + / наше новое имя какого то файла
Вот информация: !cat /proc/driver/nvidia/gpus/0000:00:04.0/information Model: Tesla K80 IRQ: 33 GPU UUID: GPU-6d06aa2c-0957-68b6-8dd7-883f1a6e86d1 Video BIOS: 80.21.25.00.01 Bus Type: PCI DMA Size: 40 bits DMA Mask: 0xffffffffff Bus Location: 0000:00:04.0 Device Minor: 0 Tesla K80 не самая новая модель, но достаточно производительная для бесплатного GPU.
Уроки реально крутые огромное спасибо ! Подскажи пожалуйста как загрузить собственный набор данных для обучения. Вернее даже не загрузить а создать и загрузить.
Вот инструкция по подготовке своего набора - www.asozykin.ru/deep_learning/2018/01/06/How-to-Prepare-Image-Dataset-for-Keras.html . Если вкратце, то нужно разложить изображения разных классов по отдельным каталогам и затем использовать генераторы Keras.
Андрей, При скачивании (команда - files.download('...')) модели и весов выводит вот такую ошибку: MessageError Traceback (most recent call last) ... MessageError: Error: Failed to download: Сталкивались? Подскажите что делать? П.С. Файл для обучения загружал согласно ваших инструкций. Его скачиваю без проблем.
На первом же шаге Выдает следующую ошибку: ImportError Traceback (most recent call last) in () 8 from keras.preprocessing import image 9 import matplotlib.pyplot as plt ---> 10 from scipy.misc import toimage 11 get_ipython().magic('matplotlib inline') ImportError: cannot import name 'toimage' Как устранить проблему?
Андрей, Вы не зря живете в этом мире! Низкий поклон! Храни вас Бог!
Андрей, таким как вы нужно памятники ставить
Спасибо!
Но я надеюсь еще пожить и видео позаписывать ;-)
@@AndreySozykin пожизненно)
:-)
при жизни
pro trick : you can watch series at flixzone. Been using it for watching lots of of movies these days.
Я мучался с Thensorflow несколько дней, и обработка одной еры занимала 200+ секунд а тут такая щедрость, браво Google
Да, Google молодцы. Грамотное вложение маркетингового бюджета.
Адрей, спасибо за ваши видео! Очень информативно, доступно и последовательно. Были бы у всех такие преподователи в университетах! :)
Пожалуйста! Успехов в изучении нейросетей!
Спасибо! Очень интересный и информативный видеоролик!
Пожалуйста!
Ошибка в "Просмотр изображения из набора данных для тестирования". Код ошибки:
NameError Traceback (most recent call last)
in ()
1 index=50
----> 2 plt.imshow(toimage(X_test[index]))
3 plt.show()
NameError: name 'toimage' is not defined
СПАСИБО БОЛЬШОЕ ЗА COLAB !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
Пожалуйста!
Добрый день,
Не могли бы вы записать видеоурок на тему генерирование музыки с помощью LSTM сетей? Было бы очень полезно и позновательно.
Всего Доброго
Отличная тема для видео, спасибо! Но пока у меня эта тема не в приоритете. Сначала доделываю компьютерное зрение, затем перехожу к теме обработки текстов. Только после этого перейду к обработке последовательностей, к которым относится и музыка.
Андрей, не в курсе, существует возможность управлять ВМ удаленно? к примеру по такому сценарию - есть сервер, на него заходит клиент, сервер подключается к Google Colaboratory, запускается ВМ на этом экземпляре выполняется произвольный код к примеру сложение двух чисел и возвращается результат по сокету или сохраняется на google.drive не суть, сервер возвращает результат, ВМ выключается(удаляется).
Я такую возможность не знаю. Если получится найти, напишите, пожалуйста.
Здравствуйте, Андрей, еще раз спасибо за курс очень интересный и развивающий. Хотел спросить по поводу google colaboratory, заметил что он не может работать с файлами
находящимися не в директории своего облачного IDE, т.е. с директориями и файлами на моем компьютере, не подскажете, есть ли возможность работать с неподгруженными
на сервер файлами? (хотя это не принципиально но все же было бы удобно)
Такой возможности нет, к сожалению.
Здравствуйте, Андрей! Делалось ли Вами видео для обучения машинному переводу в Google Colaboratory?
Добрый день.
Нет, не делал. К сожалению, ресурсов Colab не хватит, чтобы обучить сколько-нибудь серьезную модель для машинного перевода.
@@AndreySozykin А при наличии ста тысяч параллельных предложений? И вроде там можно сохранять состояние и продолжать?
@@AndreySozykin насколько узнавал, можно так же собрать непараллельных текстов на исходном языке и потом использовать их для "back-translation". Такой комментарий оставил пользователь, который занимался настройкой перевода с малоресурсного языка в Colab:
"Дообучил mBART-50 на 75К парах (из которых больше половины - это не предложения, а слова и фразы из словаря). Качество перевода с этого языка на русский получилось приемлемым (ChrF++ 40% на тестовой выборке с одним референсом; визуально больше половина переводов приемлемые). Сейчас готовлю дообучение с back-translation, и ожидаю, что это ещё сильно докинет."
Спасибо за видео. Если честно я в вашем канале много раз встречал уроки по нейронам, но не особенно интересовался, а теперь вот и думаю надо ли мне учить это все, если я собираюсь стать сисадмином??пригодится ли мне это?
Для сисадмина вряд ли пригодится. Лучше сети учить и операционные системы.
Спасибо большое за ответ. Буду продолжать учить то что учил :)
Лучше бы вы задали вопрос "А нафига быть сис админом, когда можно быть инженером нейросетей?" :)
Андрей, здравствуйте. Скажите, почему в нормализации данных мы делим x/X-ую выборку на 255? Это дисперсия или степени свободы? Или что-то другое? Как это интерпретируется?
Это максимальное значение интенсивности пиксела в изображении. После того, как мы разделим все значения на 255, они будут в диапазоне от 0 до 1. Как MinMaxScaler в sklearn.
Датасет lowres, но это не беда, за улучшение генерализации можно бороться и на lowres и вообще на 2D лабиринтах, как Руслан Салакхутдинов. Однако модель последовательная, без длинных resnet связей, без сложных связей как в U-net. А если хочешь бороться за улучшение генерализации, то мне кажется, что даже для задач reinforcement learning, и скажем более широко agent learning, надо делать не старый добрый Q-learning, а что-то типа GAN с U-Net генератором, сложными связями, например мне кажется, что длина связей может подчиняться закону обратной пропорциональности квадрату расстояния между слоями, так как такое прокатывает в физике; (до кучи упомяну attention). И такие GAN-заготовки можно шлифовать эволюцией или металернингом. И вот вопрос возникает, для такой настоящей борьбы за что-то новое, за новый уровень генерализации, достаточно ли гибки штуки типа кераса поверх тензорфлоу? Не заточены ли они на банальность? Имеет ли смысл забивать себе голову керасом и питоном, может лучше сразу изучать CUDA на C++?
с numpy с теоретически можно очень гибко работать с чистого листа, но мне непонятно можно ли так же гибко работать как с CUDA непосредственно
спасибо за ликбез!
Пожалуйста!
Андрей, сколько времени примерно будет обучаться сеть с 2мя внутренними слоями (2000,500) и 12000 входящий ? на этом сервисе будет адекватно или лучше покупать видяху?
Полносвязная сеть? Если да, то должна быстро. В любом случае, можно попробовать и оценить.
Андрей, добрый день!
Подскажите пожалуйста, можно запускать несколько параллельных обучений?
Возможна конфигурация виртуальной машины?
Насколько я понял, если запустить несколько ноутбуков, они все подключаются к одной виртуальной машинет. Так что от нескольких обучений ускорения не будет.
Так и есть, Андрей! При запуске двух ноутбуков, время обучения эпохи увеличилось ровно в два раза! Спасибо!
спасибо, друг🤝
Андрей, добрый день! Подскажите пожалуйста, где можно посмотреть, сколько часов бесплатного использования осталось? Чтобы мне знать, что нужно сохранить данные и заново открывать другую vm
К сожалению, не знаю.
Андрей а подскажи пжлст как можно в переменныю путь запихать и потом ее использовать во всем ноуте при заливе на г драй туда обратно ) типо что бы портынку эту сто раз не таскать # !cp /content/drive/'My Drive'/'_Stepik'/'Deep Learning (семестр 1, осень 2020) базовый поток'/'14.1 Домашнее задание. Решение ML-задачи и Kaggle'/submission.csv . а просто типо !cp path + / наше новое имя какого то файла
корпорация добра
Открытие бесплатного доступа к Collaboratory, безусловно, очень полезно и щедро со стороны Google.
0:41 вот это про меня сейчас
Таких людей очень много!
Супер, классный выпуск..
А какой GPU использует Google Colaboratory? Не NVIDIA Tesla V100 ведь, правда?)
Вот информация:
!cat /proc/driver/nvidia/gpus/0000:00:04.0/information
Model: Tesla K80
IRQ: 33
GPU UUID: GPU-6d06aa2c-0957-68b6-8dd7-883f1a6e86d1
Video BIOS: 80.21.25.00.01
Bus Type: PCI
DMA Size: 40 bits
DMA Mask: 0xffffffffff
Bus Location: 0000:00:04.0
Device Minor: 0
Tesla K80 не самая новая модель, но достаточно производительная для бесплатного GPU.
Но вот вопрос, сколько виртуальных машин приходится на одну реальную K80...
Хороший вопрос, не могу сказать. С другой стороны, полностью загрузить K80 одним приложением достаточно сложно.
NVIDIA Tesla K80 с памятью 13 Gb
Вначале вы говорите «виртуальна машина выделяется на 24 часа», а в конце уже «на 24 часа»
Уроки реально крутые огромное спасибо ! Подскажи пожалуйста как загрузить собственный набор данных для обучения. Вернее даже не загрузить а создать и загрузить.
Вот инструкция по подготовке своего набора - www.asozykin.ru/deep_learning/2018/01/06/How-to-Prepare-Image-Dataset-for-Keras.html . Если вкратце, то нужно разложить изображения разных классов по отдельным каталогам и затем использовать генераторы Keras.
Большое спасибо ! Нужна будет помощь любая пиши ! Ты мне очень помог.
@@AndreySozykin ссылка пустая😢
Спасибо Андрей
Пожалуйста!
Для моего днищенского ноутбука 8 летней давности Colab это спасение))
Андрей,
При скачивании (команда - files.download('...')) модели и весов выводит вот такую ошибку:
MessageError Traceback (most recent call last)
...
MessageError: Error: Failed to download:
Сталкивались? Подскажите что делать?
П.С. Файл для обучения загружал согласно ваших инструкций. Его скачиваю без проблем.
Есть ли файл на диске виртуальной машины? Проверить можно с помощью команды !ls.
Правильно ли написано имя файла?
Файл есть, выводится через команду "!ls". Имя вроде правильно пишу. Ваш код из примера выполняется и скачиваются модель + веса...
Андрей, загадка раскрыта! Ошибка при скачивании появляется, если в имени содержаться символы: "(","{","[". Может кому пригодится...
Добрый день! при тестировании нейросети из примера аккуратность при обучении не превышает 10% с чем это может быть связано?
Скорее всего, мало данных для обучения.
спасибо!
На первом же шаге
Выдает следующую ошибку:
ImportError Traceback (most recent call last)
in ()
8 from keras.preprocessing import image
9 import matplotlib.pyplot as plt
---> 10 from scipy.misc import toimage
11 get_ipython().magic('matplotlib inline')
ImportError: cannot import name 'toimage'
Как устранить проблему?
tozhe samoe . ne furichit
Ya tak ponyal prosto staryj paket nuzhno novyi zalit.
!pip install -U scipy==1.2.0
Исправил ноутбуки. Теперь должно работать.
огонь
Спасибо!
it's better to provide github link, could access code and execute and modify accordingly
GOOLE-
it's better to provide github link, could access code and execute and modify accordingly