► 5. ПОДГОТОВКА ДАННЫХ-ч.2. Dataset и DataLoader. | Курс по нейронным сетям с Pytorch.

Поделиться
HTML-код
  • Опубликовано: 11 янв 2025

Комментарии • 24

  • @dubinin_s
    @dubinin_s  11 месяцев назад +2

    ✅ Курс с задачами: stepik.org/a/186169?
    ✅ Telegram: t.me/PyTorch_for_you
    ✅ Плейлист по нейронным сетям с Pytorch: ruclips.net/p/PLBP4Q3FNSLK2rtGPBsK-aMAetYj-8yg_1
    ► Курс по Numpy с задачами: stepik.org/a/180256?
    ► Telegram: t.me/numpy_for_you
    ► Плейлист по Numpy: ruclips.net/p/PLBP4Q3FNSLK3dd-3lHjPij-dMSgNskoF6
    ► Курс по Pandas с задачами: stepik.org/a/122126?
    ► Telegram: t.me/pandas_for_you
    ► Плейлист по Pandas: ruclips.net/p/PLBP4Q3FNSLK2EujXiPUeTIOVnydZS8YJk
    Мой Telegram канал: t.me/dubinin_ser
    =================================================
    Приветствую вас, друзья! Если вы интересуетесь машинным обучением и хотите научиться создавать собственные модели глубокого обучения, то вы попали по адресу!
    PyTorch - это одна из самых популярных библиотек глубокого обучения, которая предоставляет нам инструменты для создания и обучения нейронных сетей. Она основана на языке программирования Python и обладает простым и интуитивно понятным интерфейсом, что делает ее отличным выбором для начинающих и опытных разработчиков.
    В этой серии видео мы будем изучать основы работы с PyTorch. Затем мы погрузимся в мир нейронных сетей, изучив различные типы слоев. Мы также рассмотрим различные архитектуры нейронных сетей, такие как сверточные нейронные сети.
    Кроме того, мы научимся загружать и предобрабатывать данные для обучения моделей, а также оценивать их производительность. Мы рассмотрим различные методы оптимизации и регуляризации моделей, чтобы достичь максимальной точности и обобщающей способности.
    Не теряйте времени и присоединяйтесь к нам в этом захватывающем путешествии в мир нейронных сетей и PyTorch!
    Тайм-коды:
    00:00 - Введение.
    00:20 - Наборы данных.
    02:15 - Пользовательский класс.
    10:45 - Проверка пользовательского класса.
    Теги: #Pytorch #AI

  • @DD-qh8el
    @DD-qh8el 11 месяцев назад +2

    Спасибо за видео, ждем продолжения !

  • @exxas-lu5rx
    @exxas-lu5rx 8 месяцев назад +2

    продолжайте в том же духе

  • @EI40989
    @EI40989 6 месяцев назад +2

    спасибо

  • @makivila
    @makivila 9 месяцев назад +2

    Доброго времени суток, а нет ссылки на гит с этим кодом?

    • @dubinin_s
      @dubinin_s  9 месяцев назад +1

      Добрый день.
      Ссылок на готовые ноутбуки нет и быть не может на этом канале. Такая практика идет в разрез с моими убеждениями.
      Готовые ноутбуки - это хорошо, но написанный код своими руками еще лучше.

    • @makivila
      @makivila 9 месяцев назад +1

      @@dubinin_s Полностью согласна, просто видео перематывать сложнее, чем перелистывать в гите)

    • @dubinin_s
      @dubinin_s  9 месяцев назад +2

      @makivila да, это не очень удобно, но я очень не хочу плодить лень.

  • @Elmonolitvideos
    @Elmonolitvideos 3 месяца назад

    я может что то пропустил, а откуда скачивать датасет? ссылок вроде никаких нет, в видео упоминания тоже не нашел

    • @dubinin_s
      @dubinin_s  3 месяца назад +1

      в видео все есть - ruclips.net/video/ztTlRgwdhkU/видео.html.

  • @ИванЕвдокимов-л6ь
    @ИванЕвдокимов-л6ь 9 месяцев назад +1

    А что делать, если такой пользовательский класс датасета загружает процессор 95% времени, в то время как видеокарта простаивает?

    • @dubinin_s
      @dubinin_s  9 месяцев назад

      Когда именно процессор загружен, во время формирования датасета или во время обучения сети?

    • @ИванЕвдокимов-л6ь
      @ИванЕвдокимов-л6ь 9 месяцев назад

      @@dubinin_s во время обучения сети

    • @dubinin_s
      @dubinin_s  9 месяцев назад

      @@ИванЕвдокимов-л6ь все зависит от того, как этот класс реализован и какие преобразования с данными вы делаете.
      Процессор грузит DataLoader при формировании батча. Что бы ничего не простаивало в DataLoader-е нужно указать num_workers больше единицы и как минимум на один меньше количества ядер процессора (ядер=4 -> num_workers=3, ядер=8 -> num_workers=7).
      Самый хороший вариант, это сначала попробовать num_workers=2, потом num_workers=3 и так до тех пор пока не будет простоя. Но большое значение в num_workers может привести к обратному эффекту, нужно найти золотую середину. При этом важно понимать, что в оперативной памяти будет хранится столько батчей, сколько num_workers. Это может привести к ее переполнению.

    • @dubinin_s
      @dubinin_s  9 месяцев назад

      @user-ku4nn5pw8p еще одно замечание. При использовании num_workers со значениями отличными от 0 может переполнять память если в классе для создания датасета используются списки и некоторые другие конструкции языка Python. Если их поменять на массивы Numpy, то все будет хорошо.

    • @ИванЕвдокимов-л6ь
      @ИванЕвдокимов-л6ь 9 месяцев назад

      @@dubinin_s переполняется память видеокарты? Если да, то с ней у меня всё норм. С оперативной памятью тоже нормально

  • @Lippaaa7596
    @Lippaaa7596 Месяц назад

    Я конечно может чего то и не понимаю,но какой же душный код, для чего так мучиться, смысл выбирать сложный путь,чтобы просто достать само изображение и метку для него

    • @dubinin_s
      @dubinin_s  Месяц назад

      Спасибо, давно так не смеялся))

  • @jaksonmillka
    @jaksonmillka 2 месяца назад

    та не мужик, по какому это ? Просто написанный код, не объясняя поэтапно что за что отвечает. Возможно это подходит кому-то, но точно не совсем зеленым новичкам. Отписка, удачи

    • @dubinin_s
      @dubinin_s  2 месяца назад

      А можно по конкретнее, что именно не объяснено в видео? Мне бы эта информация очень пригодилась при создании следующих курсов.
      "Возможно это подходит кому-то, но точно не совсем зеленым новичкам." - новичок новичку рознь, это во-первых. Во-вторых: в первом видео говорилось, что знание основ Python необходимы. В-третьих: если что-то не понятно можно спросить, здесь или в телеге, я бы все еще раз объяснил.
      "Отписка, удачи" - дело конечно ваше, но если передумаете я всегда вам рад.