Видео

Рад стараться :)

И вам спасибо, что смотрите и комментируете. Приятно!

Не понял вопрос. Даже преобразование изображение в текст может быть для разных задач. Если у вас изображение документа, а вам нужен из него текст, то это задача OCR и у этих ребят есть MM_OCR. А может нужно, чтобы описывало изображение, т.е. что находится, что происходит. То это Image Description. И для этого есть решения,

@@Motskin_AI я просто думал что он к сегментам еще может Image Description добавить

@@bbrother92 Так для этого модель должна быть определённой архитектуры и обучена соответствующим образом. А в этом видео обучалась на датасете, который размечался вот точно также как сейчас распознаётся. Т.е. для каждой модели, своя задача, но эта не предназначена для описания изображения. Хотя она знает где человек, где машина, как они расположены...

Я полностью с вами согласен. В видео оговорился. 70 млн размечено, а ещё 39*70 млн не размечено. Спасибо за вашу внимательность!

Здравствуйте. Если кратко, то с этими двумя вопросами я не смогу помочь. Что касается разметки квадратами (т.е. где все стороны равны), то даже и не знал, что где-то существует такой способ разметки. И даже не представляю для чего может понадобиться такая разметка. Может вы поделитесь информацией о задаче, для которой понадобилась такая разметка? Лично я использую разметку полигонами, но иногда и прямоугольниками. Всё остальное уже делаю скриптами на файле аннотации. По эллипсам, у меня есть предположение, что сила эллипса - это математическая формула, И если вам нужно разметить круглые формы, то только эллипс позволит вам сделать это с математической точностью, в отличии от полигона. И, кстати, YOLO не только прямоугольники находит, т.е. задача детекции, но ещё и выполняет задачу сегментации, а это значит, что подсветит вам этот круг в прямоугольном изображении.

@@Motskin_AI Обучил самую большую модель yolo8 обнаруживать круги с помощью инста сегментации на 1600 размеченных данных но yolo не справилась. Хочу попробовать другую нейросеть которая находит очертания окружности и выводит координаты xy и радиус. пытался сделать что то с (преобразованием хафа но не понял как интегрировать это в обучение) в общем я полный 0. Могу скинуть картинку что именно мне нужно обнаружить. может поможете советом.

@@raphaild279Да, конечно, сбросьте на почту, которая в конце видео приведена. я хоть буду понимать про что речь

Я использую nvitop на стационарном компьютере. Может кто знает ещё что-то лучшее?, то пишите. По факту я взял первый попавшийся инструмент.

Windows 11. Для ML использую ubuntu через WSL

@@Motskin_AI а она норм прикидывает видеокарту? Без супер багов?

@@eduardmart1237 как родную. А некоторые задачи обработки изображений так вообще быстрее исполняется под WSL, чем на чистом Windows. Возможно в Ubuntu более оптимальная файловая система. Но я исследования не проводил, просто обратил на это внимание.

Спасибо за тёплые слова, буду стараться держать качество.

Я считаю, что компания нормальная. И лично я горжусь, что в моей стране есть такая компания. Видимо просто сработал человеческий фактор. Как говорится не произошёл Match.

Там не обговаривалась позиция. Ко мне обратились, я даже и не был в активном поиске, уточнили мой опыт. Спросили зарплатное ожидание. Я ответил. Дальше начались этапы собеседования - значит меня, с моими зарплатными ожиданиями, рассматривали как потенциального кандидата. Но на 4-м этапе собеседования я уже осознавал, что по предстоящим обязанностям предстояло выполнять множество задач самостоятельно . Т.е. я оцениваю эту позицию ближе к сеньёрской. А вот в первом видео, там уже больше позиция middle.

@@Motskin_AI Все что хотел узнать, узнал (уровень заданий), спасибо, хорошей ЗП и итнересных проектов.

@@davidmishel4348 И вам спасибо за интерес

Ой, я приношу извинения. Пока публично не выставляю код. Стараюсь полностью его показывать в видео и вы всегда можете его воспроизвести. Конечно, понимаю, что это не удобно. Но, к сожалению, есть юридические нюансы и я не уверен, что могу фрагменты кода публиковать с возможностью мгновенного копирования. Ещё раз прошу прощение.

@@Motskin_AI Спасибо за вашу работу. Достаточно и того что вы даёте!

@@dudedudedudedude3333 Спасибо за понимание

И вам спасибо за спасибо :)

Спасибо за тёплые слова. С Армой планирую продолжать. Сейчас жарко и не хочется эксплуатировать видеокарту. Что касается ситуации с DS в Беларуси, то честно сказать не знаю. Когда были крупные компании, типа ЕПАМ, то они организовывали различные мероприятия, в том числе и по DS. Сейчас западные компании стараются не привлекать к себе внимания и прижали все пиар мероприятия в стране. А без спонсоров, сложно что-то организовывать. Российские компании медленно заходят, но сколько ещё времени понадобится - неизвестно. В любом случае в Минске куда больше возможностей для DS. У меня в Гомеле вообще с этим сложно. Даже компании, у которых есть офисы в Гомеле, не открывают вакансии для DS, а только в Минске. Так что по сообществам пока тихо. Я вот решил развивать глобальное русскоязычное сообщество. Пока только с помощью видео. Пока есть возможность - буду выпускать видео. Но люди точно есть, правда нас по объективным причинам не так много как тех же Джавистов, .NET, Геймдевовов, мобильщиков. И когда в Гомеле появятся условия для развития DS, то я с удовольствием поддержу.

Спасибо что смотрите и спасибо за поддержку

Понятное дело, что политика важный фактор, но совсем бы не хотелось на канале, посвящённому элементам ИИ, обсуждать политические вопросы. Поэтому и попросил чтобы не было политики. Пусть хотя бы здесь в мире будут присутствовать и Россияне и Беларусы и Украинцы и другие народы, кто понимает русский язык, на котором говорит автор канала. Спасибо за ваше понимание

И вам спасибо что смотрите и выражаете своё мнение

onnx я использовал только для того, чтобы открыть модель в netron. А ещё это формат на границе зоны разграничения ответственности разных команд. Например, для DataScience и Computer Vision специалиста целью является получить обученную модель onnx. А у разработчиков, например веб-разрабочиков на .NET, Java, Python или для Android разработчиков это простой файл, который они встраивают в свой код и им не нужно задумываться как он создавался. Они просто знают, что он самый оптимальный на данное время в их компании...

Да, разные значения. Это как если бы мы нарисовали картинку зайчика и показали её на 5 секунд 10-ти человекам (аналогия со слоями свёртки) и попросили их по памяти нарисовать то, что они видели. Вроде у всех получится заец, но у всех он явно будет разным. Другие 10 человек, это уже как бы следующий слой. Это просто условно. Понятное дело, что в примере с зайцем все люди будут переносить свой опыт и знания о зайцах. Но если показать им всем картинку чего-то совсем неизвестного (несуществующего), то и результат получится более интересным.

Ну может он удачно поучаствовал. Сеть то называется АлексНет, а не ИльяНет :)

Спасибо

А я решил исходники не выкладывать. Всё равно они решают какую-то специфическую задачу, а тем более что по видео можно восстановить весь код.

Честно, не помню. Конечно, много заготовок у меня уже было и они кочуют от одного проекта к другому, но пришлось конечно повозиться с алгоритмами обрезки, хотелось разнообразить данные. Так как не всё гладко шло, и как это обычно бывает на 1000 изображений обязательно находилось хоть одно, которое не вписывалось в общую логику. Но так как случаи живые, то приходилось и их покрывать кодом.

О! как я указал чуть ранее в ответе на комментарий - Да, сохранение данных выполняется синхронно, в противном случае получу Exception - проблему с доступом к файловой системе.

Почти не мешает. Правда конечно есть проблема с записью файлов из самого потока. Но я в коде многопоточность использую для обработки данных и удерживаю в памяти. А когда Чанк обработан, то в последовательном режиме создаю файлы. И никаких конфликтов не возникает.

Как раз в статье (которую указал в комментарии для другого видео) и описывали как они делали. И это сильно не понравилось издателю GTA. В результате пришлось приостановить работы других энтузиастов. Если интересно, то покопайтесь в этой теме. Если будете искать self-driven GTA то обязательно найдёте следы. Но уже увы, много чего недоступно

Для этого нужно вмешиваться в код игры, а у меня такой возможности нет. Например, как это делали в GTA можно посмотреть в статье: "Playing for Data: Ground Truth from Computer Games". Но в этом случае есть проблемы с авторскими правами.

Как бы вот ещё добраться до задачи сегментации на этих данных :)

Приятного просмотра

Вам явно зашла серия видео :), Желаю получить удовольствие от просмотра!

спасибо, приятного просмотра

Большое спасибо. Приятного просмотра. Что касается авторов, то здесь двоякое мнение. В любом случае познакомились с большим числом авторов и кто чего достиг. Однако в будущем крайне мало вероятно, что буду рассказывать про авторов.

Наверное по следующим причинам: 1. для унификации процесса обучения на локальном компьютере, сервере и облаке. В 2-х последних случаях это точно Linux. 2. Эксперименты показали, что на базовых настройках компьютера взаимодействие с изображениями через WSL осуществляется быстрее чем на нативном Виндовс. Сам был удивлён, но что есть то есть. Но думаю этот вопрос можно было решить поковырявшись с настройками 3. А ещё встречаются библиотеки, для которых нет версий под windows. 4. И были проблемы с поддержкой GPU на виндовс. Вроде для TensorFlow. Не хотелось рисковать, поэтому сразу и перешёл на Ubuntu через WSL.

Спасибо, учту ваше мнение

Так это не бенчмарк, а так просто одна из задач. Что касается кода, то там же 20 строк кода, имею ввиду то, где обучается модель. А если выкладывать код, то нужно ещё и размеченные изображения кубиков, а вот это я уже и не могу в общем доступ выложить.

В моих видео показана nvitop устанавливается как питоновская библиотека. А потом просто в терминале вызывается nvitop и всё

@@Motskin_AI спасибо!

Да, я тоже это предположил, но видно же, что щель есть, которая без маски. Т.е. я, честно, не увидел проблемы, которую описали авторы. Но так как это вполне может быть, про продолжил описание. Хотя можно было поискать другие кадры, на которых эта проблема явно проявлялась, как это заметил уже делая своё видео.

В этот вопрос не углублялся. Просто обратил внимание, что при нехватке памяти GPU, компьютер начинает использовать оперативную память. Всё очень медленно, но главное, что программа не падает.

Да и не только компьютерное зрение. На NLP ещё больше воздействие оказали трансформеры

там же не только количество важно. Большую роль играет архитектура. У вас 20-я серия и то не топовая. А для работы с нейронными сетями каждое следующее поколение почти в 2 раза быстрее чем предыдущее. А на самом деле и ещё больше. Вы же не забывайте, что там не только куда ядра увеличиваются и память, а ещё разные плюшки добавляются. Лично я бы покупал бы что-то нового поколения. Но если большие финансовые ограничения, то что-то поколения -1. Например сейчас это RTX3090. Но когда-та там должна выйти RTX5090, поэтому можно немного подождать, и когда она выйдет, то на RTX4090 цены будут ниже, тогда можно взять, но только у проверенного человека.

@@Motskin_AI понятно. Значит буду присматриваться к топовым решениям 30ой серии. Дорогое однако удовольствие - нейронные сети обучать!))

Пожалуйста :)

Если бы логика была такая простая, то при увеличении глубины сети, она только и улучшалась, но к сожалению наступает момент, когда поведение меняется. Ещё в будущих видео об этом должно быть упомянуто, вроде efficientnet.

Спасибо

могу только навсидку сказать. Предположим, что ImageNet-1K имеет 1.2 млн изображений. А я в серии видео про классификацию обучал на датасете в 5 тыс изображений (Арма). Пусть одинаковая модель и количество эпох и размер изображений 224 на 224 пикселя. Предположим у меня это занимало 1 час. Тогда 1.2 млн делим на 5 тыс. получаем в 240 раз дольше. Тогда ту задачу, которую я обучал на датасете арма за 1 час, на датасете ImageNet-1K займёт 240 часов. При всех равных условиях.

@@Motskin_AI 240 часов это 10 суток работы получается. А Nvidia a100 насколько быстрее будет работать примерно?

@@androidbyserega У меня был опыт запускать задачу обучения трансформера на А100. Так время обучения было в 3 раза меньше чем на RTX3090. Но сейчас мы сравниваем RTX4090 и A100, поэтому зависит от задачи.Есть варианты, когда RTX4090 будет чуточку быстрее чем A100. Но H100 точно уделает RTX4090 раза так в 3 точно.

@@Motskin_AI все это невыносимо долго. Видимо придется с четырьмя видеокартами корпус собирать

@@androidbyserega это будет невыносимо дорого :)

Спасибо вам. Что касается рекомендаций Ютюба, то полностью с вами согласен. С другой стороны лучше поздно чем никогда :) Надеюсь не разочарую :)

Спасибо за ваши тёплые слова. Что касается планов по какому-нибудь проекту, то мысли есть, но маловероятно, что буду делать упор на инфраструктуру. Но если будет чем поделиться, то сделаю видео по этой теме.