Многопроцессность, многопоточность, асинхронность в Python и не только. Что это и как работает?
HTML-код
- Опубликовано: 6 июн 2024
- Мой курс «Хардкорная веб-разработка» - course.to.digital
Книжный клуб Ботаним!, где мы читаем хорошие ИТ-книги: botanim.to.digital/
Telegram: t0digital.t.me
Сказать спасибо за это видео можно здесь - boosty.to/digitalize.team
Сегодняшний выпуск - о том, как заставить наше приложение летать! Поговорим о процессорах, о том, как они работают, о многоядерных CPU и Hyper-Threading, о процессах, потоках и многопоточности, а также об асинхронности или кооперативной многозадачности. Будет насыщенно!
0:00 О чём пойдёт речь
0:30 О многозадачности на единственном ядре CPU
1:42 О тактовой частоте процессоров и многоядерных CPU
3:07 Потоки, они же Threads
4:26 Состояние гонки, оно же race condition
5:20 Hyper-Threading и гипер-потоки
7:56 Потоки на многоядерных CPU
8:24 GIL в Python
9:16 Как обслужить тысячу HTTP запросов?
10:09 Асинхронность, кооперативная многозадачность
14:20 Как работает асинхронность
15:31 Выводы
/****************** about ******************/
Меня зовут Алексей Голобурдин, я программирую с 2004 года и на этом канале делюсь своим опытом. Я основатель и руководитель компаний:
- Диджитализируй digitalize.team, разрабатываем сложные IT системы для бизнеса;
- Salesbeat salesbeat.pro, комплексный модуль доставки для интернет магазинов.
Если у вас есть проект на разработку, пишите нам на hi@digitalize.team.
С другими предложениями, а также если вам нужна одна или несколько индивидуальных консультаций/уроков по разработке (3000 руб/час), пишите мне на alexey@salesbeat.pro.
Telegram канал - t.me/t0digital
ВК - digitalize.team
RuTube - rutube.ru/channel/24802975/ab...
Дзен - dzen.ru/id/6235d32cb64df01e6e...
Мой курс «Хардкорная веб-разработка» - course.to.digital
Вжух!
Спасибо за ликбез по мультипоточности ядер)
"Немножко" дополню/скорректирую в режиме зануды:
1:00 Процесс и поток на процессоре может быть один, когда нет ОС. Это кучу МК (микроконтроллеров) и им подобных процов. Даже на х86 можно запустить монопроцесс и, обычно, вы его пускаете. BIOS Based I/O system не редко однопоточна+однопроцессна (но может мои данные устарели)
1:20 я бы прям в начале уточнил разницу между "работает" и "выполняется" ("исполняется"). Состояния ожидания тоже работа (это вам не зомби) и одновременно реально работать без переключений могут сотни процессов, а вот с выполнением да, только один в один фрейм исполнения. Хотя кому-то наоборот "программа исполняется" это существование процесса, а "программа работает" это греет воздух, трасформируя данные
3:20 строго говоря у программы может быть и 0 (ноль) потоков/процессов. Пример -- скрипты, которые не оперируют потоками/процессами, а исполняются родительским интерпретатором.
3:40 программа != процесс,
4:00 потоки так-то бывают разные и на сколько я знаю у потоков могут быть свои адресные пространства, но не уверен. Надо изучить что в каких ОС
4:36 гонки потоков можно, как избегать рядом подходов в мультипоточном прог-ии, так и исключать, так что проблема не совсем понятно, зачем сюда внесена, но при этом даже о законе Абеля ни слова(
Часть про простаивающие ядра оставляю на совести автора, там у меня нет знаний, за тем и смотрел =)
12:43 асинхронность, а точнее асихронное программирование либо асихронное выполнение это *один из* способов решить проблему, как достичь большой отдачи на малом числе ядер/потоков. В принципе можно и 10к дескрипторов потоков создать и нихай ОС сама их рулит, если поток умеет переходить в ожидание, то даже разрулит)
14:10 высокоэффективные ли? Если замерять RPS, то с высокой верятностью при идентичной задаче JS можно отточить не лучше питона, тот не лучше явы (иногда питон быстрее даже правильно "сваренной" явы), а эти ребята всё равно уступят Go/RUST/C++/Fortran (я счас о пределе, который можно выжать, а не о качестве библиотек, которые делают разрыв обычно ещё сильнее) Эффективно на тех же JS/Python писать ёмкий код (мало строк, много логики и смысла), но тут ни JIT, ни процессоры, ни ОС ни при чём
14:50 это упрощение сродни Пи = 3, простите. EL исполняет задачи из очереди на исполнение по мере завершения исполнения текущих задач (в частности для JS это по одной задаче), а задачи, завершаемые не выходом, а переходом в ожидание, по мере удовлетворения ожидания, перекладывает в очередь ожидания и взятием из очереди на исполнение следующей задачи
На этом всё, надеюсь уточнения кто-то дочитает, а не в в воздух это...
Немного сложновато, хотелось бы увидеть это ПРЯМ НА РЕАЛЬНОМ ПРИМЕРЕ! Прям наглядно увидеть многопоточность, сам ПОТОК/ПРОЦЕСС. Вот есть компьютер, и что мне делать чтобы увидеть этот поток, процесс?! Запустить программу что-ли? (Понятное дело что и сама ос что-то да выполняет, но как увидеть ожидание процесса, как увидеть что работает многопоточность НА РЕАЛЬНОМ ПРИМЕРЕ?!) МОЖЕТ МОЖНО ПРОГРАММУ НАПИСАТЬ И НАГЛЯДНО УВИДЕТЬ?!? Подскажите пожалуйста, буду благодарен!
@@danilakim5126 простейший варик: запускаете live-образ линукс-based (проще говоря убунты), ставите там htop, запускаете его. Там можно наглядно увидеть нити (posix-based threads, по-нашему потоки) и их родительские процессы. Можно изучить и препарировать их, если будет желание.
Ещё вариант тот же Process Explorer вместо классического Task Manager виндового способен показать потоки виндовых процессов (не моя специфика, не знаю на сколько глубоко там можно копать)
А так, на хабре том же найти реально)
Братан ты бы вышел на улицу воздухом подышал, пивка попил
Спасибо за видео! Важная тема, давно жду ее)
Тема интересная, ждем продолжения.
Сделаю паузу и скажу. Когда увлекался своим ZX-Spectrum-ом, изучал ассемблер. Благодаря этому, не плохо понимаю тему прерываний, т.к. там это было оооочень хорошо видно. Изначально, на zx работает только одна прога. По учебнику, делал на машинных кодах часы, которые работали в фоне в системе. Для это создаётся прерывание, у которого есть свой номер, как сейчас сказали бы, свой ID. Когда сделал эти часы, которые висят и не пропадают, был в восторге)
А по какому учебнику учился? Интересно, т.к. сам на спектруме ассемблер познавал в 90-х
У меня было наоборот: понимание устройства event loop помогло разобраться с прерываниями на ардуино)))
Господа,а можно поподробнее про прерывания? Прерывание разве можно создавать? Прерывания в zx spectrum это аналог программы или это всё таки ближе к callback функции?
@@Enerdzizer в спектруме, прерывание задаётся в каком-то регистре и вроде указывается адрес перехода. Уже не помню
Как же приятно тебя слушать! Спасибо и удачи в развитии!
Благодарю за ваш труд!
Ждём следующее видео! Тема очень интересная, интересно услышать твои мысли!
Спасибо!
Просто лучшее объяснение из всех, что я смотрел, все четко и структурированно. Спасибо огромное!
Здорово. Отличный ввод в многопоточность и асинхронность. Спасибо.
Рад, что полезно!
Ты очень круто всё объясняешь! Очень нравится структура твоих видео! Нет никакой воды из разряда «что бы установить пакет, используйте пип инсталл…» но в тоже время нет «эээ ну тут просто переписываете ядро». Всё очень понятно, доступная информация
Продолжай в тоже духе! Хороших лекторов не так уж много!
Спасибо!
ruclips.net/user/shortsHpwZpcfOxto?feature=share
@@t0digital Поддерживаю
Без лишней воды. Спасибо огромное за такие ценные рассуждения.
Наверное самое лучшее видео по этой теме на ютубе! Все четко и понятно!
Спасибооо!
Круто! Все очень доступно и понятно изложено! Спасибо!
Алексей! Спасибо за ваши видео! Почаще бы.
Спасибо за разъяснение такой интересной, непростой, но важной темы.
Очень круто! Выпускай почаще видео с ликбезом. Очень люблю за завтраком включить и послушать сжато полезную инфу.
Без лишней воды. Спасибо огромное за инфо.
Пересмотрел кучу лекций и подкастов про многопроцессность, многопоточность и асинхронность. Но все было очень сложно и заурядно. Здесь просто и понятно. Спасибо огромное за видео, у тебя талант объяснять!
Спасибо большое, очень приятно! Буду продолжать
Спасибо за подробное и понятное описание!
Супер!
Как раз по чуть чуть нахватал и так удачно залетел на это видео!
Спокойно четко понятно.
Спасибо.
Супер, самая не скучная лекция :)
Благодаря таким авторам, хочется изучать тему. Спасибо! Смотрим дальше
Отличное видео. Спасибо!
Супер! Очень интересно и доходчиво
Все очень круто, отличный формат и подача! Спасибо, большое!
Спасибооо!
Спасибо большое, ждём продолжения
спасибо, скоро продолжение, на бусти уже кое-что есть:)
Спасибо за ваш контент!
Не ожидал, от канал с таким количеством подписчиков, такого качества видео, продолжайте в том же духе!
Спасибо! Подписчики тоже понемногу растут, что приятно🙏
Спасибо за информацию. Легко и интересно слушать. То что искал!
Всё предельно ясно и по полочкам, спасибо большое!
Рад, что полезно! Спасибо!
Спасибо! Ждем больше примеров на практике
Отличное видео! Жду продолжения =)
Скоро будет:)
Спасибо огромное за Ваши труды. Очень интересно и понятно)
Спасибооо!
Благодарю, Вас, за труд!
Спасибо за интересное видео!
спасибо большое за простое но в то же время содержательное видео!
Большое спасибо за ролик!
Спасибо за видео!
Ждём продолжения!)
Спасибо! Скоро будет продолжение
Спасибо , надеюсь разберусь в теме асинхронности с нуля до полного понимания благодаря вашим роликам. Перехожу к следующему )
Очень интересный материал, хотелось бы больше услышать про то, как происходит работа процессора на физическом уровне!
Доходчивое объяснение. Интересно слушать. Благодарю 🌈
Спасибо! Очень доходчивое объяснение)
Максимально понятным и доступным языком рассказаны довольно сложные вещи для понимания. Большое уважение автору! Но про синхронность надо конечно поразвернутей рассказать в следующем видео, особенно азы и механику событий.
Лучший! Бооольше годного контента по Python 😱🤓
Спасибо за видео! Очень интересно и хочется побольше примеров и практики))
Да, в следующих видео будут примеры и практика
Круто получилось - просто и понятно. Ждем подобные разборки. Спасибо )
Спасибо!
Спасибо.. Внятно, понятно и без воды.. Талант педагога налицо!
Спасибооо!
Спасибо за классное изложение материала!
Отличное видео! Очень понятно и четко! Благодарю
Круто, спасибо большое!)))
Каждый раз слушаю с большим интересом) спасибо)
Спасибооо!
Ждём продолжения!
Скоро будет:)
Отлично! Благодарю!
Спасибо! Отличную тему затронули, надеюсь будет продолжение. 🙏
Будет обязательно!
Спасибо! Очень полезно!
Спасибо за каждое видео, очень приятно слушать и смотреть! И темы всегда прям то, что надо!
ruclips.net/user/shortsHpwZpcfOxto?feature=share
ruclips.net/user/shortsHpwZpcfOxto?feature=share
Самое чёткое и ясное введение в тему какое только встречал!
Спасибо за понятное изложение темы
Спасибо большое за ваши поучительные материалы
Спасибо большое, теперь наконец-то стало понятно! )
Очень важная тема. Ждем пример реализации на python
P.S спасибо Вам за ваши обучающие видео. Рассказываете все очень доступным и понятным языком
Спасибо! Да, в следующих видео будет реализация!
Интересно, ждём продолжения
Спасибо! Продолжение будет
Спасибо за хороший материал, очень доступно для начинающих!
Тема действительно интересная и важная. Я лично с ней столкнулся, когда нужно было обрабатывать запрос на вызов предсказательной модели (что не быстро).
Надеюсь услышать в следующем видео какие-либо лучшие практики на этот счёт!
Спасибо. Круто объясняешь!
Благодарю за то, что вы делаете!!!!
Спасибо! Будем продолжать
Очень интересно рассказываете)
Супер разложил! На пальцах) благодарю за труды😊
Алексей, всегда приятно тебя слушать.
Спасибо!
Интересные все видео. Спасибо. Много полезного, без понтов, доступно и профессионально.
Спасибо! Рад, что полезно
Очень интересно рассказываете! Просмотрел с интересом до конца. Хотелось бы практических-современных примеров!
Супер тема, спасибо!
Очень доходчиво!
Большое спасибо за доступное объяснение таких важных вещей!
Спасибо, рад, что понравилось!
Отличный канал, благодарю
Отличный способ подачи, без заумных фраз, но и без ненужного разжевывания простых вещей, жду ещё
Спасибо, рад, что понравилось!
Спасибо огромное за это видео, все четко объяснил ))
На одном дыхании посмотрел)
Очень классно, продолжай)
Спасибо! На бусти уже есть продолжение, скоро появится и на канале
Очень доступно ^_^ спасибо!
Юхууу, спасибо! 🙏
Алексей, спасибо, смотрю все твои видео подряд, старые еще надо закончить смотреть. ) Невероятно полезно, особенно Джуну. ) Продолжай дальше!
Будем продолжать!
Алекс! Это было самое понятное объяснение на тему GIL и async которое я видел :) Продолжай снимать!
Спасибо:)!
Ну наконец то нашел нормальное объяснение, спасибо Вам огромное!!
Классно интересно оч жду следующего видео
Спасибо за видеоурок. Очень интересно посмотреть разбор темы с кодом
Полезная тема! Для веб-приложений асинхронность важнее многопоточности и в этом надо разбираться. Годно!
Огромное спасибо!!!
Спасибо, реально помог разобраться)
Ждем продолжение
Большое спасибо за твою работу! Очень полезная информация.
Спасибо! Рад, что полезно!
Отлично расказано, спасибо!
Невероятно интересно! Спасибо за то что объясняете все таким простым и понятным языком!!!
Спасибо! Рад, что нравится:)
ruclips.net/user/shortsHpwZpcfOxto?feature=share
Клевое видео для погружения в тему!
Понятно и познавательно. Спасибо за полезную информацию!
Рад, что полезно!
Спасибо, отличное видео, многое для себя понял)
Спасибо! Очень чёткое объяснение.
отличная лекция! впрочем как и всегда. спасибо за твои труды и доступное изложение сложных тем.
Спасибо, рад, что полезно!
Классное видео. Ждём практики.
Немного практики есть в следующем видео на канале, оно уже есть. А разбираться будем в следующих :)