Python Быстрее чем Си?! Ускоряем Python До Максимума!
HTML-код
- Опубликовано: 4 июн 2024
- В этом видео мы подробно разберём несколько инструментов оптимизации Python кода. Научимся применять Just In Time компилятор Numba и познакомимся с интересным и очень быстрым интерпретатором PyPy!
Привет! Меня зовут Игорь. На моём канале ты сможешь найти уроки по нейронным сетям, визуализации данных и программированию в целом.
Моя цель - сделать программирование более доступным и понятным. Для просмотра моих видео вам не нужно высшее образование по Computer science. Все непонятные темы и термины я буду понятно объяснять и показывать на примерах.
Оставайся с нами, и чтобы не пропустить ни одного видео - подписывайся на канал и нажимай на колокольчик!
Тайм-коды:
0:00 - Вступление
1:01 - Почему Python Медленный
4:07 - Что такое Numba
5:04 - Примеры Использования Numba
8:39 - В чём плох Numba
10:14 - Виды интерпретаторов Python
10:38 - Установка PyPy
12:28 - Примеры Использования PyPy
13:46 - А можно ли ускорить ещё сильнее?
14:13 - Заключение и пару слов о происходящем
► Ссылки из видео:
Сайт PyPy - www.pypy.org/
✅ Группа VK - bit.ly/VK_PseudoDev
✈️ Telegram канал - t.me/PseudoDeveloper
💲💲 Поддержи проект на Boosty - boosty.to/pseudodev
📖 Плейлист "Программирование на Практике" - • Программирование на пр...
📖 Плейлист “Нейронные Сети на Понятном Языке” - • Нейронные Сети на Поня...
📖 Плейлист "Изучение NumPy" -
• Изучение NumPy
![Почему число 37 встречается повсюду? [Veritasium]](http://i.ytimg.com/vi/26meYYVE2Yg/mqdefault.jpg)
🤔 А у вас вообще были проблемы, связанные с долгим выполнением кода?
😅 Или я один такой несчастный?
как показывает практика, 99% проблем медленного кода в python, это не знание самого python на нормальном уровне...🤣 видел как-то на хабре, парнишка написал на python пример который работает в 10 раз быстрее С++ (если только в C++ не написать это через сложные алгоритмы). там много было примеров даже банальных циклов когда их не верно используют и они медленнее в 10 а то и в 1000 раз.. 🤣да и на ютуб в достатке топ видео где меняют просты решения на либы чтоб ускорить, а проблема тупо потому что написан код криво..🤣 тут все как с js, если ты не понимаешь как работает данный язык, ты будешь писать самый медленный код в мире.🤣 тут просто два цикла могут отработать по разному, как гитпер быстро так и гипер медленно. и те кто знают как работает python изнутри, напишут все очень быстро . а те кто не знают, напишут так что лучше бы вообще ничего не писали.. 2017 год, соц сеть представляет свой новый апгрейд и она написана на Flask. суть в том что там чистый python, запросов больше 12 миллиардов в сутки!!! и скорость работы просто безумная! и да, там чистый python.))) их осуждали, орали тип python медленный, тип не надо на нем ибо даже не поднимите.. и весь мир афигел что так можно..🤣 они так и объяснили - "просто надо писать на python, как на python! а не как на С++ или java и тд..!".🤣 учитесь писать правильно на python! и не будет у вас прольем с скоростью выполнения.))
Жаль на ЕГЭ нету интернета,так с нумбой последнюю задачу было бы легче решать
мы ждали это 2 месяца… и наконец-то дождались 💪
"Я ждал этого 4... Нет! 5 тысяч лет!!"
# охтыжнифинасебе это очень круто. доп: пузырьковая сортировка из списка list(reversed(range(10000))) python3.9 стандартный - 19.7 сек, pypy 3.9 - 0.328
Это нереально круто 🙌
"Python Быстрее чем Си", а в следующем видео будет разгонять свет быстрее скорости света?
В следующем видео буду разгонять Assembler до скорости Python 🗿
Омг, чел, ты очень круто и просто объясняешь!
Я просто гуглила про вебсокеты (чтобы разобраться, как это можно побыстрее сделать для работы), а в итоге я посмотрела видосов 10 просто на одном дыхании.
Потому что нет воды - бери и применяй.
Ты просто космос✨
Спасибо большое 😉
чувак, видос с юмором, такие мы любим, где обама вместо арбуза, надо было баклажан вставить), подписка
2:49 Когда я вижу подобный код, я думаю, что его пишут настоящие программисты, мастера абстракций, которые способны писать код без костылей
12:39 Давайте посмотрим сможет ли он обогнать Спайт... Он уже закончил. ахаххахахаа
Супер видео
Видос шикарен, не зря ждал видос
Я за всю жизнь столько мемов не видел, сколько в этом видео за 15 минут
Харош
Не знаешь можно ли оптимизировать работу с файлами, использую библиотеку которая при каждой операции ищет файл, вытаскивает из него значения, считает, закрывает файл и выдает результат, а потом опять ищет файл значение считает...
Можно ли что то с этим сделать ? знаешь какие ни будь инструменты ? например что бы выгрузить файл в ОЗУ и перенаправить в ОС запрос на Опер. память вместо чтения с HDD
спасибо, я знал, что пайтон тормозной, но не знал, что на столько)
топ видос очень помогло
Полезное видео. Спасибо.
Благодарю 🤝
Есть у меня скриптик с вычислениями на 30 сек (симуляция торговых стратегий). Зафигачил multiprocessing - обрадовался, что стало 7 секунд (оказалось оптимальным 8 процессов на ксеоне с 16 лог. ядрами). Но потом оказалось что время выполнения сильно "играет" в основном между 10 и 25 секунд. Причем как-то не на рандоме, а либо много запусков подряд быстро либо много запусков медленно. Так что по итогу не такой то большой выигрыш. Ещё как-то странно, сами процессы выполняются быстро, но иногда возникает какая-то задержка в момент создания пула и старта первых процессов, и после нескольких секунд пролага всё быстренько выстреливает. Поэтому то что узнал из этого видоса попробую применить. Надо сказать что Пайтон не такой уж и медленный. Этот же самый алгоритм у меня до этого был в Mathcad и выполнялся 20 минут!)))
Важны не логические, а физические ядра. Также при создании процесса важно поднимать его приоритет с нормального, до высокого, чтоб он не стоял в очереди. В идеале до реалтайма приоритет поднять бы, но у меня почему-то только высокий ставится... Сам не до конца раскурил эту тему)
Главное не ускорить (оптимизировать) всë так, чтобы вселенная не схлопнулась
гениальный эдит
а на 3.11.3 че устанавливать?
Видео топ, скоро 3000 🎉, скажи пожалуйста по какому курсу можно спокойно выучить python за лето, скоро экзамены просто
Честно, я даже не знаю что тебе конкретно посоветовать 😅
Я выучил Python при помощи практического подкрепления. Очень много хороших задачек есть на Stepik-е. А теорию я брал отовсюду, начиная от "Python за час", заканчивая тех.документацией на официальных сайтах по питону.
Вот честно, тебе главное решать практические задачки. Ставить себе какое-то условие, и пытаться его решить. По началу можно с использованием интернета, а потом пытаться без него
Спасибо за ответ и реактивность
Ни по какому. 3 месяца слишком мало чтобы выучить что-то кроме синтаксиса и нескольких библиотек. Ну парсер там написать простой сможешь, задачи школьные по питону тоже. Питон "выучить" практически невозможно, там бездна нюансов и модулей.
А ему это т олько и надо@@47clere
Недавно пробовал переехать на PyPy, но не осилил переезд установленных библиотек для этого интерпретатора, он их не видит :(
Согласен, это большой минус
Всё это супер, но всё это ломается на сложных скриптах и/или использующих numpy и pandas. Дада, пишут что они поддерживаются, но у меня не пашет.
Т.е. нормально это работает только когда питон чистый. И тут надо тестить что быстрее.
Параллелизация не работает если во время pd.rolling().parallel_apply(decribe()) тебе нужно больше одного процентиля
Pypy тоже из коробки не завелся, ругается на панду и нампай
Ещё pandarallel даёт бонус только на массивах больше чем 10000 строк, если массив меньше то обычный apply быстрее
Спасибо !
Ультрамегасупердуперхорош
Чувак, ты просто космос!
Спасибо большое :D
а pypy может работать со сторонними модулями?
Да, может. Но их нужно скачивать отдельно для интерпретатора pypy
Объясните, почему бы тогда не использовать всем pypy, вместо Cpython?
Придётся тогда все библиотеки переписывать под pypy. Всё-таки Cpython - это стандарт, и все опираются именно на него
Норм
Я умею компилировать Python код.
Бомбейшая бомба!
Блин, бро, сколько времени у тебя ушло на создание сего шедевра?
Примерно месяц на усё. Сбор инфы, написание кода и сценария заняло прям дофига времени (в сравнении с прошлыми видео). А монтаж + озвучка примерно дней 5.
Очень тяжело было, я всё боялся, что не успею в срок 😅
У меня в pypy возникла проблема с кириллицей. Пока не нашел способа, как подружить его с ней. А так, было бы хорошо. Но, к сожалению, обработка текста. Кириллица - критично. Если кто-то знает способ, как решить эту проблему, поделитесь.
Как устанавливать пакеты pip в pypy?
Точно так же как и в обычном питоне, только нужно уточнять, что нужно скачивать именно для pypy. Команда будет выглядеть как-то так:
pypy pip install (имя модуля)
P.s. возможно будут вылезать ошибки. Их можно исправить добавление следующий элементов в команде (обозначено скобками):
pypy(3) (-m) pip install (имя модуля)
На олимпиаде скорость питона сильно подводит, у сиплюсеров такого не возникнет, но к сожалению сторонние библиотеки там ставить невозможно и ничего с этим не поделать
На многих олимпиадах учитывается скорость компенсации, и у меня идентичный код отправленный на плюсах выдал большее время, тут зависит от того как ведётся отчёт,а так особой разницы писав олимпиады на питоне и плюсах не замечал
@@najhorsy может быть у тебя так, у меня в регионе один и тот же код запущенный на двух этих языках показывает, что питон в разы медленнее
Помогите пожалуйста установить pypy на Jupiter notebook 🙏. Кто уже устанавливал, напишите, ответьте, пожалуйста. Сколько пытаюсь, не выходит
Не уверен что это хорошая идея, но вроде тут есть обсуждение на эту тему. Может поможет - stackoverflow.com/questions/33850577/is-it-possible-to-run-a-pypy-kernel-in-the-jupyter-notebook
Питон больше подходит для I/O привязок, для CPU я бы выбрал плюсы
Восемь плохих кодов быстрее одного такого же
Побежал тестить pypy
Как устанавливать библиотеки pypy, pip не работает
Точно так же как и в обычном питоне, только нужно уточнять, что нужно скачивать именно для pypy. Команда будет выглядеть как-то так:
pypy pip install (имя модуля)
P.s. возможно будут вылезать ошибки. Их можно исправить добавление следующий элементов в команде (обозначено скобками):
pypy(3) (-m) pip install (имя модуля)
надейся
знзн)))
Разогнать язык написанный на Си быстрее чем Си....
почему арбуз, а не баклажан)
Не процессы GiL блочет, а потоки. Я возможно не первый такой, но просто по ушам проехал
Быстрее Си только машинный код, т.е. язык ассемблера. Да и сам Си это "высокоуровневый" язык ассемблера.
Не прекратилось
Возродись
Скоро 😉
Разве вы не знаете, что чем мощнее и медленнее работает программа, значит она более солидная, сложная в разработке и стоит "сотни нефти"? ))))
Питон никак не может быть быстрее c
Где видео раз в месяц?(((((
К сожалению, сейчас занят другим проектом, да и учёбу никто не отменял. Приношу извинения за столь долгие ожидания
@@PseudoDev не стоит извиняться, реальная жизнь куда важней ведения ютуба.
Удачи с проектом, и успешно сдать все по учебе!
@@user-dl2ph6ku8c спасибо большое!
Сынок! Ку..(курить вредно!) ВНИМАТЕЛЬНО ЧИТАЙ БУКВАРИ! Тогда узнаешь много нового и перестанешь пытаться сравнивать Pyton и Си .
и вообще "хуяк-хуяк" и в продаешен! ))) быстро работающие программы выполняющие свои функции - не выгодны со стороны бизнеса. Как говорит один умный программист-лектор (катается по семинарам и рассказывает разработчикам), что они не правы, когда добиваются оптимизации своих программ! и кстати он получает побольше чем подавляющее количество разработчиков, которых собрались в зале его послушать. Блин, склеротик, не вспомню как его ФИО. Он ещё Пиоон любит сравнивать с Руби. Известная хлеборезка.
ролик интересный и для *_практикующих_* Python'истов точно полезный. за это 👍
*но* - Крым (и Симферополь в частности) это Украина. да, с 2014-го он кем-то _считается_ "российским". на самом деле он лишь *временно* оккупирован/аннексирован рфией. и со временем все действительно *_вернется на круги своя_* . обмануть Бога и историю невозможно.
За первое - спасибо, а со вторым не согласен. В 2014 году это была не прихоть власти РФ, а желания Крымчан. Даже если, каким-то образом, Крым вернётся в состав Украины, Крымчане найдут способ снова вернуться в РФ. Об оккупации и аннексии и речи быть не может
@@PseudoDev
сразу о втором. вы, молодой человек, повторяете чужие слова. поясню вкратце:
1) по Конституции АР Крым (до "псевдореферендума") вопрос о присоединении/отделении этой (как и любой другой) части Украины был *вне* компетенции местных органов власти. более того, подобное изменение территории возможно исключительно после проведения *всеукраинского* референдума, которого - как вы понимаете - не было.
2) во-первых, после развала ссср в 1991 году между Украиной и рф были подписаны документы, в т.ч. которыми рф признавал Крым *Украинским* и поддерживала территориальную целостность и нерушимость границ Украины. более того, вплоть до февраля 2014 года рф ни разу не высказала заинтересованность или желание "вернуть" Крым. и да, пребывание чф рф на территории Украины (в Крыму) как минимум после 1996 года было незаконным, т.к. по сути это иностранная военная база, а таких согласно Конституции Украины на нашей территории быть не может, из чего следует, что заключенный ранее договор о пребывании чф рф должен был быть расторгнут/аннулирован, а сам чф - выдворен за пределы Украины. к сожалению, этого не было сделано.
во-вторых, рф могла подписывать договор о принятии АР Крым исключительно с Украиной, частью которой Крым *является* де-юре и сегодня (на том, что пуtинская рфия игнорирует международное право, останавливаться не буду). плюс должен был пройти всероссийский референдум о принятии новой территории - как ни странно , но его также не было. таким образом "возвращение в родную гавань" является незаконным не только по украинскому или международному законодательству, но и с точки зрения _российского_ законодательства (конституции рф и федерального закона). из всего этого как раз и следует, что с весны 2014 года *Украинский Крым* оккупирован рфией.
👏👏👏
@@PseudoDev Какая разница чей Крым,если кто-то возомнил себе что может убивать людей в чужой стране тысячами,это точно не останется безнаказаным.
если вы выкините из видео шутихи, ваше видео не потеряет вес, но перестанет отдавать школотой.
Окно открой
т.е. если запустить несколько процессов из python то они не будут выполняться параллельно? Правильно вас понял?
Быстрее чем Си? да он тормознее даже PHP8 раз в десять!
Все в мире относительно. Бывают же ситуации, когда человек откроет ящик с черепахами - а они как ломануться )))
Автор видать из этих
🟥🟥🟥🟥🟥🟥
🟥⬜⬜🟥⬜🟥
🟥⬜⬜🟥⬜🟥
🟥🟥⬜🟥🟥🟥
🟥🟥🟥🟥🟥🟥
Это нереально круто 🙌