Видео

Думаю да, вопрос наличия power query и питона на маке, это зависит от версии excel и устанавливали ли вы питон

@@directprobi питон не устанавливал, ексель 365, необходимо чтобы яндексГПТ (предпочтительнее) работал и/или chatGPT

@@vasiliymaksimov6592 вам надо проверить есть ли power query в excel на вкладке данные - дает ли он вообще что-то получить например из файла

@@directprobi есть, дает

Можно учить, можно не учить - зависит от целей. Лично я пользуюсь питоном для загрузки данных в бд

Сильно зависит от основной части подписчиков, а она у меня скорее всего без своих каналов, так что изначальная реакция была не очень и видео не взлетело

Может токен не тот или folder?

Добрый день! Вы имеете в виду гугл таблицы? Можно использовать формулу и протягивать её, чтобы обработать несколько текстов. Но если текстов много (более 200 например), для этого я делал отдельную программу, можно посмотреть в одном из последних видео.

@@directprobi в system_promt указывать несколько ячеек откуда брать информацию для выполнения скрипта

Ссылки на отчеты есть, можете сделать свое сравнение, возможно я переоценил их таланты)

@@directprobi уже делали на Highload++ в Мск в 2023ем)))

Возможно, от человека зависит, от того как и кто его обучает, сколько на это уходит времени. В любом случае все ссылки я предоставил, сравните как правильно. Если окажется, что данные hh ниже реальных зарплат, тут я не удивлюсь, большие зп никогда не писали на hh

​@@directprobi соглашусь с комментатором. За 3 года человек скорее всего не успеет выйти на плато стабильности по графику Даннинга-Крюгера, которое соответствует сеньорам. Если он за это время чувствует себя сеньором, то он или очень талантливый, или же всего лишь забрался на пик глупости. На мой взгляд, в среднем, миддл это 5-10 лет опыта, дальше уже идет сеньор, если при этом человек реально рос, а не прохлаждался в зоне комфорта на одной и той же работе много лет

@@TimLaizaR228 я через 5 лет уже сферу меняю чаще всего, я просто не знаю что человек должен делать 5 лет и насколько пассивно себя вести, чтобы за это время толком не научиться и не стать одним из лучших. Стажеров с нуля учат плотно несколько месяцев, они потом на мидлов устраиваются, а по-вашему 5 лет надо ждать, что-то я не верю в такую историю. Либо ниша какая-то очень сложная, либо человек очень пассивный и даже ментора не догадался нанять. Ну от 5 лет сеньёр еще можно понять, но 10 лет учиться - это слишком

@@TimLaizaR228 А я считаю себя сеньором за 3 года и шатал ваши плато и Даннинга-Крюгера лично.

​@@directprobi то есть нулёвые стажеры идут сразу на миддлов, минуя джуниор позицию? Это как? Джуниор отличается от миддла или сеньора прежде всего не знаниями, а отсутствием коммерческого опыта - не успел наступить на все грабли и всё в этом роде. Миддл уже успел наступить на большинство граблей и в целом уверенно работает. Сеньор имеет более углубленные знания чем миддл, но это не главное - он уже наступил на все грабли, а так же готов брать на себя ответственность за выполнение самых сложных задач, делать очень точную оценку выполнения, самостоятельно производить декомпозицию сложной задачи и тд. Слова про найм ментора вызвали улыбку)

В каких обьемах? Хотя бы 1000 объявлений напишет? Как вы будете управлять задержкой? И будут ли запросы асинхронными?

В опросе 18 ответов по 1С разработчикам, в биайке Юли их вообще нет, она данные не предоставляла, поэтому не стал добавлять в видео, нет репрезентативной статистики

а они тоже к программистам относятся?

А ты кем работаешь?

Headhunter не даст соврать)

Я вот вообще не работаю сейчас:)

@@directprobi ну так и у друзей кодеров примерно такие зп, даже повыше

@@directprobi Так hh это просто рекрутеры то что у них пишут и предлагают работу с ЗП это еще не значит что ЗП такова. Придти на собеседование и узнать у тех кто там реально работает. За 300 к он должен быть семи пядей во лбу. А мальцам из интернета впаривают курсы it и ссут в уши про ЗП 300к. А те и млеют от грёз, курс ему впарили и нашли место на hh за 35к. и все! Дальше сам.

Девопсы, QA, ну и программисты

​@@directprobiИнженеры, архитекторы, ИБ не в счет?

А как же soc, cert, админы, пентестеры?

Я взял самые популярные вакансии для сравнения, остальные - в отчетах если по ним есть данные

Если вакансий нет в опросе, значит таких респондентов не было, если нет в отчете hh, значит на hh мало подобных вакансий чтобы считать по ним среднее

По аналитикам то инфа есть, с ними в другом проблема - они очень разные, есть дата аналитики, есть веб-аналитики, есть биай-аналитики, есть системные аналитики, бизнес-аналитики и другие. Причём все по идее выполняют разные функции.

@@directprobi интересно было бы сравнить кто же самый, самый из аналитиков)) на текущий момент кажется что bi или системный)

А если брать по отдельности, их уже слишком мало чтобы делать выводы) Вот и остаётся некоторая неопределённость по ним)

​@@Magomedmirzoeff точно не bi(ну если дата инженеров конечно не брать), скорее системный и продуктовый

Пока с его таблички нет толку, видимо надо мне описание корректировать(

@@directprobi Я у него как аналитик Power BI записан с 16.03.2024 года оттуда пришло 16 человек 5 из них стали учениками. С ютуба 26 за тот же период и 6 учеников. Мне кажется что туда идут те кто больше про разработку)

Эти модели честно говоря не знаю как дообучить) Да и lmstudio - это всего лишь эксперимент был, а вот про chatgpt хотел снять ролик с дообучением, но пока не успел

Тема непростая к сожалению, долго пришлось разбираться в этом

Как вы себе представляете что новичок придёт и будет писать всё руками? Да и в принципе тогда зачем разработчики сделали удобные кнопки если нужно всё писать руками? И почему бы в таком случае не писать на питоне, зачем вообще весь этот PQ если можно работать в pandas? Лично мне кажется кнопки очень сильно ускоряют простые преобразования, потому что даже умея писать код я и сам их часто использую. Иногда приходится что-то править в коде, но не так уж и часто, да и подобная работа - скорее тема продвинутого курса, никак не базового. А для ручного написания кода итак полно языков.

@@directprobi , это плохой вариант. Потом переучиваться приходится.

@@user-wj7jb8os3u когда объём данных вырастает, неминуемо приходится переучиваться на DAX, Python, SQL, Airflow, NiFi и другие инструменты, но в рамках PQ если честно я не понимаю как надо переучиваться. Писать Table.Join разве что вместо Table.NestedJoin, но это вроде нетрудно

@@directprobi посмотрите buchlotnik. Творит чудеса

@@directprobi, похоже мой коммент пропал. По другому конечно можно писать. Хороший пример, buchlotnik. Творит чудеса на языке М

Добрый день! Давайте определимся про какой объем данных мы говорим. Если объем реально небольшой и Excel его без проблем обрабатывает, то не вижу никаких проблем, из такой таблицы можно отлично делать срезы. Если же объем как вы говорите больше и Excel тормозит/данные не влезают - смело переходите в Power BI. Как я и сказал в видео, в Power BI не нужно объединять всё в единую таблицу, там всё делается в модели данных. Насколько знаю, Power Pivot надо отдельно ставить как надстройку в Excel, лично я не вижу никакого смысла в этом когда есть Power BI. Поэтому как только задача выходит за рамки простого Power Query, я перемещаюсь в Power BI и делаю там. Какой смысл пользоваться моделью данных в Excel с ограниченным функционалом по сравнению с BI и старым интерфейсом - за все 7 лет работы я так и не понял) Разве что кому-то принципиально делать отчёт именно в Excel, но тогда надо снимать курс по Power Pivot уже))

@@directprobi Ну, на мой взгляд, 1. стандартный подход (PowerPivot) гораздо проще и удобней, позволяет применить навыки работы с моделированием данных 2. Он именно "стандартный", приучает подходить к задаче правильно, это дисциплинирует ум. 3. В настоящий момент гораздо проще включить PowerPivot, нежели наладить публикацию в Power BI Service, я это проходил. Но Вашу позицию я понял, спасибо за ответ. Кстати, как Вы решаете задачу публикации в Power BI Service и как Вы видите перспективы работы с Power BI в России в ближайшее время? Буду благодарен за идеи, ибо Вы в теме и явно знаете больше. Есть ли смысл переходить на другие (Yandex и пр.) инструменты аналитики? Спасибо.

@@andreyperekhrest6984 Я просто изначально Power BI учил и работал в основном с ним, поэтому Power Pivot кажется мне старой урезанной версией, но вы правы конечно если мы находимся в рамках Excel. Про саму возможность использования Power Pivot я сказал в видео, но поскольку всё это в целом Power Query посвящено, не стал его ставить. Касаемо Power BI в России - как зарегистрироваться есть в статье directprobi.ru/blogs/sankcii-power-bi-uhodit-iz-rossii-chto-delat/, а касаемо перспектив - зарезервировать отчёты точно стоит, чтобы был запасной вариант, но блокировок по IP пока нет, да и вряд ли будут пока это не выйдет на законодательный уровень. Самостоятельно резать свои доходы майкрософту нет никакого смысла пока не выйдет такой закон. А судя по всему текущие санкции пока не заставляют блокировать российские IP.

Спасибо 🙏 По api там целый курс по созданию коннекторов, в описании есть ссылочка. Ну а про создание простых подключений часто рассказываю на канале, даже инструмент специальный сделал чтобы быстрее писать их)

Раньше 10-й не работал насколько помню, а вообще проще всего установить 2016-й excel - там все встроено👍

На Boosty есть функции, в которых уже реализован цикл и всё корректно грузится итерациями по N строк

если добавляю host clickhouse:port то такая ошибка DataSource.Error: Web.Contents с параметром Content поддерживается только при анонимных подключениях.

ставлю анонимный вот так ругается -> Базовое соединение закрыто: Не удалось установить доверительные отношения для защищенного канала SSL/TLS.

@@ryatatuable а просто select выполнить получается на анонимном? Странно конечно, может не https надо а http? Для начала бы просто select на анонимном попробовать

если дописать в функцию ApiKeyName= ... тогда такая ошибка Web.Contents с параметром Content поддерживается только при анонимных подключениях.

Что за файнтюнинг? Это дообучение или что-то другое?

И еще вопрос - ты уже пробовал файнтюнинг для локалок? Или это было предположение?

Думаю да, но не пробовал, не знаю позволяет ли это делать LM Studio

А есть какое-нибудь видео или материал как запустить LM Studio на Google Colab? Я что-то сходу не нашел

@@directprobi Не слушай всяких деградонтов. Отличное видео. Не у всех есть возможность юзать платные модели. Пусть на старте будет даже такая версия. Если есть возможность ее дообучить, то вообще кайф.

Что-то не так?

Я как раз задумал немного переделать) там еще апи обновилось

Чатом GPT4 коммент писал? 😅

Мне кажется это мистраль)

​@@directprobi Да, это mistral 😁

Если что-то продаёте и есть прямая реклама, это нужно промаркировать, даже если ссылка ведёт на ваш сайт. Как именно - тут лучше почитать статьи, в ютубе код добавляется прямо в ролик насколько я знаю.

@@directprobi ну так я понял есть разница между рекламой и инфой о хоз деятельности но как ее распознать? яж получается просто сообщаю чем занимаюсь, а не рекламирую, но все траблы в том что наши органы интерпретируют законы как хотят.

@@Mirnyi_Matom тут лучше почитать юристов или обратиться к ним, не подскажу

Думаю что можно, но коннектор надо будет переписать под эту БД

@@directprobi спасибо, попробую!

У них вроде есть версия под linux, надо пробовать, я не запускал

Какая у вас ошибка? Токен не даёт получить?

@@directprobi токен получаю, дальше проблема с подключением, сейчас точно не вспомню что пишет, на Windsor ai пока пересели, но с вашим коннектором было удобнее ❤️

Тут лучше сразу присылать скрин ошибки, тогда проще с ней разобраться

Да, как ранее писал на бусти, есть циклы, которыми без проблем это можно обойти. Специально хочу устроить стресс-тест и загрузить данные по метрике за несколько лет, посмотрим как выдержит

Я не видел чтобы именно эта ошибка оставалась, то есть были случаи что не помогало?

Да, такие случаи есть. Этот способ помогает избежать ошибки в Excel или Power BI Desktop. Но если загрузить разработанный файл pbix на сервер отчетов Power BI или в облако Power BI Service и запланировать обновление дашборда по расписанию, эта ошибка вылезет при обновлении модели в облачной службе или на сервере. В этом случае необходимо переделывать запросы, чтобы избежать этой ошибки (запрос не должен ссылаться на другие запросы с разными источниками данных, все обращения к источникам - File.Contets, Web.Cintents, SQL.Database - должны быть в рамках ОДНОГО запроса)