Видео

embeddings - можно сказать крылатые фразы.

Как использовать такие модели, что бы реализовать следующее. Научить строить в 3д программе конструкции. Потом дать команду: построй распашной шкаф с такими то параметрами и она должна как-то взаимодействоать с 3д программой. Т.е. суть вопроса: как интегрировать модели с внешними ресурсами, которыми она должна уметь управлять: другая программа, физические приборы ипр.

Подскажите, пожалуйста. Есть LM Studio. Загрузил модель Qwen2.5-Coder-14B-Instruct-GGUF. В окне сообщения скормил ему pdf справочник по макро программированию одной из 3д программ. Далее попросил написать макрос, который сконструирует корпус шкафа. В ответ он выдал полную ерунду. Как работать с моделями, что бы они брали инфу из учебников и выдавали ожидаемый результат?

Спасибо за контент

Спасибо

Я на nvidia titan xp запускаю успешно 12-18B модели. Квант Q4-5 klm (обычно). На rtx 4090 думаю можно спокойно 32B модели использовать локально. Как обыватель и пользователь, хочу заметить и поныть на тему "цензуры" и "вежливости с политкорректностью", эти вещи очень сильно душат и понижают ценность языковых моделей. Не понимаю что мешает им тумблер какой повесить или регистрировать по паспорту с подтверждением возраста, чтобы у тех кто желает работать с gpt тем же "без прослойки толерантности и инклюзивности какой" - была такая возможность. Очень уж сильно ответы gpt предвзяты, вежливы и обтекаемы. Если в лоб не попросить критику - он никогда почти не скажет прямо и в полной мере правду. Уже предвижу появление "тру - моделей" без таких ограничений. Хотя да, они и сейчас есть. Я скорее говорю про "крупные" сервисы и компании. С радостью ушел бы к таким, вместо gpt. P.S кому нужно для "игр" и "бесед", при этом на русском языке - советую искать модели на основе mistral или qwen (на мистрале полно моделей без цензуры и духоты, а на квене 2.5 я лично пока еще не видел некастрированные модели)

Все по делу, без "воды", обо всем самом важном. Спасибо за лекцию!

Спасибо большое за то, что так хорошо и понятно объясняете

Прекрасный урок! Благодарен. Я просто недавно начал заниматься нейросетями, пользуюсь пока чужими моделями через LM STUDIO, хотел сделать свою модель, услышал сумму 1 миллион $, пропало желание. Но продолжаю играться с параметрами чужих моделей

28:38 приложение с huggingface больше не доступно. Кто знает аналоги, чтобы можно было загружать в базу множество собственных документов и спрашивать только по ним?

Здравствуйте! Во-первых, огромное спасибо Вам за Ваш труд! Во-вторых, есть вопрос: на тайминге примерно 30:33 по вашему видео Вы обмолвились о какой-то нейросети для кодинга, "Коддерпитёр" или как-то так (сложно расслышать). Можете чуть подробнее о ней рассказать, а также подробнее рассказать о библиотеках для кодинга? А то простой ChatGPT версии 4О и канвас, достаточно много ошибок допускает при написании кода.

Наверное многое из сказанного уже устарело, но видео очень классное 😅. Спасибо

Большое спасибо за видео, очень наглядно! Особенно понравился разбор в конце - осталось прикрутить функцию решения задачи линейной оптимизации для максимизации прибыли, и можно продавать программу ритейлерам :)

Спасибо

Спасибо, доступно и интересно!

Очень интересна тема агентов, но не пойму с чего начать

а есть видео с обзором ламы 3.1? очень интересно о запуске старших версий на сервере. Я не особо разбираюсь в этом, но очень интересно почему такие цены на генерацию? :)

Благодарю, чудесно!

Добрый день, при выстроении графика выдает ошибку OSError: 'seaborn-whitegrid' is not a valid package style, path of style file, URL of style file, or library style name (library styles are listed in `style.available`) Не могли б вы подсказать как ее пофиксить?

Очень интересно. Хочется всё это повторить, но... Андрей, можете дать ссылку на этот Ваш Блокнот, чтобы не спеша и вдумчиво прикоснуться к магии Автогена?

Благодарю Андрей, очень интересно )

Добавлю как юрист. Даже не думайте задавать ему вопросы на юридические темы, ибо там такие ответы порой выдает ))) От выдуманных определений Верховных судов, до откровенной ерунды )

Благодарю вас!

Как с вами можно связаться? Не могу найти вас в телеграмме

А как боту добавить аву?

Спасибо за прекрасную лекцию. Спустя 8 месяцев действительно многое поменялось, в том числе свершился массовый переход в сторону мультимодальных моделей, например GPT-4o. Скорость прогресса захватывающая, тут уж действительно нужно держать нос по ветру.

Как с вами связаться? Вы сказали в видео, что укажете почту, но её не нашёл.

Speed Demon💀

спасибо, очень интересно

Добрый день. Как с вами связаться?

Про автоагента интересно: какая задача и какой промтинг использовали (наверняка CoT который не работает по сути, но он к сожалению везде в популярных либах типа AutoGPT). Интересна метрика, которую вы сами себе придумали, чтобы понимать когда делать стоп агента когда он уже ушел в дебри чепухи и просто тратит ваши деньги

Для RAG экономика не совсем так считается: тк контекста почти всегда для бизнес-решений не будет хватать, даже 128к и 2м (если вдруг Гемини даст) - то там архитектура решения как минимум состоит из модели-эмбеддера (которая тоже требует GPU) + гибридного поиска + самой финальной LLM. То есть там дороже будет

Спасибо за информацию. А я хотел поднять у себя ламу 3, на 70 млрд параметров, для своего домашнего проектика. Думал что и из оперативки нормально будет работать. Поставил 64 Гб. Стало быстрее, чем из свопа, конечно, но всё равно слишком медленно. Может секунд по 20 - 30 генерировать одно предложение. Хочется чтобы всё было локально. У меня как раз 4090 простаивает. Заметил что если модель не сильно вылазит за пределы памяти видеокарты, то скорость генерации, остаётся более чем сносной. Попробовать, что-ли, поюзать квантированную намертво, самую маленькую... Но то что выдаёт лама 3, на 8 млрд параметров, меня совсем не устраивает. Очень она потерянная какая-то. Вдруг будет лучше.

Спасибо! Очень понятно и интересно. Начал погружаться в область LLM, так как планируется реализация проекта по разработке с использованием LLM. После этого видео сложилось уверенное понимание.

Спасибо за интересный обзор с примерами! Просьба на будущее - при подготовке презентаций учитывайте вставку видео с Вами. Иногда этот экран перекрывает информацию на слайде. Успехов Вам!

Подскажите пожалуйста, как удалять папки с Jupyter Notebook, которые я сама создала? Файлы без проблем удаляются, а при удалении папки - ошибку выдает.

Отличная лекция. Подскажите как попроще собрать локальную модель которую можно дообучить на наборе своих файлов ( вы приводили пример с Ночным дозором ).

спасибо большое, у меня всё получилось, очень помогли, всё понятно))))

Спасибо за последовательность

А куда писать запрос на блокнот с кодом?!

Топ контент! Спасибо за видео

Как редко встречается такая хорошая подача и изложение материала.

Андрей, спасибо! я нашел кое что для себя ) и что самое интересное эта инфа опережающая событие! это просто ломает любого инфоцигана! на корню ) буду ждать еще и еще и вижу куда все это ведет) кстати думаю Вам будет интересно) я начал с Азиатских роликов потом западные и пришел к вам так как они все ссылаются друг на друга очень лестно отзываются о ваших методах с LLM )

pls share code

Классный обзор! Спасибо за то, что щедро делитесь своими глубокими знаниями! Успехов в развитии канала!

Вы святой человек. Невероятно понятно и нужно. Спасибо!

Говоря простым языком, "языковая модель" обучается, а точнее настраивается путем заданного следования (подбора) слов в определённом контексте. По сути это установление ассоциативных и корреляционных связей между словами. Работа такой модели "с наружи" кажется интеллектуальной, а "изнутри" не совсем так. Проблема в том, что "обученная" по такой технологии модель не всегда способна делать правильные логические заключения и строить гипотезы. Человек когда думает и принимает решение, то он НЕ оперирует словами. Языковые модели (роботы) могут с успехом использоваться в конкретных приложениях на словарной базе которых строилось их обучение. Питать же особых иллюзий на их универсальные возможности и всемогущество пока преждевременно.

Бялть, крутой дед.

Спасибо! Снимаю шляпу.

не обижайтесь, пожалуйста, на бесполезный комментарий. просто хотел Вас поблагодарить за ваши труды. очень многое для себя подчеркнул. 🎉