ЛУЧШЕ скачать LM Studio. Выглядит красивее. Есть встроенный поиск и установка моделей(в поиске есть функция поиска моделий подходящих под пк). Всё сразу из коробки. Никаких команд для установки не нужно надо только скачать с официального сайта установщик, а он в свою очередь всё сам сделает. Можно прикреплять файлы и изображения. Даже русский язык интерфейса есть. Просто зачем эта куча заморочки которая показана в видео?
Спасибо за наводку поищу. С критикой полностью согласен. Жаль не нашёл на Ютубе Пока нормальных видео. В трендах выдаёт вот такой бред. Такие люди наверное хотят показать какие они крутые программисты. Напоминает операцию на глазах через анус. Открываем консоль терминал и чтобы было ещё круче машинный код.
на 100% согласен с вами. Единственное ограничение у локальных LLM - мощность железа / пробовал за последние полгода несколько раз на своем задохлике 4-х ядерном 5 летнем без видеокарты = жалкое зрелище 😄 / особенно после супер реактивного и бесплатного GROQ / кстати они добавили модель для распознавания изображения LLAVA
@@romanbolgar Ещё есть GPT4ALL. Программа по проще, но всё равно удобная. Есть встроенный поиск моделей, но без автоматического подбора под пк, но при этом около каждой модели написаны рекомендуемые системные требования. Пока нет русского языка интерфейса. А так в целом тоже хорошая программа.
Абсолютно согласен + бонусом получается гавно, которое либо хреново говорит на русском и не даёт те ответы, которые ты хочешь или вообще не говорит на русском...... Зачем такая заморочь ?
Круто, Начал смотреть второе твоё вдиео, очень рад что у нас появился новый техноблогер про ноукод. Благодарен за то что ты делаешь. Контент пушка! продолжай пилить =) Кому непонятно смотрите повторно =)
А чем такое решение лучше LM studio? Я пока в нем вижу кучу минусов и ни одного плюса. Зависимость от внешних сервисов с регистрацией, необходимость в докере, который сожрет дополнительные ресурсы компа, излишняя замороченность в установке и настройке.
Три недели назад был ролик про установку ламмы локально через докер и прочие приложения Ролик классный, но покажите, пожалуйста, как установить ламму через vs code
Может ли кто то подсказать тут. Поставил на локальный сервак Ollama с phi3. С консоли задавая вопросы текущей модели или через API получаю довольно быстро ответы. Но как можно дообучть уже поставленную модель, кто подскажет с помощью файлов DOC или PDF (именно локальную базу так как документы могут хранить конф. информацию) ? Я например поставил AnythingLLM но это не то, что нужно. Так как надо обращаться через AnythingLLM а не напрямую к Ollama
У меня при установке через терминал была ошибка: " npm error enoent ENOENT: no such file or directory, lstat 'C:\Users\user_name\AppData\Roaming pm' " Решение: перешёл по пути 'C:\Users\user_name\AppData\Roaming' и создал там папку npm Затем снова ввёл команду и всё установилось Нужно, чтобы показывались скрытые файлы и папки, иначе не найдёте эту директорию
Посмотрел целиком. Сам пример общения с пдф файлом через такие костыли выглядит как открыванте пива жопой и совсем не понятно, какие преимущества такой способ дает.. в каком месте это лучше и более фкнкционально чем использовать для этого иное любое готовое решение.
14:38 хахах типичный мак юзер, которому 8гб оперативки хватает на всё: своп там задыхается аж на еще 8гб строчкой ниже, тем временем типичный мак юзер: ну израсходовано у меня всего лишь 7.4гб из 8, значит все отлично еще дофига оперативки свободной 😀
Хрень если честно. Даже мне скучно стало, Я 95% роликов на ютуб просматриваю ДО КОНЦА. У меня своего рода есть лайфхак. Я смотрю в ускорении 2.5х, ну или 2.75х... и даже тут не захотел всё смотрел скипнул на середине... ну из ролика видно что тут разные клауды (облака), БД в облаке это нефига не локалка. С таким успехом можно сказать что чатГПТ локально работает =))) И ещё нагружаем 8 Гб оперативки. Не поймите меня неправильно у меня 64 Гб. 8 ядер - 16 потоков мне нравятся нейронки, но то что показано нефига не локальная фигня
Правильно ди я понимаю, что можно таким образом создать агента, который будет оперировать только пуллом информации, которую вы в него загрузите. К примеру, отвечаит на вопросы по конкретной книге, дейсвительно черпая содержание ответов из материала, а не с потолка?
Это так называемое rag-система. проще всего это ollama + gpt4all. полностью локальные системы. все делается через интерфейс мышкой. gpt4all умеет читать pdf и другие типы текстовых файлов. встроенная векторная бд. В общем намного проще. А в видео показана система для создания ии агентов. Пример простой но суть ии агентов в том что их может быть много. Они общаются между собой, у каждого агента своя роль. Кто то ищет, кто-то отвечает, кто-то проверяет, кто-то оформляет. Короче для вашего запроса n8n оверкилл. Начните с gpt4all.
Всё это в любой момент посыпется, как карточный домик из-за сложной технологической цепочки внешних API сервисов. Жаль, а я думал и правда локальная будет реализация, а оказалось просто кликбейт
Можно все развернуть локально, но увы, автор не потрудился этим заняться. Гугл драйв нужен лишь, чтобы внешние сервисы могли векторизировать данные, а это в целом делается довольно просто и локально, при помощи отдельных запущенных моделей. Так же и с эмбедингами. Как мы это сделали, мы получили векторную базу, можно при помощи эластика или других инструментов обращаться к нашей базе. А дальше это промпт инженеринг и actions. Все. Делается сложнее и больнее. Сразу скажу, в таком случае и при большом объеме данных, вы сильно потеряете в производительности и минимум 16GB VRAM будет съедено, от чего требуется от 32GB VRAM. Модель туповата, а более требовательные запустить будет трудно, разве у вас не мак c 128GB unified memory. Сейчас в процессе обучения llama3.1 8b, в целом это хорошо, если вам нужно впихнуть конкретные знания, что не меняются со временем, ибо это процесс не легкий и крайне затратный по ресурсам. Ну и не для новичков конечно же. Если уж вам будет очень интересно всем, могу написать статью на хабр или же снять ролик, но ничего не обещаю
А есть идейка, делай 2-й канал, Лайв канал, туда стримы и вот Игоряша может на тестах что то залить, или когда что то информативное, долгое. Отсюда кто то прийдет туда и тот канал тебе подкинет сюда людей. Извини если оставил тебя без отпуска )
А для людей с пейсами можно снять видео, в котором будет инструкция как все необходимые сервисы AI развернуть на своём локальном сервере, чтобы ни кому и ни за какие API не платить?😁
@@ЕвгенийФедулов-с6р 1. Инференс производится ядрами GPU. 2. Ядра GPU могут работать только с VRAM (доступ 10 - 100 нс, на скорости 200 - 1000 ГБ/сек) 3. Данные в VRAM попадают из RAM (доступ 50 -200 нс, на скорости 20-100 ГБ/сек). 4. Данные из SWAP попадают в RAM, только тогда, когда CPU обращается к странице памяти, а она помечена как выгруженная (доступ 100 000 нс, на скорости 16ГБ/сек для NVME PCIe Gen4). Грубо говоря, чтобы произошел инференс когда часть модели находится в файле подкачки, то вместо 10 нс может потребоваться подождать каких-то 110 000 нс. Разница на 4 порядка. И даже не важно будет использоваться Resizable BAR, Unified Memory в CUDA, DirectStorage, Memory Paging в Vulkan/OpenGL или AMD Smart Access Memory. Все эти методы ограничены самими технологиями доступа к памяти.
Спасибо, это конечно все здорово, но ванклик интереснее, то есть чтобы установить локально ИИ, просто скачав и установив один файл, если такие сервисы есть, пожалуйста дайте знать))❤
У меня с трудом загрузилась LM , потом сразу предложило обновление и на этом все , ни каких моделей мне не даёт, может из за скорости энтернета это может быть такое
Просто опишу как это должно быть в идальном мире. 1) Скачал архивы. 2 ) выключил интернет. 3) Запустил инсталер. 4) После установки отрывается чат на русском языке (опция выбрать язык). 5) Если надо включил интернет, дал любую ссылку парсер сам сделал токены. Внес в предварительную базу. Почему не сразу в свою базу потому, что мусора в сети много. 6) Если комуто нужен конструтор для подключения сервисов API и.т.д. оплатили скачали архив все оно дальше само спросит нужно это подключить ок. 😊
а для чего это все? не очень понимаю, типо настраиваешь своего ии бота, а кто его использовать будет и дальше что? я просто все пытаюсь понять как на этом всем можно какойто бизнес построить и пока что вижу видос а в голове шипящий телик :DDD
Настрой локально, оберни в докер, залей в облако как сервис. Если ты про то как свою игрушку превратить в сервис в инете конечно. Еще можешь сделать агентов чисто локальных в заведениях там всяких.
Боже как всё просто. Чем дальше тем проще. Это какой-то квест. Это не установка. Наверное дядя не застал в те времена когда были старые добрые экзешники. Там достаточно было одного клика чтобы программа установить. А здесь зайти туда зайти на Google Диск там включить там подключить Там взять ключ... Я думаю 20 минут не предел. Дальше наверное установку ещё больше упростят до часа. Мир Идиократии во всей красе. Не устану повторять сапожники без сапог. Собрать в экзешник программисты не могут. Вот уж действительно ловкот
@@Artem_Cel не надо мне такую кучу. Ещё и квест найти это в телеграме. Раньше давали просто ссылку на скачивание экзешника. И всё! Программа могла нормально работать при запуске без всяких танцев с бубнами
⭐⭐⭐ ПОЛЕЗНЫЕ ССЫЛКИ ИЗ РОЛИКА - mnlp.cc/mini?domain=how2ai&id=8
ссылка не рабочая ((
Если приходится задействовать гугл-консоль, Pinecone или еще кого-то на сороне, то это уже как бы выходит за рамки локального решения.
Ничего не понятно, но очень интересно....
ЛУЧШЕ скачать LM Studio. Выглядит красивее. Есть встроенный поиск и установка моделей(в поиске есть функция поиска моделий подходящих под пк). Всё сразу из коробки. Никаких команд для установки не нужно надо только скачать с официального сайта установщик, а он в свою очередь всё сам сделает. Можно прикреплять файлы и изображения. Даже русский язык интерфейса есть. Просто зачем эта куча заморочки которая показана в видео?
Спасибо за наводку поищу. С критикой полностью согласен. Жаль не нашёл на Ютубе Пока нормальных видео. В трендах выдаёт вот такой бред. Такие люди наверное хотят показать какие они крутые программисты. Напоминает операцию на глазах через анус. Открываем консоль терминал и чтобы было ещё круче машинный код.
на 100% согласен с вами. Единственное ограничение у локальных LLM - мощность железа / пробовал за последние полгода несколько раз на своем задохлике 4-х ядерном 5 летнем без видеокарты = жалкое зрелище 😄 / особенно после супер реактивного и бесплатного GROQ / кстати они добавили модель для распознавания изображения LLAVA
@@romanbolgar Ещё есть GPT4ALL. Программа по проще, но всё равно удобная. Есть встроенный поиск моделей, но без автоматического подбора под пк, но при этом около каждой модели написаны рекомендуемые системные требования. Пока нет русского языка интерфейса. А так в целом тоже хорошая программа.
Абсолютно согласен + бонусом получается гавно, которое либо хреново говорит на русском и не даёт те ответы, которые ты хочешь или вообще не говорит на русском...... Зачем такая заморочь ?
Владельцы мака легких решений не ищут 😂
Только что хотел найти подобное видео, и мне в реках выдало этот видос, видимо ютуб прочитал мои мысли, спасибо за видео!
Круто, Начал смотреть второе твоё вдиео, очень рад что у нас появился новый техноблогер про ноукод. Благодарен за то что ты делаешь. Контент пушка! продолжай пилить =) Кому непонятно смотрите повторно =)
Он просто скипает в гайде самые важные аспекты при настройки платформы, просто на кайфе чел
прекрасТно - лайк подписка бро
перспективное решение. особенно для малого бизнеса работающего с большой товарной номенклатурой или иными вариантами больших массивов инфы
Спасибо, интересно!
Ничего не понятно, но очень интересно😊
Бро, по больше видео о n8n
Мега полезно!
Зашёл посмотреть локальное решение всё-таки. Было бы интересно посмотреть про всю локальную обвязку
Спасибо. Интересно. Пользоваться я этим, конечно же, не буду. Ибо так заморачиваться, когда есть тот же make, смысла нет.
А чем такое решение лучше LM studio? Я пока в нем вижу кучу минусов и ни одного плюса. Зависимость от внешних сервисов с регистрацией, необходимость в докере, который сожрет дополнительные ресурсы компа, излишняя замороченность в установке и настройке.
Класс, надо будет на выходных поиграться )
Локалочки - будущее )
ЛоКалОчки вот такие
ЛоКалОчки вот такие
Три недели назад был ролик про установку ламмы локально через докер и прочие приложения
Ролик классный, но покажите, пожалуйста, как установить ламму через vs code
почему так мало подписчиков у этих усов? дельное дело говоришь
Топ ❤
Может ли кто то подсказать тут. Поставил на локальный сервак Ollama с phi3. С консоли задавая вопросы текущей модели или через API получаю довольно быстро ответы. Но как можно дообучть уже поставленную модель, кто подскажет с помощью файлов DOC или PDF (именно локальную базу так как документы могут хранить конф. информацию) ? Я например поставил AnythingLLM но это не то, что нужно. Так как надо обращаться через AnythingLLM а не напрямую к Ollama
Нашел ответ на вопрос?
@daniilsinitca1031 к сожалению пока не удалось
У меня при установке через терминал была ошибка:
" npm error enoent ENOENT: no such file or directory, lstat 'C:\Users\user_name\AppData\Roaming
pm' "
Решение: перешёл по пути 'C:\Users\user_name\AppData\Roaming' и создал там папку npm
Затем снова ввёл команду и всё установилось
Нужно, чтобы показывались скрытые файлы и папки, иначе не найдёте эту директорию
Привет,я хочу создать ассистента но не уверен что он сможет делать то что я от него хочу можно консультацию ?
принцип чтения из бд понятен, а как обновлять в базе информацию?
Anthropic так и не смог подтянуть. У кого вышло?
Посмотрел целиком. Сам пример общения с пдф файлом через такие костыли выглядит как открыванте пива жопой и совсем не понятно, какие преимущества такой способ дает.. в каком месте это лучше и более фкнкционально чем использовать для этого иное любое готовое решение.
спасибо
А не с гуглом работать будет? И какие аналоги есть ( гугл дока(?
Заместо Pinecone что то локальное можно использовать?
quadrant
@@ProdAdvice спасибо!🤝
Вчера после того как задал вопрос заплексил сам и тоже остановился на нем😄
14:38 хахах типичный мак юзер, которому 8гб оперативки хватает на всё: своп там задыхается аж на еще 8гб строчкой ниже, тем временем типичный мак юзер: ну израсходовано у меня всего лишь 7.4гб из 8, значит все отлично еще дофига оперативки свободной 😀
Хрень если честно. Даже мне скучно стало, Я 95% роликов на ютуб просматриваю ДО КОНЦА. У меня своего рода есть лайфхак. Я смотрю в ускорении 2.5х, ну или 2.75х... и даже тут не захотел всё смотрел скипнул на середине... ну из ролика видно что тут разные клауды (облака), БД в облаке это нефига не локалка. С таким успехом можно сказать что чатГПТ локально работает =))) И ещё нагружаем 8 Гб оперативки. Не поймите меня неправильно у меня 64 Гб. 8 ядер - 16 потоков мне нравятся нейронки, но то что показано нефига не локальная фигня
круто классно Но "научим работать с файлами" 0:10 эм где ?
Пролистал видео и комменты. Твой коммент всё объяснил видео закрываем.
Спасибо.
Сними пожалуйста видео с Маке, как это делать
Я нашел сходство, ваше имя и фамилия очень схожи с таким ютубером Quantum games, его зовут Даниил Гаврилов😅
Правильно ди я понимаю, что можно таким образом создать агента, который будет оперировать только пуллом информации, которую вы в него загрузите. К примеру, отвечаит на вопросы по конкретной книге, дейсвительно черпая содержание ответов из материала, а не с потолка?
Все так. Это можно и в любом сервисе от опенаи до перплексити сделать
Это так называемое rag-система. проще всего это ollama + gpt4all. полностью локальные системы. все делается через интерфейс мышкой. gpt4all умеет читать pdf и другие типы текстовых файлов. встроенная векторная бд.
В общем намного проще. А в видео показана система для создания ии агентов. Пример простой но суть ии агентов в том что их может быть много. Они общаются между собой, у каждого агента своя роль. Кто то ищет, кто-то отвечает, кто-то проверяет, кто-то оформляет. Короче для вашего запроса n8n оверкилл. Начните с gpt4all.
Всё это в любой момент посыпется, как карточный домик из-за сложной технологической цепочки внешних API сервисов.
Жаль, а я думал и правда локальная будет реализация, а оказалось просто кликбейт
Можно все развернуть локально, но увы, автор не потрудился этим заняться.
Гугл драйв нужен лишь, чтобы внешние сервисы могли векторизировать данные, а это в целом делается довольно просто и локально, при помощи отдельных запущенных моделей. Так же и с эмбедингами.
Как мы это сделали, мы получили векторную базу, можно при помощи эластика или других инструментов обращаться к нашей базе.
А дальше это промпт инженеринг и actions. Все.
Делается сложнее и больнее. Сразу скажу, в таком случае и при большом объеме данных, вы сильно потеряете в производительности и минимум 16GB VRAM будет съедено, от чего требуется от 32GB VRAM.
Модель туповата, а более требовательные запустить будет трудно, разве у вас не мак c 128GB unified memory.
Сейчас в процессе обучения llama3.1 8b, в целом это хорошо, если вам нужно впихнуть конкретные знания, что не меняются со временем, ибо это процесс не легкий и крайне затратный по ресурсам. Ну и не для новичков конечно же.
Если уж вам будет очень интересно всем, могу написать статью на хабр или же снять ролик, но ничего не обещаю
в N8N я так понял нельзя привязать синтез речи по API. чисто агенты текстовые.
Можно запросто
Оаусф 😂
А есть идейка, делай 2-й канал, Лайв канал, туда стримы и вот Игоряша может на тестах что то залить, или когда что то информативное, долгое.
Отсюда кто то прийдет туда и тот канал тебе подкинет сюда людей.
Извини если оставил тебя без отпуска )
Поиграть на укулеле тоже можно )
n8n вообще не локальный, у него бесплатный период около недели. Но n8n конечно бомбический, это лучшее что я пробовал за долгое время
подождите..... его локально можно юзать?! Щиеееет
А для людей с пейсами можно снять видео, в котором будет инструкция как все необходимые сервисы AI развернуть на своём локальном сервере, чтобы ни кому и ни за какие API не платить?😁
А можно подключить SSD и использовать его как файл подкачки, чтобы запускать гораздо более мощные модели!🎉🎉🎉
Как это сделать?
только вот скорость инференса снизится в десятки раз. готовы ждать очередное слово около минуты ?
@@vifvrTtb0vmFtbyrM_Q посмотри видео по этому вопросу: всё нормально работает
@user-mt7jb8kx8u ссылка видео обрадует много людей 😁🙏
@@ЕвгенийФедулов-с6р
1. Инференс производится ядрами GPU.
2. Ядра GPU могут работать только с VRAM (доступ 10 - 100 нс, на скорости 200 - 1000 ГБ/сек)
3. Данные в VRAM попадают из RAM (доступ 50 -200 нс, на скорости 20-100 ГБ/сек).
4. Данные из SWAP попадают в RAM, только тогда, когда CPU обращается к странице памяти, а она помечена как выгруженная (доступ 100 000 нс, на скорости 16ГБ/сек для NVME PCIe Gen4).
Грубо говоря, чтобы произошел инференс когда часть модели находится в файле подкачки, то вместо 10 нс может потребоваться подождать каких-то 110 000 нс.
Разница на 4 порядка. И даже не важно будет использоваться Resizable BAR, Unified Memory в CUDA, DirectStorage, Memory Paging в Vulkan/OpenGL или AMD Smart Access Memory. Все эти методы ограничены самими технологиями доступа к памяти.
Спасибо, это конечно все здорово, но ванклик интереснее, то есть чтобы установить локально ИИ, просто скачав и установив один файл, если такие сервисы есть, пожалуйста дайте знать))❤
LMStudio
@@IvanKoman-gd7jl почитал комменты, принял-понял! Спасибо
У меня с трудом загрузилась LM , потом сразу предложило обновление и на этом все , ни каких моделей мне не даёт, может из за скорости энтернета это может быть такое
Просто опишу как это должно быть в идальном мире.
1) Скачал архивы.
2 ) выключил интернет.
3) Запустил инсталер.
4) После установки отрывается чат на русском языке (опция выбрать язык).
5) Если надо включил интернет, дал любую ссылку парсер сам сделал токены. Внес в предварительную базу.
Почему не сразу в свою базу потому, что мусора в сети много.
6) Если комуто нужен конструтор для подключения сервисов API и.т.д. оплатили скачали архив все оно дальше само спросит нужно это подключить ок. 😊
А можно было ссылки и тут в закрепе оставить ... и вроде ребята писали уже, себя можно по меньше сделать? пол экрана лицо...
Есть ии где по референсам рисует?
Опа, "зiбров" в молодости
Google Cloud работает из России?
Нет)
а зкчем всё это ???
Локально - означает, что решение не требует доступа в интернет.
а для чего это все? не очень понимаю, типо настраиваешь своего ии бота, а кто его использовать будет и дальше что? я просто все пытаюсь понять как на этом всем можно какойто бизнес построить и пока что вижу видос а в голове шипящий телик :DDD
Настрой локально, оберни в докер, залей в облако как сервис. Если ты про то как свою игрушку превратить в сервис в инете конечно. Еще можешь сделать агентов чисто локальных в заведениях там всяких.
@@DmitryPesegov и с этого можно както денежку лутать?)
@@luckybeard9159это уже предпринимательский вопрос. Кому-то дано кому-то не очень😅
@@luckybeard9159 Мы делали бота по базе знаний для SaaS проекта. База знаний былы у них раньше в Zen теперь еще и бот отвечает на вопросы
17:28 он показывает 3.8 B
у кого засада с подключением гугл аутентификации на канале н8н есть более внятный мануал
Ебень не мог просто в описани выложить ссылку на гитхаб, без ебучего телеграмм)
Зачем ты вообще свое лицо в гайды вставляешь, просили же убрать
На быдло
Боже как всё просто. Чем дальше тем проще. Это какой-то квест. Это не установка. Наверное дядя не застал в те времена когда были старые добрые экзешники. Там достаточно было одного клика чтобы программа установить. А здесь зайти туда зайти на Google Диск там включить там подключить Там взять ключ... Я думаю 20 минут не предел. Дальше наверное установку ещё больше упростят до часа. Мир Идиократии во всей красе. Не устану повторять сапожники без сапог. Собрать в экзешник программисты не могут. Вот уж действительно ловкот
Так вам дали кучу сервисов готовых, ботов в тг и приложениях типа ноушена, пользуйтесь))
Удали этот кринж
@@Artem_Cel не надо мне такую кучу. Ещё и квест найти это в телеграме. Раньше давали просто ссылку на скачивание экзешника. И всё! Программа могла нормально работать при запуске без всяких танцев с бубнами
@@malloquin В смысле?
создавай ИИ агентом и просирай бабки на API запросы
А без этого ссаного телеграмма никак??????????