Если вы используете небольшую модель, то это может работать и на не слишком мощном оборудовании, но ситуация меняется, когда вы хотите запустить большую модель. Вот больше информации: llamaimodel.com/requirements/.
Here is a short greeting to your friends on the New Year's Eve 2024 in Russian: "Дорогие друзья! (Dorogoie druzhi!) В новом году я хотела бы пожелать вам всего лучшего, но я не люблю чаять. Следовательно, мы не будем делиться желаниями, а просто посидим и ждаем drum roll'а... (Dolgoe zhitie! Sleduyem i zhdayem drumb-roll...) Поскольку, как гласит Философы-стоики: "Всего самое лучшее в жизни - это не уйти на смену прошлому, а оставаться в нем". (Vsego mosta luzhshogo v zhizni - to ne utorzhestvovat na smenu proshlogo, a ostavlyvat v nem). Следовательно, давайте посидим и посмотрим, как заканчивается год. Давайте не будем ожиать ничего больше, чем мы имеем. (Sledovye ne budem ozhidat nuzhdoe, chem mene). Поздравляем вас с ХХII-X (XXII) годом нашего долгого и скромного existencea."
LM Studio с AMD RX 7900 работать будет, но тут есть нюансы. AMD в нейросетях пока отстаёт из-за слабой поддержки фреймворков типа PyTorch или TensorFlow. Если разработчики добавили поддержку ROCm (аналог CUDA от AMD), то всё будет работать. Лучше уточнить у разработчиков или на форуме LM Studio, поддерживается ли конкретная карта.
Я бы с удовольствием узнал больше о любом из этих проектов, но если выбирать: Создание видеоигры: Интересно было бы узнать о концепции игры, особенно если она уникальная или включает интересные механики. Это отличный способ сочетать креативность и программирование. Создание веб-страницы: Любопытно, какой проект вы планируете - что-то связанное с дизайном, интерактивностью или даже интеграцией AI? Программирование устройства ESP32: Это очень увлекательно, особенно если проект связан с IoT или какими-то реальными приложениями (например, управление устройствами, датчики или 3D-позиционирование). Какой бы проект вы ни выбрали, это будет интересно! 🙂
@@geekatplay-ru Cпасибо за Ваш оперативный ответ! Вы просто классный! Более интересно было бы создание веб-страницы. Но есть еще одна безумная идея - создание рабочего места риэлтора - продажа/ покупка недвижимости.
@@geekatplay-ru lm studio проще не куда. Это тоже графическая оболочка, без всяких танцев с бубном. Единственное требование -это железо, как и во всех LLM, кстати. Так что ставьте студию и не парьтесь
Эти маленькие модельки нужно только для обеспечения приватности и коммерческой тайны. А так то они гораздо тупее чем большие модели (Мистраль LeChat, СhatGPT4, Claude, Grok). Я пользуюсь последними, хоть и с лимитами. Только задачу разбиваю на части так, что мало кто с той стороны сможет использовать мои наработки.
Спасибо за ваше мнение! Да, маленькие модели действительно часто уступают большим в мощности и универсальности, но их преимущество - автономность, приватность и кастомизация под конкретные задачи. Вы нашли отличный подход - разбивать задачи на части для повышения безопасности. Это хороший баланс между возможностями больших моделей и сохранением конфиденциальности. 👍
на процессоре нормаль даже работает, оперативки для них много надо, только это беспонтовая нейронка, в лм студио поскачивай разные посмотри какая под твои задачи лучше подойдет
Модели LLaMA (Large Language Model Meta AI) изначально не имеют доступа к интернету. Они разработаны как автономные системы и работают только на основе знаний и данных, на которых были обучены, без встроенной возможности получать или взаимодействовать с веб-контентом в реальном времени. Однако вы можете расширить возможности модели LLaMA, добавив доступ к интернету следующими способами: Пользовательская интеграция: Разработчики могут добавить функциональность веб-скрейпинга или вызовов API в приложения, использующие LLaMA. Это потребует написания дополнительного кода для связи между моделью и интернетом. Специально обученные версии: Некоторые сторонние версии LLaMA или её производных могут включать плагины или расширения, позволяющие взаимодействовать с веб-контентом, но это зависит от конкретной реализации. Сочетание с другими системами: LLaMA можно использовать совместно с инструментами, такими как LangChain, которые предоставляют модульные фреймворки для выполнения задач, включая доступ к интернету.
Да, вы можете использовать Docker на системе NAS (сетевое хранилище данных). Многие популярные бренды NAS, такие как Synology и QNAP, предоставляют встроенную поддержку для запуска Docker-контейнеров. Это позволяет развёртывать различные приложения прямо на NAS, используя возможности контейнеризации Docker.
LM Studio универсальнее, больше разнообразных моделей, кроме различных версий Llama есть еще и Yi Coder, Qwen2.5 Coder, просто Qwen2.5, InternLM, LLaVA v1.5, Mathstral 7B, Gemma 2, Phi 3.1 и много чего разного, в том числе и доработанные модели, не официальные.
Согласен, LM Studio действительно предлагает больше разнообразия моделей, что делает его универсальнее. Наличие таких моделей, как Yi Coder, Qwen2.5 и других, включая доработанные версии, открывает больше возможностей для пользователей. Это особенно полезно для тех, кто ищет что-то специфическое под свои задачи.
@@geekatplay-ru ну после того как попробуете, пересмотрите это своё видео, если не захочется его удалить, то вы странный)) а то ламу 3.2 называете мощной...стыдоба ейюогу
Я понимаю ваш энтузиазм по поводу LM Studio, однако это всего лишь UI-оболочка для работы с моделями ИИ, поддерживающая Llama 3.2, Mistral, Phi, Gemma, DeepSeek, Qwen 2.5; OLlama - это другая UI-оболочка, и на данный момент у Llama 3.2 больше доступных узлов, чем у других моделей, с использованием оптимизированного трансформера; подробнее читайте здесь: ai.meta.com/blog/meta-llama-3-1/ ; каждая модель имеет свои плюсы и минусы, но LM Studio - это только оболочка и модуль управления моделями, а не сама модель или ИИ; извините, если это вас разочаровало. Llama 3.2 универсальна и мощна для общих задач, Mistral эффективна для легких приложений, Phi превосходит в программировании и логике, Gemma отлично подходит для креативного письма, DeepSeek идеальна для извлечения данных, а Qwen 2.5 сбалансирована, но больше ориентирована на специализированные задачи.
@@geekatplay-ru конечно оболочка, это не нейросеть, и она гораздо удобнее, чем тот ужас о котором вы говорили в видео. Список не верный у вас, доступно там всё что есть в формате gguf, а на хагингфейсе их много. Ллама та о которой вы говорили вообще ниочём, даже саммери из текста криво делает, не говоря уже о сложных задачах. Да и пишет с ошибками. На фоне полностью бесплатного мистраля large, даже через апи, лама ниочём абсолютно. Пхи быстрая, но глупенькая, её бы доучить и хороша была, deepseek code неплох и в текст и в код, лучшее пока что тестировал из опенсорса. Гема похуже, но можно использовать.Кквин с русским языком не ладит и вообще единственный из этого списка бесполезнее лламы
Я понимаю, что вы можете задаться вопросом, знаю ли я, о чём говорю. Вот моя страница на LinkedIn с указанием моей экспертизы www.linkedin.com/in/geekatplay/ . Мой последний проект заключался в программировании системы выравнивания антенн на спутниках. Также я занимаюсь программированием для удовольствия в свободное время, участвую в open-source проектах. Вот видео устройства, использующего ESP32 и множество дополнительных модулей для расчёта в реальном времени абсолютного позиционирования в 3D пространстве с учётом наклонов, ускорений и так далее, примерно 100 раз в секунду с визуальным отображением. ruclips.net/user/shortsnex95BvpIMQ . А теперь, что вы сделали?
@@geekatplay-ru я занимаюсь квантовым трейденгом, конкретно бекстеком и написанием ботов для бирж. Часто использую ИИ, и llama довольно всратая штука, не понимаю зачем его пиарят как альтернативу.
На самом деле не совсем корректно сравнивать таких гигантов как чат Gpt и локально установленные модели - но тут есть нюанс - а именно , смотря для чего вы используете эти модели - локально установленные вы можете полностью под себя модернизировать и дообучать, Для ролевых игр - полностью настроить под себя модель и ее цензуру или убрать ее вовсе. Для создания агентов - тоже быстрее и надежнее делать с локально установленными моделями чем с теми доступ к которым у вас только по платному Api, в общем много чего еще можно добавить - но повторюсь тут речь не идет о полной замене а лишь о том что их так же можно использовать
Sorry, но это всё такая фигня и мышиная возня. Установите себе LM Studio и не парьтесь. Скачивайте и используйте все самые новые, свежие и вообще любые LLM'ки одним кликом в нормальном интерфейсе и с любыми настройками.
С этим можно работать разными способами, и предоставление альтернативного варианта может быть удобнее для некоторых людей. Не всё обязательно делать «под копирку».
![BLACK BAG - Official Trailer [HD] - Only in Theaters March 14](http://i.ytimg.com/vi/Du0Xp8WX_7I/mqdefault.jpg)
как приятно вас слушать, включаю ваши видео просто чтобы поднять настроение а еще и контент такой полезный и актуальный
Спасибо за видео! Подскажите, пожалуйста, требования к железу для установки этого ИИ на свой ПК.
Чем лучше железа лучше будет работать чат на маем железе i5 12600 c GPU 3080 работает моментально
Наверно лучше попробовать
Если вы используете небольшую модель, то это может работать и на не слишком мощном оборудовании, но ситуация меняется, когда вы хотите запустить большую модель. Вот больше информации: llamaimodel.com/requirements/.
@@Roger-c2j попробуй LLAMA 3.3, у меня на запрос "Привет" думает полчаса и сжирает всю оперативу. 5800X, 3060ti, 64Gb ddr4 3200
@@zmirk может потому что она целиком не помещается в оперативку?
Here is a short greeting to your friends on the New Year's Eve 2024 in Russian:
"Дорогие друзья! (Dorogoie druzhi!) В новом году я хотела бы пожелать вам всего лучшего, но я не люблю чаять. Следовательно, мы не будем делиться желаниями, а просто посидим и ждаем drum roll'а... (Dolgoe zhitie! Sleduyem i zhdayem drumb-roll...) Поскольку, как гласит Философы-стоики: "Всего самое лучшее в жизни - это не уйти на смену прошлому, а оставаться в нем". (Vsego mosta luzhshogo v zhizni - to ne utorzhestvovat na smenu proshlogo, a ostavlyvat v nem). Следовательно, давайте посидим и посмотрим, как заканчивается год. Давайте не будем ожиать ничего больше, чем мы имеем. (Sledovye ne budem ozhidat nuzhdoe, chem mene). Поздравляем вас с ХХII-X (XXII) годом нашего долгого и скромного existencea."
Thank you, brother, everything works great! Good luck and stay healthy!
Thank you for your support!
Спасибо. Очень содержательные видео у Вас. Успеха в развитии канала!))
Спасибо! 😊
А LM Studio будут работать с amd rx 7900 ? Или с amd нейронки не работают?
LM Studio с AMD RX 7900 работать будет, но тут есть нюансы. AMD в нейросетях пока отстаёт из-за слабой поддержки фреймворков типа PyTorch или TensorFlow. Если разработчики добавили поддержку ROCm (аналог CUDA от AMD), то всё будет работать. Лучше уточнить у разработчиков или на форуме LM Studio, поддерживается ли конкретная карта.
@geekatplay-ru Работает. Но модель которая 1.5 с возможностью загружать картинки выдаёт ошибку загрузки картинки
LM Studio работает с p106-100, которая полтора рубля на авито стоит.
Спасибо за полезное видео!!
thank you!
Хотелось бы побольше примеров использования! Спасибо!
Я бы с удовольствием узнал больше о любом из этих проектов, но если выбирать:
Создание видеоигры: Интересно было бы узнать о концепции игры, особенно если она уникальная или включает интересные механики. Это отличный способ сочетать креативность и программирование.
Создание веб-страницы: Любопытно, какой проект вы планируете - что-то связанное с дизайном, интерактивностью или даже интеграцией AI?
Программирование устройства ESP32: Это очень увлекательно, особенно если проект связан с IoT или какими-то реальными приложениями (например, управление устройствами, датчики или 3D-позиционирование).
Какой бы проект вы ни выбрали, это будет интересно! 🙂
@@geekatplay-ru Cпасибо за Ваш оперативный ответ! Вы просто классный! Более интересно было бы создание веб-страницы. Но есть еще одна безумная идея - создание рабочего места риэлтора - продажа/ покупка недвижимости.
Само, что прикололо это момент с " по дереву постучать". 8:22
А не проще это сделать через LM Studio? Просто установил программу и скачал нужную модель прямо из программы. ВСЕ)
Да, но Ollama предоставляет пользовательский интерфейс и более простой процесс установки для людей, не обладающих глубокими знаниями системы.
@@geekatplay-ru lm studio проще не куда. Это тоже графическая оболочка, без всяких танцев с бубном. Единственное требование -это железо, как и во всех LLM, кстати. Так что ставьте студию и не парьтесь
@@geekatplay-ru ты серьёзно? более простой процесс установки с докером?))) смешно шутишь)
Спасибо!!
Спасибо за ваш отзыв!
Спасибо за отличные уроки❤
Большое спасибо за вашу поддержку! 😊
А голосом тоже можно общаться? А анализ документов поддерживает? А режим доски? А папки для проектов, которые вчера добавили?
Хорошее предложение, собираюсь проверить это
💯✌👍
Эти маленькие модельки нужно только для обеспечения приватности и коммерческой тайны. А так то они гораздо тупее чем большие модели (Мистраль LeChat, СhatGPT4, Claude, Grok). Я пользуюсь последними, хоть и с лимитами. Только задачу разбиваю на части так, что мало кто с той стороны сможет использовать мои наработки.
Спасибо за ваше мнение! Да, маленькие модели действительно часто уступают большим в мощности и универсальности, но их преимущество - автономность, приватность и кастомизация под конкретные задачи. Вы нашли отличный подход - разбивать задачи на части для повышения безопасности. Это хороший баланс между возможностями больших моделей и сохранением конфиденциальности. 👍
Цу меня уже стоит около месяца. В комфи тоже использую
Есть ли у нее ограничение по спрашиваемым вопросам как в ГПТ ?На всели темы можно с ламой разговаривать?
Технически, в ChatGPT работают два ИИ: один отвечает на ваши вопросы, а второй мониторит ответы и цензурирует их. В LLama отсутствует ИИ для цензуры.
Спасибо и Удачи
Большое спасибо
Не не не я столько всего перепробовал но лучшее все таки это ЧатГПТ
Полностью согласен, ЧатГПТ действительно отлично справляется! 😊 Рад, что он вам помогает. Если будут вопросы или идеи - всегда рад помочь! 🙌✨
актуальное видео нужен обучаемый ии с доступом в интернет.
@@RaZvAL26 терминатор, судный день, живой мешок не нужен будет.
Какую видеокарту надо иметь чтобы с этим работать?
У меня есть RTX 3090, однако это будет работать и с видеокартой на 6 ГБ, если вы используете небольшую модель.
на процессоре нормаль даже работает, оперативки для них много надо, только это беспонтовая нейронка, в лм студио поскачивай разные посмотри какая под твои задачи лучше подойдет
Чат не имеет доступа к сети не сможет найти ничего в сети по запросу
Модели LLaMA (Large Language Model Meta AI) изначально не имеют доступа к интернету. Они разработаны как автономные системы и работают только на основе знаний и данных, на которых были обучены, без встроенной возможности получать или взаимодействовать с веб-контентом в реальном времени.
Однако вы можете расширить возможности модели LLaMA, добавив доступ к интернету следующими способами:
Пользовательская интеграция: Разработчики могут добавить функциональность веб-скрейпинга или вызовов API в приложения, использующие LLaMA. Это потребует написания дополнительного кода для связи между моделью и интернетом.
Специально обученные версии: Некоторые сторонние версии LLaMA или её производных могут включать плагины или расширения, позволяющие взаимодействовать с веб-контентом, но это зависит от конкретной реализации.
Сочетание с другими системами: LLaMA можно использовать совместно с инструментами, такими как LangChain, которые предоставляют модульные фреймворки для выполнения задач, включая доступ к интернету.
Мне когда LM Studio по удобней будет.
Это замечательный инструмент, и я рад, что он вам нравится.
Привет сосед . Тогда по идеи если запускается через Docker то по можно (это дело) LlamaGPT запустить на Synology NAS .
Да, вы можете использовать Docker на системе NAS (сетевое хранилище данных). Многие популярные бренды NAS, такие как Synology и QNAP, предоставляют встроенную поддержку для запуска Docker-контейнеров. Это позволяет развёртывать различные приложения прямо на NAS, используя возможности контейнеризации Docker.
@@geekatplay-ru А видеокарта? пробрасывать ? есть ли тогда смысл на NAS?
LM Studio универсальнее, больше разнообразных моделей, кроме различных версий Llama есть еще и Yi Coder, Qwen2.5 Coder, просто Qwen2.5, InternLM, LLaVA v1.5, Mathstral 7B, Gemma 2, Phi 3.1 и много чего разного, в том числе и доработанные модели, не официальные.
Согласен, LM Studio действительно предлагает больше разнообразия моделей, что делает его универсальнее. Наличие таких моделей, как Yi Coder, Qwen2.5 и других, включая доработанные версии, открывает больше возможностей для пользователей. Это особенно полезно для тех, кто ищет что-то специфическое под свои задачи.
Работает не в бэкграунде, а в фоне. Фоновое приложение. Работа в фоне.
Спасибо за исправление! 😊
LM Studio? Не, не слышал
Это, lmstudio.ai/ ? Я посмотрел, но еще не пробовал с этим работать.
@@geekatplay-ru ну после того как попробуете, пересмотрите это своё видео, если не захочется его удалить, то вы странный)) а то ламу 3.2 называете мощной...стыдоба ейюогу
Я понимаю ваш энтузиазм по поводу LM Studio, однако это всего лишь UI-оболочка для работы с моделями ИИ, поддерживающая Llama 3.2, Mistral, Phi, Gemma, DeepSeek, Qwen 2.5; OLlama - это другая UI-оболочка, и на данный момент у Llama 3.2 больше доступных узлов, чем у других моделей, с использованием оптимизированного трансформера; подробнее читайте здесь: ai.meta.com/blog/meta-llama-3-1/ ; каждая модель имеет свои плюсы и минусы, но LM Studio - это только оболочка и модуль управления моделями, а не сама модель или ИИ; извините, если это вас разочаровало. Llama 3.2 универсальна и мощна для общих задач, Mistral эффективна для легких приложений, Phi превосходит в программировании и логике, Gemma отлично подходит для креативного письма, DeepSeek идеальна для извлечения данных, а Qwen 2.5 сбалансирована, но больше ориентирована на специализированные задачи.
@@geekatplay-ru конечно оболочка, это не нейросеть, и она гораздо удобнее, чем тот ужас о котором вы говорили в видео. Список не верный у вас, доступно там всё что есть в формате gguf, а на хагингфейсе их много. Ллама та о которой вы говорили вообще ниочём, даже саммери из текста криво делает, не говоря уже о сложных задачах. Да и пишет с ошибками. На фоне полностью бесплатного мистраля large, даже через апи, лама ниочём абсолютно. Пхи быстрая, но глупенькая, её бы доучить и хороша была, deepseek code неплох и в текст и в код, лучшее пока что тестировал из опенсорса. Гема похуже, но можно использовать.Кквин с русским языком не ладит и вообще единственный из этого списка бесполезнее лламы
Осторожно. Вирусы выходят на новый уровень.
Это открывает широкое поле для потенциальных проблем.
Обменять нормального хоть платного ассистента на всратый бортовой ИИ. Нет уж спасибо.
Мужик явно далёк от программирования раз заикается об этом.
Я понимаю, что вы можете задаться вопросом, знаю ли я, о чём говорю. Вот моя страница на LinkedIn с указанием моей экспертизы www.linkedin.com/in/geekatplay/ . Мой последний проект заключался в программировании системы выравнивания антенн на спутниках. Также я занимаюсь программированием для удовольствия в свободное время, участвую в open-source проектах. Вот видео устройства, использующего ESP32 и множество дополнительных модулей для расчёта в реальном времени абсолютного позиционирования в 3D пространстве с учётом наклонов, ускорений и так далее, примерно 100 раз в секунду с визуальным отображением. ruclips.net/user/shortsnex95BvpIMQ . А теперь, что вы сделали?
@@geekatplay-ru я занимаюсь квантовым трейденгом, конкретно бекстеком и написанием ботов для бирж.
Часто использую ИИ, и llama довольно всратая штука, не понимаю зачем его пиарят как альтернативу.
На самом деле не совсем корректно сравнивать таких гигантов как чат Gpt и локально установленные модели - но тут есть нюанс - а именно , смотря для чего вы используете эти модели - локально установленные вы можете полностью под себя модернизировать и дообучать, Для ролевых игр - полностью настроить под себя модель и ее цензуру или убрать ее вовсе. Для создания агентов - тоже быстрее и надежнее делать с локально установленными моделями чем с теми доступ к которым у вас только по платному Api, в общем много чего еще можно добавить - но повторюсь тут речь не идет о полной замене а лишь о том что их так же можно использовать
@@geekatplay-ru Он хотел пукнуть, но в итоге жидко обделался.
Sorry, но это всё такая фигня и мышиная возня. Установите себе LM Studio и не парьтесь. Скачивайте и используйте все самые новые, свежие и вообще любые LLM'ки одним кликом в нормальном интерфейсе и с любыми настройками.
С этим можно работать разными способами, и предоставление альтернативного варианта может быть удобнее для некоторых людей. Не всё обязательно делать «под копирку».
@@geekatplay-ru какая ужасная нейросеть сгенерировала это сообщение, треш ))