Прощай chatGPT | Как пользоваться LM Studio | Установка Llama, falcon, mistral!
HTML-код
- Опубликовано: 22 окт 2024
- Как пользоваться LM Studio для работы с LLM Llama, falcon, mistral.
Создал видео гайд LM Studio, где расскажу как устанавливать текстовые модели локально на свой компьютер.
►ПОЛЕЗНЫЕ ССЫЛКИ:
LM Studio: lmstudio.ai/
🔥 Подписывайтесь на наш канал, следите за новыми полезными роликами, пишите комментарии и приятного просмотра!
►СОЦ. СЕТИ:
Telegram: t.me/tehnomani...
Группа VK: tehno_m...
Дзен: dzen.ru/filimo...
Boosty: boosty.to/tehn...
#llm #нейросеть #чатбот
Буду очень рад, если оценишь данный ролик лайком и просмотром!
А еще заходи на канал и смотри другие мои видео:
- Фильтр нецензурной лексики за 5 минут: ruclips.net/video/UrtMJoF_gbk/видео.html
- ОБЛАЧНОЕ ХРАНИЛИЩЕ на RASPBERRY PI и UMBREL OS!: ruclips.net/video/F6zXwtZdHrc/видео.html
А эта модель работает с немецким языком?
@@maikmaik1389 , да, должна
Все супер! На убунту тоже работает, спасибо!
Рад, что помог🔥
Вот это интересно и полезно!
Рад, что помог💪🏻
Спасибо. Жаль Пока нет времени пробовать. Интересно было бы увидеть как дообучить модель на своих данных.
Пока не изучал это(
Комментарий в поддержку и благодарность. И ещё несколько слов для алгоритма продвижения)
Спасибо большое🔥🔥
Пора научиться, если показываешь код, увеличивать его в размерах
Учту👏
Круто! Спасибо
Рад, что помог🔥
Спойлер: вы будете всё равно использовать чатжпт и клауду потому что они умнее и удобнее. Всё что локальное и с текстом лишь прикольная игрушка.
ну не скажи, как персональный помощник он может неплохо выручать))
есть определенная усталость включать впн каждый раз))
@@tehno.maniak используй dns и не будет нужды переключать
@@tehno.maniakпоэтому я отдельный браузер с включенным впн поставил
@@tehno.maniak, так настройте маршрутизацию нормально, чтобы vpn был постоянно включен, но через него шел трафик только на те ресурсы, которым необходим vpn.
процессор без поддержки avx2 .есть смысл пробовать ставить ламу?
Минимальные требования: M1/M2/M3 Mac или ПК с Windows / Linux с процессором, поддерживающим AVX2.
Сомневаюсь((
если так указано, врядли потянет
Спасибо за видео! Есть несколько вопросов по этой программе:
1. Нужно ли получать доступ к моделям (как это реализовано на hugging face, пример, llama 3.1)
2. Есть ли возможность дообучать модели на своих данных?
3. Есть ли поддержка AMD GPU?
Рад, что помог🔥
Нет, все доступно в рамках самой программы)
По вопросам 2 и 3 честно не подскажу(
Нет. Скорее всего, ты имел ввиду другое, т.к. дообучать llm на локальном железе проблемно, легче арендовать сервер с a100 или h1000, маленький файн-тюнинг потребует несколько часов на таком железе на это уйдёт несколько часов, обойдётся в пару тысяч рублей. Но нужно подготовить датасет на несколько тысяч примеров (я не очень разбираюсь в обучении, информацию взял из одного видео с ютуба).
То что тебе нужно называется RAG. Но это сложно и в lm studio этого нет. Можешь почитать про RAG и написать свою реализацию (займёт всего пару сотен строк кода), использую веб сервер lm studio. Но для этого я советую тебе использовать ollama.
Привіт. Подскажи какую IDE можно удобнее всего использовать для программирования на языке java но не на компьютере а на андроид смартфоне, то есть чтоб можно было писать и компилировать код на джаве на андроид смартфоне. Благодарю.
А у меня при запуске лм студиа нет главного окна, первым идет чат😐
потыкай там кнопки, точно должно быть)
GitHub Copilot модель можно подключить и как? )) Интересно посмотреть видео на эту тему...
Плохо что в этом LM Studio нет модели Meta Llama 3.1 8B на 405B 😕
Интересно, что у вас за конфигурация, для запуска модели на 405B параметров, нужно несколько ускорителей по 80 gb vram.
@@antonmanukyan3307 я уже понял, что моя видеокарта не потянет 😁
Так что, ещё не определился какой моделью GPT пользоваться 🧐
@@antonmanukyan3307он просто клоун пустозвон, вот и плетет ерунду
Там llama.cpp под капотом, насколько я знаю, можно запустить любую gguf модель
GPU (LM Runtime Dependent)
Такая надпись при просмотре ресурсов в настройке, слева CPU виден какой-то код, а справа где GPU не видно ничего..
No LM Runtime found for model format 'gguf'!
Ошибка при загрузке модели..
благодарю за наводку - интересно. А описания загружаемым картинкам она может давать?
Рад помочь! с картинками нет, пока не работает(
Не знаю как именно с lm studio, но да! Можно загружать картинки, есть открытые мультимодальные модели.
@@tehno.maniak , не знаю как в lm studio, но картинки элэлэмить можно! Есть мультмодальные модели. Посмотри про ollama, она крутая. Также можешь сделать видео про неё для новичков
Насколько лама3 хороша в ответах по коду в сравнении с gpt-3.5turbo?
Я так скажу, тяжело сказать gpt3.5 сто проц с русским хорошо работает, у llama встречаются проблемы частенько
по хорошему, вопросы надо на английском писать для лучшего результата
а по коду, прогу прям не напишет llama, но точечные вопросы отрабатывает неплохо, на уровне с gpt3.5 я бы сказал
Для кода советуют deepseek coder, я не пробовал, но вроде он крут. Для русского языка советую mistral-nemo и qwen
Вопрос а чем хуже ChatGPT ?)
он платный, нужен интернет и впн, данные уходят openai))
@@tehno.maniak НУ впн да и он не платный
@@flenk41 как раз таки платный, не знаю где ты им пользуешься но на официальном сайте он платный.
Бесплатный он имеет очень ограниченное количество запросов, а бесплатно модель попроще))
++
Эта модель знает vb6 ?
так не скажу, лучше уточнить на сайте)
там есть не все модели, как я загружу в ней нужную мне модель ?
а какая тебе нужна?
Там есть папка, куда скачиваются модели. Просто создай в ней подпапку и положи нужную модель в формате gguf.
Точно сказать как именно это сделать не могу, давно не пользовался, но точно знаю, что можно
свет страшный как будто зеленкой облили
поработую над этим))
Вероятно автор видео из Латвии или Эстонии... Информацию про LM Srudio уже двести раз пережевали и обсудили. На поиграться и не более... для нормальной работы не походит... тупит. Пишет с ошибкаи..если только клауд и ЖПТ по апи не подключить...остальные модели шлак... даже лама 3
Так такие нейросети для RAG используют
Для обычного пользователя, честно, да. Но для программиста - нет, если ему интересен ИТ. Можно RAG прикрутить, создать агента и т.д. Да и не такие они тупые, скачай mistral-nemo
Проверил, хрень если честно, слабая моделька
для нетребовательных задач вполне подходит))