Бесплатная замена ChatGPT на своем компьютере. Устанавливаем LM Studio для запуска LLM локально.

Поделиться
HTML-код
  • Опубликовано: 15 янв 2025

Комментарии • 27

  • @zeva_zik
    @zeva_zik День назад +1

    Одна из самых топовых нейросетей - Gemini 2.0 Flash Thinking Experimental. Особенно хороша в связке с Felo AI. Felo AI используем для поиска релевантной информации, а другая думает и выдает творческий контент. Способна решать сложные математические задачи.

  • @Vladimir_Os
    @Vladimir_Os 15 дней назад

    Добрый день. Может сможете подсказать. Перепробовал уже кучу моделей, но каждый раз выскакивает ошибка - (Exit code: 0). Some model operation failed. Try a different model and/or config.

    • @AyiTheDeer
      @AyiTheDeer  14 дней назад +1

      Привет. Ну кроме того, что тебе советует сама программа, ничего сказать не могу. На каком железе запускаешь?

    • @Vladimir_Os
      @Vladimir_Os 14 дней назад

      @AyiTheDeer Nvidia rtx 3060 (12gb) , 32 gb оперативы , начал сомневаться в процессоре (хотя с другими нейронками и программами проблем нет) - i7 4700...

    • @AyiTheDeer
      @AyiTheDeer  14 дней назад

      @Vladimir_Os должно работать по идее, железо норм. Надо покопаться в проблемах в их репозитории, уверен, там есть подобные ошибки

    • @Vladimir_Os
      @Vladimir_Os 14 дней назад

      @@AyiTheDeer спасибо за ответ. Буду мучать его дальше.

    • @Vladimir_Os
      @Vladimir_Os 12 дней назад +1

      @@AyiTheDeer вопрос решился сам собой после обновления до версии 0.3.6 все ошибки пропали.

  • @UralMahiyanov
    @UralMahiyanov 2 месяца назад

    Отлично, а для генерации истории какая модель лучше подойдет?

    • @AyiTheDeer
      @AyiTheDeer  2 месяца назад

      Это ты сможешь узнать только опытным путем, потому что историю оценивать тебе.

    • @UralMahiyanov
      @UralMahiyanov 2 месяца назад

      @@AyiTheDeer логично.) Еще вопрос, а модели скачиваются только на локальный диск?

    • @AyiTheDeer
      @AyiTheDeer  2 месяца назад

      Ты можешь поставить это все на съемный диск, но скорость будет ниже. Потому что скорость чтения/записи будет играть свою роль

  • @bukva_m
    @bukva_m 2 месяца назад

    Вопрос: а как изменить папку, куда загружаются модели? Например, я не хочу, чтобы системный диск забивался моделями, которые весят от 4 ГБ. Что делать?

    • @AyiTheDeer
      @AyiTheDeer  2 месяца назад

      Переходишь в меню, где у тебя список скачанных моделей, по иконке папки, и там слева вверху есть указание адреса, куда сохраняет сейчас и кнопка "Change".

  • @АлександрЛукин-т7з
    @АлександрЛукин-т7з 2 месяца назад

    А какой компьютер у тебя. Больше 32 ГБ это понятно, а проц и видеокарта?

    • @AyiTheDeer
      @AyiTheDeer  2 месяца назад

      У меня ноут msi creator pro, i9 проц вроде бы, видюха а5000 16гб, 64гб ддр5 оперативы

  • @maksuchiha
    @maksuchiha Месяц назад

    Насколько они уступают гпт 4о?)

    • @AyiTheDeer
      @AyiTheDeer  Месяц назад

      Зависит от выбранной модели. Берешь модель, ищешь ее страницу в инете, смотришь бенчмарки на сколько и кому она уступает

  • @Permyakov_3D
    @Permyakov_3D 2 месяца назад

    легенда

    • @AyiTheDeer
      @AyiTheDeer  2 месяца назад

      Надеюсь это про меня)

    • @Permyakov_3D
      @Permyakov_3D 2 месяца назад +1

      @@AyiTheDeer Да! Я занимаюсь 3D Графикой и сейчас ищу возможности интегрировать ИИ в рабочий процесс. У тебя очень крутые видосы, спасибо!
      Как считаешь, для таких задач: сценарий, раскадровка, референсы, апскейл и т.д. лучше использовать локальные модели на своём железе или всякие мижорни по подписке?) Пока слабо в них разбираюсь и не понимаю разницы. Может это будет интересной темой для будущих видео (преимущества/недостатки локальных моделей) Еще раз спасибо!

    • @AyiTheDeer
      @AyiTheDeer  2 месяца назад

      @SaltyEars отличие локальных моделей от облачных в основном в качестве. Врядли кто-то будет готов вбахать пару сотен тысяч долларов чтобы у себя дома поставить сервак с топовыми чипами для ии, это просто никогда не окупится. Локальные решения - это больше про поиграться/попробовать или использовать для своих нужд или для фриланса. Если ставить на коммерческие рельсы, на поток, то тут уже минимум понадобятся облака. Локальные флюкс/сд3.5 не уступают миджорни, но миджорни проще в юзабилити для новичков, а флюкс/сд более гибкие в настройке и кроссфункциональности)

  • @Morgott
    @Morgott 2 месяца назад

    ещё бы найти способ поставить её в портативном виде, чтобы она не срала своими файлами по всей системе, а было всё в 1 папке включая модели.

    • @AyiTheDeer
      @AyiTheDeer  2 месяца назад

      А куда она срет?

    • @Morgott
      @Morgott 2 месяца назад

      @@AyiTheDeer appdata, например. Так же не спрашивает куда устанавливать. это какой то бич разработчиков. вроде умные вещи делают, нейросети, все дела. но при этом свой софт бесконтрольно в дебри винды пихают. переустановил винду и надо по новой ставить прогу и настраивать. а какой-нибуд stable diffusion портативный как работал так и будет работать.

    • @AyiTheDeer
      @AyiTheDeer  2 месяца назад

      Это издержки сборки)) ты можешь попробовать и другие, благо их вагон и маленькая тележка

    • @Morgott
      @Morgott 2 месяца назад

      @@AyiTheDeer мне нужно чтобы обязательно была поддержка rag с минимальными усилиями. В этом плане лучше чем LM Studio мне не попадалось.