Запускаем RAG через llama3 с помощью LM studio и Anything LLM на своем компьютере

в данном видео рассмотрим
- скачивание llm модели llama 3 7b
- запуск сервера с llama 3 через LM studio
- подключение сервера LM studio к anything LLM
- подключение базы знаний к anything LLM
- запуск RAG через anything LLM на llama 3 7b

[@СпециальныйагентСтивенс-ФБР]

Вышла новая версия LM Studio где можно сразу в чат загружать локальные документы... работает если стрёмно.

[@darweenge]

Скажите, а как может быть CPU в LMStudio загружен на 450% на минуте 10:36? У меня кстати GPT4All гоняет модели существеннол быстрее чем LMStudio с чем это может быть связано?

[@misterfox3464]

У меня такая же лажа) у меня 2 процессора вообще ... А нагружает только 1... По итогу я использую только 50% производительности

[@Technology-rv8fo]

Как залить в студию модель и где скачивать модели помимо этой студии, с других сайтов?

[@Phaetonpsb]

Подскажите, может кто знает прогу для оцветнения видео?
Не через Colab, а на своем компе чтобы все это было....

[@konevyn]

Скажите ТЗ на создание локальной LLM с коучингом можете выполнить?

[@anatoligulyayev1862]

какой комп подойдет для этого, какие параметры у вас?

[@LevanteHoliday]

а есть у вас тг ? можно задать пару вопросов ин прайвет по конкретной задаче ?

[@azabogdan1]

Цьому рішенню вже рік воно вже не актуальне, ніхто вже не розбиває на точну кількість символів ембедінги

[@AlekseyIT]

А что актуально на данный момент?

[@azabogdan1]

@@AlekseyIT longchain, якщо для проду то RAG тільки з розподіленням на смислові частини, а не по 1000 символів +-200. Робота з кодом напряму, як то vanna-ia для БД. Велике контексте вікно. llama3 крута штука, але не для ембедінгів які по контексту розподілити неможливо через anysingllm. Мало того що неможливо вивести точні данні з великого вбудування, ще й галюцинацій буде по всім прикладам типовим. Буде всі типові приклади брати не з RAG, а з моделі. Тому мультіагент треба для закриття цього. Та і якщо anysingllm піднімати то треба і з пам'яті гратись і з навчанням показувати що правильно, а що ні. В результаті anysingllm дасть лише відсотків 50 чогось користано все інше буде далеке від RAG.

[@azabogdan1]

@@AlekseyIT та і взагалі все що з RAG в проді потребує лише найкращої на ринку моделі, llama3 в такій комбінації буде працювати гірше ніж просто те саме згодувати gpt-4 напряму в чат

[@dlyainternetadlyainterneta]

почему он у меня с загруженного pdf файла ничего не выдает ? его как-то надо обучать?

[@greentonium]

Подскажите нет ли возможности какой либо модели локальной, присобачить функцию поиска информации в интернете? как у гпт? чтоб она могла залезть в поисковить и собрав инфу выдать результат в совокупе?!

[@user-bc5qt9jy5b]

Копайте в сторону RAG. Эта технология позволяет дополнять статичные ответы модели динамическими данными из разных источников. Например, статичная модель не сможет ответить на вопрос "Какой сейчас курс доллара к рублю", а с RAG это будет выглядеть как:
[Ответ модели] Текущий курс доллара + [Добавка к ответу от RAG] 1 копейка.

[@jfima]

Привет. Спасибо, что записал это видео! Очень полезно было для меня узнать про этот инструмент и понять как ты его используешь. Но лучше записывай весь экран, так как ты кликал на список документов и мне было непонятно где этот интерфейс находится. Дело в том, что в новой версии Anything LLM интерфейс немного изменился.

[@Akun_143]

Не нашли? у меня та же проблема