Запускаем RAG через llama3 с помощью LM studio и Anything LLM на своем компьютере

в данном видео рассмотрим
- скачивание llm модели llama 3 7b
- запуск сервера с llama 3 через LM studio
- подключение сервера LM studio к anything LLM
- подключение базы знаний к anything LLM
- запуск RAG через anything LLM на llama 3 7b

[@jfima]

Привет. Спасибо, что записал это видео! Очень полезно было для меня узнать про этот инструмент и понять как ты его используешь. Но лучше записывай весь экран, так как ты кликал на список документов и мне было непонятно где этот интерфейс находится. Дело в том, что в новой версии Anything LLM интерфейс немного изменился.

[@Technology-rv8fo]

Как залить в студию модель и где скачивать модели помимо этой студии, с других сайтов?

[@darweenge]

Скажите, а как может быть CPU в LMStudio загружен на 450% на минуте 10:36? У меня кстати GPT4All гоняет модели существеннол быстрее чем LMStudio с чем это может быть связано?

[@misterfox3464]

У меня такая же лажа) у меня 2 процессора вообще ... А нагружает только 1... По итогу я использую только 50% производительности

[@konevyn]

Скажите ТЗ на создание локальной LLM с коучингом можете выполнить?

[@azabogdan1]

Цьому рішенню вже рік воно вже не актуальне, ніхто вже не розбиває на точну кількість символів ембедінги

[@AlekseyIT]

А что актуально на данный момент?

[@azabogdan1]

@@AlekseyIT longchain, якщо для проду то RAG тільки з розподіленням на смислові частини, а не по 1000 символів +-200. Робота з кодом напряму, як то vanna-ia для БД. Велике контексте вікно. llama3 крута штука, але не для ембедінгів які по контексту розподілити неможливо через anysingllm. Мало того що неможливо вивести точні данні з великого вбудування, ще й галюцинацій буде по всім прикладам типовим. Буде всі типові приклади брати не з RAG, а з моделі. Тому мультіагент треба для закриття цього. Та і якщо anysingllm піднімати то треба і з пам'яті гратись і з навчанням показувати що правильно, а що ні. В результаті anysingllm дасть лише відсотків 50 чогось користано все інше буде далеке від RAG.

[@azabogdan1]

@@AlekseyIT та і взагалі все що з RAG в проді потребує лише найкращої на ринку моделі, llama3 в такій комбінації буде працювати гірше ніж просто те саме згодувати gpt-4 напряму в чат