На счет скорости работы абсолютно согласен. Это какая-то жепка. По рекомендации подписчика опробовал еще Sanctum. Гораздо шустрее и приятнее на вид. Надо будет рассказать о нем.
Вот это довольно интересная штука. А что на счет безопасности всех этих опэнсорс моделей? Сколько про них видел статей, везде пишут "на свой страх и риск" но не обьясняют в чем риск. Например перепечатанные статьи Rezilion?
Признаться, на данный момент я не понимаю в чем может быть опасность. Модель лежит локально, софт в сеть не ходит от слова совсем с персональными данными (только за файлами моделей), никакие данные не коллекционируются и никуда не отправляются. В чем опасность - непонятно. Если немного пофантазировать, максимум, что может быть опасным - это дообучать модель на каких-то своих данных и потом злой хацкер у тебя ее стащит. но выходит, что он уже проник в твою сеть (систему), а потому дыра в безопасности точно не здесь. Есть риски неточности данных и "галлюцинаций" - это да, но это касается любых моделей, вообще всех. Это всё, что я могу сказать по этому поводу сейчас :) А, ну еще не стоит выставлять запущенный локальный сервер в сеть. Ну это как бэ само собой разумеется, если не шаришь как это сделать максимально безопасно.
Спасибо за видео! Интересно, а на русском может общаться? И как картинки будет выводить. Ну и до кучи, можно ли ее на проект натравить или большое количество файлов подгрузить.
На русском общаться может, пробовал) по поводу подгрузки файлов - тут надо копать глубже. ибо по факту, перед загрузкой файлов над ними проводится ряд манипуляций: разбиение на чанков, конвертация в векторное измерение, алгоритм подбора контекста, - короче, это можно, но только своими ручками надо это организовать, для этого и существует локальный сервер. В следующем видео я расскажу чуть подробнее про эту темку ;)
вообще не понимаю чего в локальном запуске такой хайп вокруг студии.. если есть такие продукты напримет sanctum ai. студия это ж жесть по UI/UX что не удобно кошмар... в Санктуме в след релизе будет локальный сервер, и уже есть робота с PDF чего нет у студии
Я, например, не знал про него. Обязательно чекну, спасибо. Но ты и сам сказал от чего такой хайп - локальный сервер. В своем видео я толком не раскрыл эту тему, но исправлю это в последующих видео. Но кмк это киллер фича для желающих разрабатывать собственные приложения на базе ИИ, а потому среди разрабов получила большее признание. По поводу UI/UX - согласен безоговорочно. Однако, они обещают в скором времени выкатить радикальную обнову, посмотрим что они сделают :)
Отмучался с LM Studio, Koboldcpp поинтереснее в плане совместимости и скорости работы.
На счет скорости работы абсолютно согласен. Это какая-то жепка. По рекомендации подписчика опробовал еще Sanctum. Гораздо шустрее и приятнее на вид. Надо будет рассказать о нем.
Вот это довольно интересная штука. А что на счет безопасности всех этих опэнсорс моделей? Сколько про них видел статей, везде пишут "на свой страх и риск" но не обьясняют в чем риск. Например перепечатанные статьи Rezilion?
Признаться, на данный момент я не понимаю в чем может быть опасность. Модель лежит локально, софт в сеть не ходит от слова совсем с персональными данными (только за файлами моделей), никакие данные не коллекционируются и никуда не отправляются. В чем опасность - непонятно.
Если немного пофантазировать, максимум, что может быть опасным - это дообучать модель на каких-то своих данных и потом злой хацкер у тебя ее стащит. но выходит, что он уже проник в твою сеть (систему), а потому дыра в безопасности точно не здесь.
Есть риски неточности данных и "галлюцинаций" - это да, но это касается любых моделей, вообще всех.
Это всё, что я могу сказать по этому поводу сейчас :)
А, ну еще не стоит выставлять запущенный локальный сервер в сеть. Ну это как бэ само собой разумеется, если не шаришь как это сделать максимально безопасно.
Спасибо за видео! Интересно, а на русском может общаться? И как картинки будет выводить. Ну и до кучи, можно ли ее на проект натравить или большое количество файлов подгрузить.
На русском общаться может, пробовал)
по поводу подгрузки файлов - тут надо копать глубже. ибо по факту, перед загрузкой файлов над ними проводится ряд манипуляций: разбиение на чанков, конвертация в векторное измерение, алгоритм подбора контекста, - короче, это можно, но только своими ручками надо это организовать, для этого и существует локальный сервер. В следующем видео я расскажу чуть подробнее про эту темку ;)
@@magisters_cc Спасибо!
вообще не понимаю чего в локальном запуске такой хайп вокруг студии.. если есть такие продукты напримет sanctum ai. студия это ж жесть по UI/UX что не удобно кошмар... в Санктуме в след релизе будет локальный сервер, и уже есть робота с PDF чего нет у студии
Я, например, не знал про него. Обязательно чекну, спасибо. Но ты и сам сказал от чего такой хайп - локальный сервер. В своем видео я толком не раскрыл эту тему, но исправлю это в последующих видео. Но кмк это киллер фича для желающих разрабатывать собственные приложения на базе ИИ, а потому среди разрабов получила большее признание.
По поводу UI/UX - согласен безоговорочно. Однако, они обещают в скором времени выкатить радикальную обнову, посмотрим что они сделают :)