Творите.. Созидайте... Только.. Развитие и знание. Жизни в реальности. Дадут.. Всем не только сэкономить время но и понять что и кто. Земляне и как использовать технологии. ВоБлаго и себе и людям.. ✨ 💫 ✨ 💖🙏
Как очень простая доработка, упрощающая поиск ИИ - растянуть список на высоту экрана. Обязательно попробую Ваше творение. Я так понимаю это векторная БД с дополнительными примочками
Ну да, может выглядеть почти как операционная система, где перетаскивание полностью нативно.. может и сделаю, думал об этом, но решил пока потестировать как есть.
Что-то не выходит. Мучал-мучал драг энд дроп библиотеки.. нестабильно работает это.. как только включаем функцию перетаскивания, функция наведения одного блока на другой отключается.. и папка просто "убегает", при попытке тягать на нее.. пока не вышло сделать так
Неплохо, но вы только по фичам рассказываете, внешнюю часть. Расскажите как запустить свой RAG(ассистент )с чанками с помощью Langchain+Python. Какие ембеддинги лучше а какие хуже. Как к Ollama по API со стримингом получить ответ по методам /chat или /generate ? На чём у Вас frontend написан - Vue 2/3, Angular, React? Расскажите как людям дома на видеокарте это запустить? (На самом деле это легко, несколько минут) Почему надо использовать именно Python 3.10 а не версии старше, что из-за Torch более старшие версии не будут работать. Как за 5 минут запустить Whisper (преобразование любого аудио в текст) на видеокарте (cuda) а не на процессоре. Как пользоваться LM Studio и какие модели лучше: gemma2:9B (27B) или llama3.1 (3.2) , как эти же модели скачать и запустить на ollama ? Почему для RAG желательно именно скармливать файлы не PDF, txt,а *.md (Markdown) и использовать MarkdownTextSplitter а не RecursiveCharacterTextSplitter. У меня вообще чтобы с нуля сделать свой ассистент RAG+ollama с gemma2:9b + морда под браузер на Vue ушло 1.5 дня. Короче расскажите людям как самим это всё поднять дома и что это реально просто (тот же LM Studio+ Anything LLM и у тебя уже свой ассистент готов, но я свой для себя сделал на Python), и какие требования к видеокарте. Ещё как запускать на CUDA а не на CPU. На канале у Вас много видео но не нашёл ни одного видео с разбором кода и туториала как запускать у себя дома, и как сделать свой ассистент за 5 минут
Здравствуйте. Я делал такое видео. Там много вопросов еще.. RAG, к сожалению, не панацея. Чтобы он хорошо работал, нужен еще один ИИ, который запросы пользователя будет модифицировать под правильный поиск с учетом контекста беседы. Сейчас сам пытаюсь решить эту проблему.. еще есть над чем работать
По Wisper мне не удалось запустить на видеокарте, если у Вас есть опыт в этом, буду благодарен, если подскажете как это сделать.. у меня на линукс убунте никак не удается заставить его работать
Вообще по ollama можно снять видео, у меня есть наработки специально под эту платформу... есть пару идей, как дать пользователям очень удобно использовать ollama в виде более дружелюбного решения
В остальном у Вас хорошие, глубокие вопросы. По требованиям к видеокарте, это основная проблема.. в основном пользователи не смогут себе позволить разворачивать gemma2:9B (27B) , т.к. для этого желательно видеокарта на 24Гб и выше. А если там еще RAG с Embedding моделью в параллели и БД на векторе.. это сложно, это большинству людей сложно и дорого. Я сам, что развернул, даю бесплатно в открытой оболочке. В основном, мое решение для большинства более практично.
@@MrDewiar ага, понял Вас , приятно пообщаться, видно что Вы разбираетесь в теме, я в теме меньше месяца,но уже тоже многое пощупал и написал для себя немало кода, балуюсь. Ollama, Web фронтенд на Vue, RAG. Проигрался с разными параметрами RAG-чанков и тд. Да, RAG в чистом виде без постобработки промпта с учётом контекста немного жалкое зрелище если уж честно, у меня с трудом удалось заставить его нормально общаться с учётом контекста,но результаты средние, надо все равно выходить за рамки и делать постобработку. Whisper да, капризный По ollama. ,Ну нормальный у него API но надо привыкнуть, есть куча тонкостей, пытаюсь их записывать, систематизировать , но простым пользователям это не надо пусть пользуются готовой LM Studio, если хотят локально работать + Gemma2 9b Gemma 2 на 9B очень неплохая по ответам и при этом шустрая, 8гб Video RAM ей с головой хвататет (в реале на средних настройках производительности она хавает примерно 6 гб видеопамяти) ,ответы устраивают, можно смело советовать людям для домашнего использования , 24гб Video RAM надо уже для Gemma2 на 27B параметров но 9В мне с головой хвататет. Люди пусть смело качают LM Studio и "Gemma2 9b it GGUF" с квантизацией Q5, Q4 (так можно и гуглить им :) ) с HuggingFace, и запускают себе , если хотят чисто локально работать без интернета. В LM Studio кстати можно и скачать, оно само качает с HuggingFace.
Да, конечно.. пока в телеграм ботов, потом в другие мессенджеры. Я добавлю больше поддерживаемых площадок для встраивания, только на телеграм отшлифуем нормально, чтобы работало стабильно
Не обижаюсь. Понимаю. Но хорошо, что сказали. А то бы обиделся. Это тоже в какой-то степени проблема, которую надо и можно решить. Не знаю как вам, но мне например удобно комментарии слушать. Это быстрее и не такая нагрузка на глаза. Есть конечно люди, которые читают очень быстро, но если вы тоже как Я не из таких то Попробуйте слушать. У меня для прослушки комментариев Даже кнопка на мыши специально настроена. Выделил текст один щелчок и уже комментарии говорятся. И для этого даже никакой интеллект не нужен. Синтезаторы речи я ими пользуюсь уже наверное лет 10 как минимум. Поначалу было непривычно Внимание отвлекало то что говорит компьютерный голос. Но я слушаю не только комментарии но и книги. После первой сотни книг увеличил скорость Со временем стал понимать смысл на большой скорости. Кстати, не помню говорил или нет У меня по этому поводу даже написано книга. Есть в свободном доступе Хотя я её нигде не публиковал. «Книга 3.0 слушайте» Если хотите могу дать ссылку. Возвращаюсь к комментариям Можно было бы и к ним задействовать интеллект. Не зря же вы им занимаетесь. Например я часто слушаю и много однообразных комментариев. Без содержательных «Спасибо» «Как классно» и так далее. Не знаю насколько это легко или сложная реализовать Неплохо было бы если бы Нейросеть могла работать с комментариями. Я когда-то давно пробовал давать ссылки на видео разным нейросетям но они не справились. Работать с комментариями или не умели или не хотели или потому что бесплатные… Может сейчас поменялось Но некогда. Можно также составить Промт Чтобы например самые содержательные и полезные комментарии По мнению нейросети были первыми Чтобы она составляла какой-то список И так далее. По поводу сортировки идея интересная мне её часто не хватало на многих ресурсах. На некоторых тоже можно создавать папки, но вот папку внутри папки создать уже нельзя. Надеюсь, здесь можно или доработаете. Например, я хочу создать папку учёные, а в ней уже будет Тесла Эйнштейн, а уже в папке Tesla информация про него. Вообще подобные неудобства и сейчас меня отталкивают от многих нейросетей. И другие разработчики Я так понимаю тоже над этим задумываются. Когда накапливается куча диалогов. Путаешься во всей этой информацией. Поэтому чем больше подобных инструментов, тем лучше. Дальше всех как это неудивительно, Мне кажется, пошёл чат gpt. Он даже Не знаю как сейчас но вроде бы переименовывала диалог Сам именно Анализируя содержание. Причём в отличие, например от Клауд Если диалог на русском, то и название было естественно на русском. Cloud почему-то делал на английском. Помимо сортировки также неплохо было бы создать какой-то Умный поиск это тоже уже вроде бы пытаются. Чтобы я не просто мог забить слово в поиск А нейросети для себя делала какой-то отдельный документ каталог смыслов И могла меня Направить в тот или иной диалог. Даже если я не помню точного названия и спрошу. Ну опять же Это просто мои желания и фантазии. Думаю для всех Было бы неплохо но а там смотрите как получится. Иногда есть диалоги на стыке нескольких тем и непонятно куда его в какую папку лучше поместить. Тогда лучше подойдут ярлыки метки Теги.
Да, правильные и близкие мысли. По поводу вложенных папок такая возможность есть, я еще не добавлял этого, просто убедиться в том, что текущий функционал будет работать надежно. По поводу папок хорошо, сейчас думать дальше, хотелось бы сделать ИИ группы.. т.е. создавать не ассистента с ИИ, а группу с ИИ ассистентами... чтобы можно было прикреплять созданных ассистентов к конкретной беседе, и обсуждать одновременно с ними нужную тему. Это был бы интересный эксперимент, т.к. разные ассистенты используют совершенно разные LLM модел от конкурирующих компаний, интересно было бы их сталкивать между собой в рамках единого чата-группы.
Здравствуйте. Сама векторная БД Вам ничего не даст, полученные вектора в виде массивов чисел Вам никак нигде не помогут. Вы можете создавать и скачивать именно текстовый формат документов, именно хорошо подготовленный структурированный текст - и есть лучшая БД, ведь его можно быстро вгрузить в любые векторные БД, при этом разные БД не совместимы между собой. Важна не база, важен документ, который заливается в базу!
@MrDewiar а если использовать ту же модель или похожую по размерности и другим параметрам, то будет ли бд тогда совместима? Для общей образованности спрашиваю. Просто не всегда и не у всех есть возможность заниматься генерацией бд, однако для бизнеса думаю будет удобно в случае переноса скажем своего сервиса просто упаковать все свои данные в чемодан и переехать на другой сервер
@gadellatypov63 это хорошая мысль.. я делаю полностью автономное решение, которое можно будет полностью упаковать чуть ли не на флешку, и затем развернуть на любом предприятии, в закрытом контуре .. я так и мечтаю сделать.. но еще мозгую
![I.N "HALLUCINATION" | [Stray Kids : SKZ-PLAYER]](http://i.ytimg.com/vi/n5B5q1Hwt_U/mqdefault.jpg)
Дерзайте ! Дай бог вам сил и терпения
Благодарю :)
Вот пример не содержательного комментария Который нейросеть могла бы и исключить из своего списка о котором писал я в своём
Супер! Здоровья, счастья, финансового благополучия и продуктивности в Новом Году
@@xx-ci5kq спасибо! Взаимно!
Благодарю, Михаил!
Очки тебе очень идут;)
@@neuropsychologist_2.0 Спасибо, это от усталости глаз, убирают синий спектр
Творите.. Созидайте... Только.. Развитие и знание. Жизни в реальности. Дадут.. Всем не только сэкономить время но и понять что и кто. Земляне и как использовать технологии. ВоБлаго и себе и людям.. ✨ 💫 ✨ 💖🙏
Людмила, спасибо!
Очки 🔥😊
Ага)))
Ещё один офтоп не по теме
Хорошая идея систематизации. Возможно использовать для применения тарифов и доступа пользователей. Удобный инструмент.
@@kfilipenko Благодарю
Как очень простая доработка, упрощающая поиск ИИ - растянуть список на высоту экрана. Обязательно попробую Ваше творение. Я так понимаю это векторная БД с дополнительными примочками
Растягивание сделал. Должно уже работать. По остальному да, есть и вектор.. но еще доделываю
отличная идея, если ещё "заполировать" драг & дропом в папку и из неё будет вообще шоколад :)
Ну да, может выглядеть почти как операционная система, где перетаскивание полностью нативно.. может и сделаю, думал об этом, но решил пока потестировать как есть.
Надо что бы Драг и Дроп работало для перемещения и в папки! Так же нужно добавить вариант выделить несколько для перемещения в папку.
Что-то не выходит. Мучал-мучал драг энд дроп библиотеки.. нестабильно работает это.. как только включаем функцию перетаскивания, функция наведения одного блока на другой отключается.. и папка просто "убегает", при попытке тягать на нее.. пока не вышло сделать так
🙏
=)
Начироит агента для комментарий, я так доя мастера цигун сдклал , но вручную , с Gemini
Неплохо, но вы только по фичам рассказываете, внешнюю часть.
Расскажите как запустить свой RAG(ассистент )с чанками с помощью Langchain+Python.
Какие ембеддинги лучше а какие хуже.
Как к Ollama по API со стримингом получить ответ по методам /chat или /generate ?
На чём у Вас frontend написан - Vue 2/3, Angular, React?
Расскажите как людям дома на видеокарте это запустить? (На самом деле это легко, несколько минут)
Почему надо использовать именно Python 3.10 а не версии старше, что из-за Torch более старшие версии не будут работать.
Как за 5 минут запустить Whisper (преобразование любого аудио в текст) на видеокарте (cuda) а не на процессоре.
Как пользоваться LM Studio и какие модели лучше: gemma2:9B (27B) или llama3.1 (3.2) , как эти же модели скачать и запустить на ollama ?
Почему для RAG желательно именно скармливать файлы не PDF, txt,а *.md (Markdown) и использовать MarkdownTextSplitter а не RecursiveCharacterTextSplitter.
У меня вообще чтобы с нуля сделать свой ассистент RAG+ollama с gemma2:9b + морда под браузер на Vue ушло 1.5 дня.
Короче расскажите людям как самим это всё поднять дома и что это реально просто (тот же LM Studio+ Anything LLM и у тебя уже свой ассистент готов, но я свой для себя сделал на Python), и какие требования к видеокарте.
Ещё как запускать на CUDA а не на CPU.
На канале у Вас много видео но не нашёл ни одного видео с разбором кода и туториала как запускать у себя дома, и как сделать свой ассистент за 5 минут
Здравствуйте. Я делал такое видео. Там много вопросов еще.. RAG, к сожалению, не панацея. Чтобы он хорошо работал, нужен еще один ИИ, который запросы пользователя будет модифицировать под правильный поиск с учетом контекста беседы. Сейчас сам пытаюсь решить эту проблему.. еще есть над чем работать
По Wisper мне не удалось запустить на видеокарте, если у Вас есть опыт в этом, буду благодарен, если подскажете как это сделать.. у меня на линукс убунте никак не удается заставить его работать
Вообще по ollama можно снять видео, у меня есть наработки специально под эту платформу... есть пару идей, как дать пользователям очень удобно использовать ollama в виде более дружелюбного решения
В остальном у Вас хорошие, глубокие вопросы. По требованиям к видеокарте, это основная проблема.. в основном пользователи не смогут себе позволить разворачивать gemma2:9B (27B) , т.к. для этого желательно видеокарта на 24Гб и выше. А если там еще RAG с Embedding моделью в параллели и БД на векторе.. это сложно, это большинству людей сложно и дорого. Я сам, что развернул, даю бесплатно в открытой оболочке. В основном, мое решение для большинства более практично.
@@MrDewiar ага, понял Вас , приятно пообщаться, видно что Вы разбираетесь в теме, я в теме меньше месяца,но уже тоже многое пощупал и написал для себя немало кода, балуюсь. Ollama, Web фронтенд на Vue, RAG. Проигрался с разными параметрами RAG-чанков и тд.
Да, RAG в чистом виде без постобработки промпта с учётом контекста немного жалкое зрелище если уж честно, у меня с трудом удалось заставить его нормально общаться с учётом контекста,но результаты средние, надо все равно выходить за рамки и делать постобработку.
Whisper да, капризный
По ollama. ,Ну нормальный у него API но надо привыкнуть, есть куча тонкостей, пытаюсь их записывать, систематизировать , но простым пользователям это не надо пусть пользуются готовой LM Studio, если хотят локально работать + Gemma2 9b
Gemma 2 на 9B очень неплохая по ответам и при этом шустрая, 8гб Video RAM ей с головой хвататет (в реале на средних настройках производительности она хавает примерно 6 гб видеопамяти) ,ответы устраивают, можно смело советовать людям для домашнего использования , 24гб Video RAM надо уже для Gemma2 на 27B параметров но 9В мне с головой хвататет.
Люди пусть смело качают LM Studio и "Gemma2 9b it GGUF" с квантизацией Q5, Q4 (так можно и гуглить им :) ) с HuggingFace, и запускают себе , если хотят чисто локально работать без интернета. В LM Studio кстати можно и скачать, оно само качает с HuggingFace.
А потом ассистента можно интегрировать в Телеграм-бот, чтобы общаться с ним в ТГ?
Да, конечно.. пока в телеграм ботов, потом в другие мессенджеры. Я добавлю больше поддерживаемых площадок для встраивания, только на телеграм отшлифуем нормально, чтобы работало стабильно
Не обижаюсь. Понимаю. Но хорошо, что сказали. А то бы обиделся. Это тоже в какой-то степени проблема, которую надо и можно решить. Не знаю как вам, но мне например удобно комментарии слушать. Это быстрее и не такая нагрузка на глаза. Есть конечно люди, которые читают очень быстро, но если вы тоже как Я не из таких то Попробуйте слушать. У меня для прослушки комментариев Даже кнопка на мыши специально настроена. Выделил текст один щелчок и уже комментарии говорятся. И для этого даже никакой интеллект не нужен. Синтезаторы речи я ими пользуюсь уже наверное лет 10 как минимум. Поначалу было непривычно Внимание отвлекало то что говорит компьютерный голос. Но я слушаю не только комментарии но и книги. После первой сотни книг увеличил скорость Со временем стал понимать смысл на большой скорости. Кстати, не помню говорил или нет У меня по этому поводу даже написано книга. Есть в свободном доступе Хотя я её нигде не публиковал. «Книга 3.0 слушайте» Если хотите могу дать ссылку. Возвращаюсь к комментариям Можно было бы и к ним задействовать интеллект. Не зря же вы им занимаетесь. Например я часто слушаю и много однообразных комментариев. Без содержательных «Спасибо» «Как классно» и так далее. Не знаю насколько это легко или сложная реализовать Неплохо было бы если бы Нейросеть могла работать с комментариями. Я когда-то давно пробовал давать ссылки на видео разным нейросетям но они не справились. Работать с комментариями или не умели или не хотели или потому что бесплатные… Может сейчас поменялось Но некогда. Можно также составить Промт Чтобы например самые содержательные и полезные комментарии По мнению нейросети были первыми Чтобы она составляла какой-то список И так далее.
По поводу сортировки идея интересная мне её часто не хватало на многих ресурсах. На некоторых тоже можно создавать папки, но вот папку внутри папки создать уже нельзя. Надеюсь, здесь можно или доработаете. Например, я хочу создать папку учёные, а в ней уже будет Тесла Эйнштейн, а уже в папке Tesla информация про него. Вообще подобные неудобства и сейчас меня отталкивают от многих нейросетей. И другие разработчики Я так понимаю тоже над этим задумываются. Когда накапливается куча диалогов. Путаешься во всей этой информацией. Поэтому чем больше подобных инструментов, тем лучше. Дальше всех как это неудивительно, Мне кажется, пошёл чат gpt. Он даже Не знаю как сейчас но вроде бы переименовывала диалог Сам именно Анализируя содержание. Причём в отличие, например от Клауд Если диалог на русском, то и название было естественно на русском. Cloud почему-то делал на английском. Помимо сортировки также неплохо было бы создать какой-то Умный поиск это тоже уже вроде бы пытаются. Чтобы я не просто мог забить слово в поиск А нейросети для себя делала какой-то отдельный документ каталог смыслов И могла меня Направить в тот или иной диалог. Даже если я не помню точного названия и спрошу. Ну опять же Это просто мои желания и фантазии. Думаю для всех Было бы неплохо но а там смотрите как получится. Иногда есть диалоги на стыке нескольких тем и непонятно куда его в какую папку лучше поместить. Тогда лучше подойдут ярлыки метки Теги.
Да, правильные и близкие мысли. По поводу вложенных папок такая возможность есть, я еще не добавлял этого, просто убедиться в том, что текущий функционал будет работать надежно.
По поводу папок хорошо, сейчас думать дальше, хотелось бы сделать ИИ группы.. т.е. создавать не ассистента с ИИ, а группу с ИИ ассистентами... чтобы можно было прикреплять созданных ассистентов к конкретной беседе, и обсуждать одновременно с ними нужную тему. Это был бы интересный эксперимент, т.к. разные ассистенты используют совершенно разные LLM модел от конкурирующих компаний, интересно было бы их сталкивать между собой в рамках единого чата-группы.
Войти на сайт не дает - нажимаю вход и белый экран с кнопкой поддержки которая не нажимается((
хотя в режиме инкогнито все в норме почемуто..
Быстрее всего закэшировало старый код. Попробуйте сбросить кэш кнопками Shift+F5
Спасибо, а будет возможность скачать сгенерированную бд? Или это не в интересах компании?))
Здравствуйте. Сама векторная БД Вам ничего не даст, полученные вектора в виде массивов чисел Вам никак нигде не помогут. Вы можете создавать и скачивать именно текстовый формат документов, именно хорошо подготовленный структурированный текст - и есть лучшая БД, ведь его можно быстро вгрузить в любые векторные БД, при этом разные БД не совместимы между собой. Важна не база, важен документ, который заливается в базу!
@MrDewiar а если использовать ту же модель или похожую по размерности и другим параметрам, то будет ли бд тогда совместима? Для общей образованности спрашиваю. Просто не всегда и не у всех есть возможность заниматься генерацией бд, однако для бизнеса думаю будет удобно в случае переноса скажем своего сервиса просто упаковать все свои данные в чемодан и переехать на другой сервер
@@MrDewiar скажем упаковать ассистента в докер со всеми моделями, зависимостями и данными, чтобы можно было скачать архивом. Как доп услуга, за деньги
@gadellatypov63 это хорошая мысль.. я делаю полностью автономное решение, которое можно будет полностью упаковать чуть ли не на флешку, и затем развернуть на любом предприятии, в закрытом контуре .. я так и мечтаю сделать.. но еще мозгую
Да просто последний используемый уезжает наверх, или пусть сортируются по количеству использований. Это стандартные походы к интерактивным меню
Я так и делал, по умолчанию.