ChatGPT с ТВОИМИ данными
HTML-код
- Опубликовано: 13 июн 2024
- Сделать ChatGPT еще полезнее можно если скормить ему свои данные. Так можно поговорить со своим кодом, документацией, книгами с любым текстом. Код для этого писать не обязательно, но подевопсить придется. В этом видео я расскажу как настроить систему и загрузить в нее свои данные.
Всё в тележке 👉 t.me/seniorsoftwarevlogger/1350
Доступ к плюшкам:
boosty.to/seniorsoftwarevlogger
www.youtube.com/@SeniorSoftwa...
00:00 Жэпети свои данные
00:44 Databerry
02:02 Vector store, как это работает под капотом
07:45 Запускаем
08:11 Обзор chaindesk.ai
09:03 Создадим Datasource
12:38 Поговорим с телеграмом
15:00 Поговорим с кодом
16:46 Настройка системы локально
20:23 HTTP API системы
21:29 20 строк кода
23:24 Важные замечания
Senior Software Vlogger - канал о жизни людей в айти и интересных фактах. Написание кода, интервью с программистами, переезд на ПМЖ в другие страны, лайфхаки профессии.
#программирование #ityoutubersru 
Развлечения
Про это видео: t.me/seniorsoftwarevlogger/1350
Мы делаем стартап: t.me/startup_reports
теперь 300 страниц туда зафигарить можно 🙂
Большое, просто огромное спасибо за это видео. Побольше бы такого формата!
Как же кайфофо смотреть видео где знающий тему, рассказывает спокойно, по простому.
низкий поклон! этот выпуск был мега важен для моего проекта! спасибо!
Видео просто ОГОНЬ!
Очень хорошо объяснил
Спасибо тебе за сервис, добрый человек.
Вся эта история мне напоминает опенинг древнего сериала "чудеса науки" где чуваки загружают информацию из журналов в компьютер и таким образом создают компьютерного джина в виде сексапильной тяночки. Я, будучи ребенком опытным в компьютерных делах, всегда морщился с этой заставки для лохов, считающих компьютер магической шайтан-коробкой. А теперь это реальность. Теперь ты буквально можешь загрузить в компютер книги, журналы, видео на твой вкус и получить советника, который не просто будет болтать с тобой, но даже будет имитировать определенные предпочтения и взгляды на жизнь. Если постараться, ему можно даже внешность и голос прикрутить. Чудеса науки.
Это то что я искал, спасибо 👍
Спасибо за видео!
Я ЭТОГО ИСКАЛ, ИСКАААЛ, СЛЫШИТЕ? Я ЭТОГО ИСКАААААЛ И НАШЕЛ. ТЕПЕРЬ СДЕЛАЮ ЭТО!
Дима, спасибо!
Мощно!
спасибо 🥰
thank you master!
Круто! Спасибо за урок! И спасибо за ламповое клацанье
жесть что за стикер огромный такой, я думал у меня реклама какая-то вылезла
спасибо!
Кайф, спасибо!
1) Можешь объяснить, на что влияет выбор vector stores?
2) Ты говорил, что нельзя закидывать мусор в качестве данных и лучше их отдавать частями. Ты пробовал закидывать книги и таблицы? Можешь ли дать советы, как это лучше делать?
1. Вот норм статья www.peritus.ai/post/things-to-consider-while-choosing-a-vector-database
2. Я на видео закинул пдф и сработало отлично. По поводу таблиц могу предположить, что решается либо трансформацией данных в текст, либо продвинутым токенизатором. Возможно gpt4 лучше поймет структурированные данные.
Господин синьор! Мне, простому смертному, хотелось бы обратить ваше высочайшее внимание на то, что ТОКЕНИЗАЦИЯ И ЕМБЕДДИНГ - ЭТО РАЗНЫЕ ВЕЩИ, БЛЯТЬ!!!
Хорооош 🤝 спасибо за инфу
Иисус... Не узнаю вас в гримме 😅, но в любом случае контент топчик, спасибо тебе ❤
chatGPT использует langchain который возвращает подходящие чалки, далее они идут в запрос =)
Ты кто?(шутка конечн) Почему я Незналао тебе раньше! Спасибо тебе разложил по полочкам! Лайк, подписка и уважение за качественный контент❤
Спасибо за видео. Подскажи, пожалуйста, не попадались ли аналоги для работы с большими Excel - файлами? Этот "горшочек" даже не справляется с подсчётом строк в загруженной CSV.
Не попадались. Конкретно эта система с Эксель будет плохо работать потому что это просто умный поиск перед Chatgpt. Если рядом с экселькой ты положишь метаданные: то же количество строк, то она сможет найти эту информацию.
@@SeniorSoftwareVlogger спасибо!
А локальные Azure OpenAI модельки вместо классического OpenAI API из коробки не поддерживает?
6:00 Большой спасибо за видео, было очень инетерсно. Не мог бы ты в одном из следующих видео разобрать тему с вот этой другой моделью? Если что, у меня хватит ОЗУ - 64 ГБ ДДР5 на домашнем и 128 ГБ ДДР4 на рабочем.
Я там скорее всего напиздюнькал про ОЗУ, можно покопать в эту сторону.
@@SeniorSoftwareVlogger так в итоге chaindesk использует локальную LLM? или данные всё так же могут утечь в сеть
использует openai
LLMStack скорее всего может работать с Local AI, по крайней мере я видел такую строчку в обзорном видео. Так что можно, думаю, скачать какую-нибудь модель с Hugging Face и работать локально. Думаю 32B модели будет вполне достаточно для этого, по крайней мере Wizard Vicuna 30b произвела на меня хорошие впечатления. Занимает на диске чуть больше 20Гб, а оперативной памяти нужно будет зарезервировать до 32Гб. Правда при этом инференс на таком процессоре как Intel Xeon E3-1230v2 занимает весьма много времени. Задержка между запросом и ответом может достигать минуты и более. Скорость генерации тоже не впечатляет.
@@somerndid 150 тысяч тенге за две планки кингстона в 2022 году
Это все еще актуально? или с новой версией можно тоже самое делать через openai?
Здравствуйте, а как возможно по умному AI переписать статью с одной темы на другую соблюдая стиль и структуру,. Например сохранив объект, а заменив сам предмет и уже писать о нем , а не заменив слова? Меня интересует чтобы я загрузил файл курсовой работы переписать его.
То что вы показали это ответы из файла.
Отлично, как раз хотел такое, но те решения, что я использовал оказывались или дорогими или не удобными.
Спасибо большое, я даже не знал, как раз думал как найти подобную систему. А Вы знаете, он поддерживает агента для аордпрессовского сайта?
Там есть js агент, я думаю, что его можно внедрить на WP
интересно было бы подвязать все на плагин для чатпт и на плагин для пичарма, чтобы связать свои проекты
А его на убунту можно развернуть? У меня все запускается, но на локалхост 3000 не заходит
Интересно, а что за переключалка вкладок у тебя такая?
это браузер Arc
Дмитрий, а какой браузер используется в видео?
Arc
embedding располагает слово в многовекторном пространстве, поэтом связи слов и их синонимы располагаются рядом
То есть основную работу по поиску ревалентных кусков делает база данных. А не могли бы вы посмотреть какой получится промпт, если найденных кусков будет 10 или более, и не запутается ли в них модель?
Согласен, может и не нужен GPT. Хотелось бы поподробнее этот момент, может достаточно показать пользователю эебединги в виде текстов? Если в них будет ответ, зачем слать в GPT и потенциально получать на выходе галлюцинации? Прошу сделать отдельный видос по этому моменту. А вообще спасибо, как раз эту тему изучал: в Yandex Cloud предлагается "Анализ текстовой информации" с помощью YaGPT, но в альфа версии и по заявке - не для всех. Ну и плюс локальный вариант - надежнее, мало ли.
Конечно запутается. Более того проблем море: названия термины, факты, жаргон и сами типы вопросов, ведь бывают вопросы с ложной посылкой или неоднозначные. И промт типа отвечай развернуто и фактологично в рандомных местах ломает ответ.
Я что-то не понимаю? Мне нужен доступ к их репозиторию?
Ссылок никаких, ссылка в телеге ведёт на пустой гит..
Так это бесплатно что ли доступ к GPT4 доступ получается?
привет Тарзан-Програман
Я могу ошибаться, но если где-то паршивый поиск, то нам, в любом случае, еще надо данные c этого источника собрать (при паршивом поиске) подготовить и разметить, прежде чем загнать в стор. Будет ли игра свеч стоит.
И вопрос еще есть. Ты в начале говоришь что мы можем общаться с книгой. А как? У нас же никуда ограничения на размер context window не делись же? Мы книгу загоним и там за пару-тройку страниц у нас контекст и закончится же. Или я недопонял что-то на базовом уровне про этот инструмент?
Текст разбивается на куски по 250 токенов и куски по отдельности сохраняются в БД. Модель на вход получает запрос и несколько кусков.
@@Nandarion так вопрос в том как будет сохраняться "память" между чанками когда их суммарный размер превысит размер контекста модели. К тому же 250 токенов это длина одного твита.
@@justrocket1231 Между чанками нет никакой памяти, при запросе БД просто выбирает несколько самых подходящих.
@@Nandarion т.е. идея в том, чтобы скормить в чатгпт не всю свою книгу, а лишь подходящие главы? По сути в промт загружается отфильтрованная выжимка из книги и юзерский вопрос? При этом проблема, когда для полноценного ответа требуется бОльший кусок информации никак не решается?
upd
Например, у меня есть своя книга "Война и Мир" и я хочу найти в ней все слова-паразиты. Эта схема мне не поможет?
@@dll220 Угу. не поможет. Если нужная информация размазана, то одним промптом решить задачу невозможно.
Интересная идея сам давно хочу что-то подобное реализовать Ну не где-то там в телеграме Или Гекхак А на компьютере. Вроде есть портативные версии но играться в консоли или терминале уже надоело где бы найти Готовое решение например в exe файле чтобы можно было запустить указать ему на каких данных тренироваться В общем нормальный человек понятный интерфейс Без разных командных строк. Типа как докрутили стейблдиффюжин От автоматика.
Тут суть работы не в программировании (там 200 строк кода), а в настройке структуры и содержании документации. Мы у себя в компании как раз такое делаем. Сейчас вышли на точность ответов в 94%. Это реально круто и работает!
@@dmitrybryantsev6332 я вроде понимаю, но понимаю, что не повторю такое. А как бы научить этот весь колхоз разговаривать с данными в Obsidian? Этож будет абсолютное оружие разума )))
Прошу, объясните мне. Нужен лиц ключ чтоб это работало ? Или это может работать на моем сервере и больше мне ничего не нужно? Версия бота 3.5 подойдет даже.
Нужен будет платный аккаунт для open ai API
А как запустить это чудо? инструкцию подробную бы
Можно подробные шаги добавления БД в PGadmin ?
t.me/c/1419874945/37622/37647
@@SeniorSoftwareVlogger Битая ссылка , можешь обновить привет!
Где скачать все это?
а как туда запушить гитхаб репозиторий в эти датасеты?
Я думаю можно написать скрипт, который по одному файлу проиндексирует репу и расставит обратные URL ссылки
В каком инструменте вы работаете (Показан на 10:30)?
В смысле браузер? Это Arc.
Тоисть юзание его будет платным?
некоторое количество денег потратить придется
Внедрить эту штуку в PKM систему и действительно получится второй мозг!
РКМ в какой области?
А как сделать чтоб он голосовым был?
Спасибо за видео, очень полезно. Никто случайно не сталкивался с тем, что при подключении агента к датасоурс в чате вместо ответа ошибка AxiosError: Request failed with status code 500. Судя по логу, проблема на стороне qdrant, но пока не смог найти решения. qdrant::actix::helpers error processing request: The replica set for shard 0 on peer does not have enough active replicas и как следствие = bad response на стороне клиента
Возможно не создан bucket в minio
@@SeniorSoftwareVlogger да не, это все сделал по гайду, даже объекты в нем появились
Получилось стартануть? У меня в ошибку валиться databerry-base-api-1 Может есть решение?
This error happened while installing a direct dependency of /home/node
2023-09-21 13:36:58 undefined
" not found13:36:58 ERR_PNPM_RECURSIVE_EXEC_FIRST_FAIL Command "prisma:migrate:dev
2023-09-21 13:36:58
2023-09-21 13:36:58 Did you mean "pnpm prisma:migrate:dev"?
2023-09-21 13:36:59 undefined
" not found13:36:59 ERR_PNPM_RECURSIVE_EXEC_FIRST_FAIL Command "dev:all
2023-09-21 13:36:59
2023-09-21 13:36:59 Did you mean "pnpm dev:all"?
2023-09-21 13:36:59 ###### READY TO ROCK !
2023-09-21 13:42:00 ###### INITIALIZING PROJECT
: not found13:36:59 /home/node/.dev/init.sh: 13:
2023-09-21 13:36:59 sleep: invalid time interval 'infinity
'
2023-09-21 13:36:59 Try 'sleep --help' for more information.
: not found13:42:00 /home/node/.dev/init.sh: 2:
: not found13:42:00 /home/node/.dev/init.sh: 3:
2023-09-21 13:42:00 /home/node/.dev/init.sh: 4: cd: can't cd to /home/node
: not found13:42:00 /home/node/.dev/init.sh: 6:
isn't supported by any available resolver.ORTED_BY_ANY_RESOLVER
2023-09-21 13:42:02
2023-09-21 13:42:02 This error happened while installing a direct dependency of /home/node
: not found13:42:02 /home/node/.dev/init.sh: 8:
2023-09-21 13:42:04 undefined
" not found13:42:04 ERR_PNPM_RECURSIVE_EXEC_FIRST_FAIL Command "prisma:migrate:dev
2023-09-21 13:42:04
2023-09-21 13:42:04 Did you mean "pnpm prisma:migrate:dev"?
: not found13:42:04 /home/node/.dev/init.sh: 10:
2023-09-21 13:42:05 undefined
" not found13:42:05 ERR_PNPM_RECURSIVE_EXEC_FIRST_FAIL Command "dev:all
2023-09-21 13:42:05
2023-09-21 13:42:05 Did you mean "pnpm dev:all"?
: not found13:42:05 /home/node/.dev/init.sh: 13:
2023-09-21 13:42:05 ###### READY TO ROCK !
2023-09-21 13:42:05 sleep: invalid time interval 'infinity
'
2023-09-21 13:42:05 Try 'sleep --help' for more information.
А как для локальной модели так сделать?)
Если конкретно с databerry, то надо будет немного покодить.
Привет, очень "сырой" сервис... Спасибо за информацию!)
сколько это стоит?
а бот может по мере развития проекта записывать данные в бд "для себя"? сейчас я вижу, что он может читать оттуда и вызывать внешние функции
Какую базу данных вы имеете ввиду? Бот это обычная программа. Она может записывать в любую СУБД любые данные, которые видит
@@SeniorSoftwareVlogger ну я сейчас пытаюсь придумать "прожект-менеджера", который может создавать таски в борде, опрашивать программистов, что сделано, формировать отчеты и отвечать на уточняющие вопросы. для всего этого нужна долговременная память, векторная бд, или типа того. было бы прикольно, если бы бот мог не только считывать документы, но и дописывать в них историю развития проекта в каком-то нативном формате...
Память нужна GPU а не оперативка ;)
А он умеет в многоязычность? Например если документы на испанском, а я по-английски спрашиваю?
отбой, досмотрел до 25:00
Даже пророк Иешуа уже на ютубе…
Просто супер!!!
Но чет получаю ошибку от /v1/embeddings - 429 Too Many Requests
По локальной настройке - все настроил по реководству.
- Ключ openai получил.
- Добавил в pg записи о подписке своего юзера
- Создал бакет в s3. (вижу, что в нем появляются новые объекты.
- Создал Datastore и Agent
-
Решил попробовать на PDF книге сразу. В stdout в логах databerry-base-api-1 вижу эту ошибку.
Создал обычный текстовый Datastore из 3 абзацев текста. Для него агента. Все равно эта ошибка.
Единственное на что сейчас грешу, что ключ openai я получил. Но там у меня бесплатная версия.
Может кто подсказать, в чем проблема?
databerry не обрабатывает код ошибки от openai api, когда много нужно проиндексирвоать сервис просто шлет все разом в api и отваливается с ошибкой
Странный подход. Получается чанки из документа для отправки в промт ищет векторная база данных. А если эта база не справится? Если встроенное сравнение векторов не вывезет? Да и объем чанка мал, контекста мало. Видется мне что сама LLM более мощный инструмент, она сама должна напрямую смотреть в документы. Если через апи OpenAI это не сделать то лучше сразу поднимать какой-то аналог локально и работать с ним. По мне это более правильный путь поиска по своим данным. Если не хватает ресурсов то можно попробовать уменьшенные оптимизированные модели, их вроде много вышло
Справляется отлично для умного бота службы поддержки, например. А то что вы описали это уже дообучение сети и вот так просто на своей машине сети таких масштабов пока нельзя дообучать.
Ииисус!
А что за браузер у автора?
Arc
Привет, попалось твое видео, расскажи про fractalGPT
выглядит как реклама
сколько денег на openai api уходит?
Зависит от использования. У них на сайте есть тарифы за количество токенов.
@@SeniorSoftwareVlogger я знаю про тарифы, имел ввиду сколько у вас в обычном режиме использования..
Я использую для других целей. Уходит баксов 10-20 в месяц
Я запустил все докер контейнеры [+] Running 8/8
✔ Container docker-minio-1 Running 0.0s
✔ Container docker-init_bucket-1 Started 0.0s
✔ Container docker-maildev-1 Running 0.0s
✔ Container docker-qdrant-1 Running 0.0s
✔ Container docker-pgdb-1 Running 0.0s
✔ Container docker-pgadmin-1 Running 0.0s
✔ Container docker-redis-1 Running 0.0s
✔ Container docker-redis-ui-1 Running 0.0s
Но как понимаю падает скрипт Dockerfile sh: 1: turbo: not found
ELIFECYCLE Command failed.
WARN Local package.json exists, but node_modules missing, did you mean to install? Мне нужно устанавливать nodejs/npm ?
Обложку к видео сложно понять
А она же должна быть кликбейтной
Я Олег
6:14
Подари чату гпт свои данные и заплати ему
зачем так заморачиваться с конвертацией pdf, jpg, ссылок на соц.сети и т.п. в текст и городить прочие костыли?)) не проще для этой цели воспользоваться claude ai, который с такими файлами спокойно работает?
Это нужно чтобы локально сузить контекст, который будет отправлен сети.
Можно ли так ему сворить целую книгу?
Да
капец, вылитый Толян Линкинсимпс, только с длинными волосами
Не придумывай
Этих ботов сейчас везде встраивают. Даже в последней версии браузера Опера появились вкладки ChatGPT и их кастомного бота. Проблема в том, что они не работают (возможно из-за большого количества запросов). Интересно, ChatGPT на локальном компьютере можно запустить?
Интересная вещь. Скормив все посты какого-нибудь пользователя, то можно будет спросить бота представляет ли этот человек опасность или имеются ли в его постах какие-либо экстремистские или дискриминационные высказывания. Цифровой гулаг уже совсем скоро.
Да с этим и без того справлялись
Забили бы вы уже на этоу политизированную помойку Chat GPT и работали бы с нормальными языковыми моделями которые не лезут в политику и не устраивают нацизм блокируя пользователей по национальности и месту жительства. Дизлайкать не стану ибо люблю твой канал, но ей богу уже в печенках сидит рекламирование этой гадости которая так по свински поступает.
Поделись ссылками на нормальные языковые модели, пожалуйста?
@@SeniorSoftwareVlogger Так собственно и обращаюсь к вам как к профессионалу который бы протестировалы бы полный спектр нынешних моделей что бы выявить плюсы и минусы, сравнить с тем же чатом. Лично я на данный момент пользуюсь в работе Writesonic, Perplexity и ради развлечения и мониторю ещё 3 проекта , так как у них мне кажется есть неплохой потенциал это BAI Chat, YOU AI chat, AgentGPT (Лама на своей машине так же стоит, но её советовать не буду, это на любителя)
Perplexity powers its ‘answer engine’ with Azure OpenAI Service.
Writesonic: As they say, where there's a will, there's a way; Samanyou discovered that Open AI had just launched GPT-3. Within a few days, he built an AI-powered landing page generator using GPT-3. The product went viral and became one of the top AI Writers.
@@SeniorSoftwareVlogger Я знаю что это такое :) Я с этим работаю. Но например я был бы заинтересован узнать какие ещё есть хорошие альтернативы тому же чату жпт, нельзя полагаться на один инструмент особенно когда он так политизирован.
@@AnshegarНе думаете ли вы, что любая информационная технология, которая становится массовой, обречена стать политизированной тем, кто управляет этой технологией? Я понимаю ваш посыл, но такова правда, что власть одних над другими это в первую очередь власть над информацией, которая вливается в из мозг. Википедия в зачатке была отличной идеей свободной энциклопедии, где каждый мог делать правки. Но осмелится ли кто-то сегодня сказать, что Википедия по прежнему свободна от влияния политики?
та просто GPT4all качаешь и не мучаешься. То что ты показываешь уже устаревший подход)
Зачем мучаться с кодом, когда уже написали норм апликуху под все платформы.
ты точно смотрел видео?
Какой сеньор называет /etc/hosts ЕЦТ??? )))) ору
Тот же, что говорит пэхапэ и веб.
@@SeniorSoftwareVlogger какая связь? Перестановка букв меняет значение слова полностью. В этом примере никакой перестановки нет.
ваше видео уже устарело, сейчас не нужно проходить такой гемор, у опенай есть уже решение
и?
это прям аналог ? Опен АИ также внутри документов индексирует и выдаёт ответ ?
не умеет объяснять. сумбурно, непонятно, без примеров
Какая у тебя бесячая громкая клавиатура, невозможно слушать это печатанье
Друган я это искал! Но нехрена не понял. Суть в чём! Нам бы по шаговое видео и было бы круто
Иисус, это ты?
@Eldar Gerfanovсын иисуса, Столлмана)
ИИ сус )
Сколько еще раз стоит так пошутить, чтобы это действительно стало смешным?
Да!!!
НейроИИсус
Пиздеж чистой воды. В платной версии GPT есть возможность работать со своими данными
УЖЕ есть