Подписался и поставил лайк хотябы просто потому что без музыки на фоне с хорошо поставленной речью и заготовленной структурой видео человек смог рассказать всё что требовалось по данной теме.
Спасибо за столь подробный гайд по установке! Столкнулся в проблемой по работе с qdrant, но быстро нашёл решение поменять на chroma. Всё остальное прошло без проблем. И да, запускал на Ubuntu 22.03 под WSL2. Лайк и подписка!
Всё получилось, ждём дальнейшего развития. Я, хотел бы к этой модели присоединить заметки из Obsidian они в формате md маркдаун, и хотел бы чтоб я делал заметки так же в Обсидиане, а запросы в этом локальном чате. Было бы круто.
4:43 Для MacOS (пришлось искать самому): 1. Предварительно нужно выйти в корневую попку пользователя: cd ~ 2. Установка и создание виртуального окружения: python3 -m venv localGPT 3. Активация виртуального окружения: source localGPT/bin/activate В дальнейшем вместо "py" использовать "python3"
Это LLAMA и Mistral, обе по 7B параметров. Попробуй Phi-2 от Микрософт, она выигрывает по бенчмаркам. У маленьких моделей размер контекста не очень тоже. Это надо будет учитывать при разработке.
Интересно, тоже полный ноль в программирование учусь на коленке, спасибо за инструкцию и "легкость языка". А Вы не пробывали сделать что-то подобное но уже на сервере в облаке, чтобы можно было зайти в "свой gpt" с любого устройства ?
Сделал всё как написано, но на этапе poetry install --with ui возникает ошибка “Group(s) not found: ui (via --with)". Подскажите пожалуйста с чем это может быть связано. Спасибо
Целый день провозился с ошибкой No CUDA toolset found Solution: I copied the four files from C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\extras\visual_studio_integration\MSBuildExtensions And pasted into C:\Program Files\Microsoft Visual Studio\2022\Community\MSBuild\Microsoft\VC\v170\BuildCustomizations
Спасибо ! Очень ценная информация! Потому что немного напрягает эта вся хрень с маркетингом глобальных GPT и всей этой байды про генерацию картинок и аватарок, которые имеют негативную полезность.
Здравствуйте. Никак не хочет устанавливаться llama-cpp-python. Пробовал и разные версии ставить. Ошибка. Тем не менее, подписался. С наступающим Новым Годом! P.S. Нашёл решение - нужно доустановить пакер C++ в Visual Studio 2022 Но возникла ситуация, когда GPT работает лучше на процессоре ( i7-12650H), чем на видеокарте (MX 550) и я не знаю как вернуться к использованию CPU.
MX550 слишком старая и бесполезна для ML задач. Минимальная видюха, насколько помню, Geforce 20-ой серии, и памяти на карте как можно больше, не менее 8ГБ (многие пишут, что кол-во памяти даже важнее свежести процессора, т.е. GF 3060 с 16ГБ лучше чем 4060 с 8ГБ. Откатиться на режим CPU в крайнем случае можно удалением и переустановкой с нуля, но скорее всего надо где-то один ключик в строке запуска поменять (найти нужный запускаемый файл с конфигом).
В свое время купил видеокарту от AMD, давльно производительную, но как вижу сейчас в основом все локальные нейросети работают с CUDA, поддерки ROCm нет. Хотел бы узнать может ты знаешь похожую модель с поддержкой ROCm на Linux? Естсетвенно приходится использовать Linux, так как у WIndows нет поддрежи ROCm.
Очень интересно. Давно думал о безинтернетном чат GPT. Непонятно только насколько старая версия чата. Громкость звука на видео иногда сильно возрастает. Ну и было бы неплохо акать поменьше, раз в сто.
Подробнее пожалуйста о данной модели, есть Русский язык, как она с документами работает и так далее. Благодарен за откровенность о трудностях с которыми вы сталкивались и ответами на эти трудности. С сам пытался локально установить несколько моделей но заработала только одна (из шести) это Alpaca electron а модель конкретно не скажу нет сейчас такой возможности. иесли заинтересовао то напишу точно модель. 😊
@@user-bs4yb6me3k вопрос: что написано в документе х ? ответ: Hello! I'm an assistant designed to help answer questions in English. If you have a question or topic you'd like assistance with, please feel free to ask in English and I will так что с русским она не работает.
Делал всё как на видео но столкнулся с ошибкой. Как её исправить? (localGPT) C:\Users\Serega\privateGPT>poetry install --with ui "poetry" не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
Не могу выполнить команду poetry install --with ui пишет: poetry : Имя "poetry" не распознано как имя командлета, функции, файла сценария или выполняемой программы. Проверьте пр авильность написания имени, а также наличие и правильность пути, после чего повторите попытку. строка:1 знак:1 + poetry install --with ui + ~~~~~~ + CategoryInfo : ObjectNotFound: (poetry:String) [], CommandNotFoundException + FullyQualifiedErrorId : CommandNotFoundException
если память не изменяет нужно выполнить pipx ensurepath чтобы poetry стало доступно, перезапустить окно командной строки и выполнять уже дальше. Или как ниже посоветовали установить так python -m pip install poetry
То есть это считай свой чат гпт без использования платного апи которого ты сам обучаешь? А можно его обучить и поставить на сервер без 5 гб и чтобы он отвечал людям по определнной теме?
из всех замечаний - очень тихий звук, но периодически он прыгает на очень высокий уровень, к примеру среднее значение звукового индикатора 20% достаточно для 99% видео на вашем пришлось выкрутить на 80!
@@takethejunioroutofthelamp в лм я правда не разбирался как свою модель сделать но она поддерживает много разных форматов. Так что собрать свою модель и просто указать файлик я думаю не проблема. Кажется больше сложностей обучить нейронку. Будет видео по этой теме?
Если у кого-то не запускается, то проверьте, что бы физическое имя папки совпадало с именем в скрипте. У меня папка называлась PrivateGPT, но в скрипте папка вызывалась privategpt, я 3 часа никак не мог понять. Оказывается скрипт чувствителен к регистру!! Если gpt скормить файл на русском языке то он его не обработает( модель обрабатывает только английский
Что , уже ? А я от очень компетентного дядьки вчера слышал что он обещает полноценный автономный джипити чат на смартфоне без интернета к концу года . Там речь шла о том что это ужмется до 2 гигабайт. Вот этот уважаемый человек ruclips.net/video/xOr80pCpd0k/видео.htmlsi=bxkMUFYFFqBf3ZSf
Давно мечтаю установить для личного использования.. Типа собственный ИИ - ассистент. Но чёт заморочено слишком.. Как всегда с этими линуксоидными проектами.. 100500 зависимостей, 100500 пакетов, 100500 конфликтов... А на какой конкретно видеокарте запускался gpt в этом видео?
Спасибо, еще хотелось бы что-то вроде топа моделей увидеть, какие локальные модели ближе всего к гпт4 можно использовать? Я бы хотел максимально нагрузить свое железо (64gb ddr5, gpu: 7800xt с 16гб видеопамяти)
Llama3 8b instruct вам нужна. 16гб видеопамяти позволит использовать модель в исходном качестве, это хорошо, так как сжатие сильно шакалит способности модели в русском языке.
пробую за автором повторять. установлен вин10-64. возможно у автора что-то еще было установлено. у меня ошибка на этапе установки библиотек Installing llama-cpp-python (0.2.23): Failed. даже отдельно устанавливать пробовал но все равно ошибка CMake build failed. и даже vc2017 установил.
@@commandergdi9795 спасибо, но я доустановил все и ничего не помогло. возможно все же не все, но что автор упоминал и что оно потом само предлагало, включая распространяемый пакет вижуал си.
Здравствуйте! При использовании команды "poetry install --with local" у меня возникает вот такая ошибка : at C:\AiWork\localGPT\Lib\site-packages\poetry\installation\chef.py:164 in _prepare 160│ 161│ error = ChefBuildError("
".join(message_parts)) 162│ 163│ if error is not None: → 164│ raise error from None 165│ 166│ return path 167│ 168│ def _prepare_sdist(self, archive: Path, destination: Path | None = None) -> Path: Note: This error originates from the build backend, and is likely not a problem with poetry but with llama-cpp-python (0.2.23) not supporting PEP 517 builds. You can verify this by running 'pip wheel --no-cache-dir --use-pep517 "llama-cpp-python (==0.2.23)"'. А как решить не заю, помогите пожалуйста!
Фрагмент ок. 11:00, где GPT на _Hey_ отвечает _Hello_ - это, похоже, работает "заглушка", а не реальная LLM. В документации по этому поводу сказано: _You should see a Gradio UI configured with a mock LLM that will echo back the input_
расскажите , плиз, об установке на локальную машину AUTOGPT. Можно его замкнуть не на API ChatGPT, а на данную модель, установленную локально? Так чтобы получился полностью автономный агент.
У меня poetry в командой строке после всех действий пишет, что не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
Такая ошибка говорит о том, что poetry не добавлен в path. Решения два: первое обращаться к poetry полным путем, второе - загуглить как можно добавить poetry в path
@@takethejunioroutofthelamp я добавлял сразу в path потом самостоятельно ибо знаю эту ошибку, но это не помогло, помогла команда python -m pip install poetry
Вам нужно посмотреть в сторону FractalGPT, потому что обычный RAG порождает неустранимые галлюцинации при ответах на вопросы в рандомных местах, особенно это непредсказуемо на больших объемах, сложных структурах текста, законах, документации, и пр
Автор видео : Всем привет , подписчики канала Я , открывший канал впервые , не понимая ещё стоит ли подписываться : Ну ок , пошёл я нахрен , зачем меня приветствовать , какого-то ноунейма . (Душнилово ON)
Боюсь, что главный вопрос тут - а зачем вообще повышать частоты? Задач, где не хватает текущих частот не просто мало, а очень-очень мало. Попробуй найди еще такую. Оверклокинг потому и потерял популярность, что публика перестала понимать, зачем это нужно. Вот то ли дело было во времена FX... Сейчас же у меня вон проц по бумагам может до 4,7ГГц, но работает на 3,8ГГц. А потому что я залочил частоты ему - 25% мощности не такая и большая потеря, а вот нагрев, шум охлаждения и износ железа - куда критичнее.
Привет! Какую версию CUDA вы ставили? У меня работает только на CPU, команда переключения на gpu заканчивается ошибкой что llamacpp не может найти путь к cuda
Жаль, заметно медленнее работает? В видео было показано как я устанавливал CUDA, найдите и посмотрите пожалуйста Если поделитесь текстом ошибки или скрином, было бы легче вам помочь
Те кто шарят, скачайте репозиторий, скормите архитектуру АРМ нейронке, у меня есть идея но реализовать я еë не могу, не реализованная идея - мертвая идея.
не работает. ошибка note: This error originates from a subprocess, and is likely not a problem with pip. ERROR: Failed building wheel for llama-cpp-python Failed to build llama-cpp-python ERROR: Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based projects
не работает. скачал все библиотеки все зависимости cuda и тд. и на самой последеней команде ошибка note: This error originates from a subprocess, and is likely not a problem with pip. ERROR: Failed building wheel for llama-cpp-python Failed to build llama-cpp-python ERROR: Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based projects потратил кучу времени, переутснавливал 2 раза но эта ошибка так и не решилась
давно мучает вопрос, хочу узнать - сгорит ли видеокарта или компьютер если много пользоваться таким локальным чат гпт? Мне кажется это огромная нагрузка на комп, в железе не разбираюсь.
При отправки сообщения чату jpt по ссылке localhosta у меня выдаёт след. проблему: error Collection make_this_parameterizable_per_api_call not found Всё делал строго по инструкции и ошибок выполняя команды не было
Установил, с плясками с бубном.. остановился на том что выдает ошибку если дать ему файл doc : 'charmap' codec can't decode byte 0x98 in position 790: character maps to не понимает кодировку .
@@rusorder7191если ты зайдешь в файл settings.yaml увидишь что у тебя помимо LLM модели, также подключена модель embeddings, твой текст делится на чанки, оцифровуется и добавляется в векторную базу chroma (или какая там стоит по дефолту) и потом когда ты задаешь вопрос LLM модели алгоритм +- повторяется и находится максимально релевантный ответ по твоему вопросу. Если в файле 1.txt было написано что Ване 15 лет и он учится в 9 классе. После запроса в LLM - "Что ты знаешь о Ване", модель ответит тебе информацию из файла. В двух словах происходит вот так
BLAS = 1 у меня показал но вот я вообще не ощутил прироста производительность карта 3050 - может какие то настройки еще нужны? у меня еще есть gpu на cpu - может он не тот юзает я хз
Подписался и поставил лайк хотябы просто потому что без музыки на фоне с хорошо поставленной речью и заготовленной структурой видео человек смог рассказать всё что требовалось по данной теме.
Приятно видеть образованного человека, говорящего по теме! Пожалуйста, продолжайте в том же духе! Отличный обзор!
Спасибо за столь подробный гайд по установке! Столкнулся в проблемой по работе с qdrant, но быстро нашёл решение поменять на chroma. Всё остальное прошло без проблем. И да, запускал на Ubuntu 22.03 под WSL2. Лайк и подписка!
Всё получилось, ждём дальнейшего развития.
Я, хотел бы к этой модели присоединить заметки из Obsidian они в формате md маркдаун, и хотел бы чтоб я делал заметки так же в Обсидиане, а запросы в этом локальном чате. Было бы круто.
Тоже сразу об этом подумал =)
А вдруг gpt+obsidian=сильный ИИ... куды тогда бечь? Шутка.
Странно, но как только я начал изучать obsidian, то попалось это видео.думаю, это не совпадение
Не совпадение ИИ уже подсказывает человеку как и что делать, чтобы полностью заменить собой человечество. (Сарказм, если что)
Видео класс. Можешь показать как обучать на своих данных, допустим базу подключить офисную
4:43 Для MacOS (пришлось искать самому):
1. Предварительно нужно выйти в корневую попку пользователя: cd ~
2. Установка и создание виртуального окружения: python3 -m venv localGPT
3. Активация виртуального окружения: source localGPT/bin/activate
В дальнейшем вместо "py" использовать "python3"
Windows и mac можно выбросить, винда сосет оперативки и валит процессор, у маков железо слабее чем у х86 систем.
Друг! Спасибо тебе! Я написал Prompt и PrivateGPT уже во всю помогает мне с моими задачами в коде. Спасибо!
Можно поподробнее, как писать этот промт, что бы помогал с кодом. Спасибо
Ничего себе размах. Крутые планы. Будет интересно посмотреть что из этого получится. Удачи!
Thank you! The other strategies with other youtuber's had not worked previously until I followed yours.
Ждём видео с тестами скармливания файлов и работы с ними
аналогично
Ага
Человечище, отдельный респект за цу по работе с репозиторием!
Спасибо!
Очень информативное и хорошее видео! Большое спасибо автору. Очень интересно, что будет дальше
Спасибо!
Спасибо, было круто. Очень интересно про обучение модели на своих данных
Это LLAMA и Mistral, обе по 7B параметров. Попробуй Phi-2 от Микрософт, она выигрывает по бенчмаркам. У маленьких моделей размер контекста не очень тоже. Это надо будет учитывать при разработке.
С таким интересом я видос еще не смотрел) спасибо, взял на вооружение
очень интересно! надеюсь все получится! удачи!
Спасибо!
Привет, а можешь сделать урок, как свою нейронку обучать, именно в этом пакете? К примеру после обучения свою модель подгрузить и т.д. Спасибо
кишка тонка у твоего компа для обучения, только максимум на gpt2.
Круто! Ждем продолжения.
Спасибо! Ждем след. вид. как загрузили свою базу знаний и каковы результаты.
Неплохое руководство
Есть путь проще - LM Studio
Интересно, тоже полный ноль в программирование учусь на коленке, спасибо за инструкцию и "легкость языка". А Вы не пробывали сделать что-то подобное но уже на сервере в облаке, чтобы можно было зайти в "свой gpt" с любого устройства ?
Сколько информации она способна принять для дообучения? Сколько токенов способна принять и сколько вернуть? И какого года у нее база данных?
Сделал всё как написано, но на этапе poetry install --with ui возникает ошибка “Group(s) not found: ui (via --with)". Подскажите пожалуйста с чем это может быть связано. Спасибо
poetry install --with ui не сработало до установки именно pip install poetry (без pipx)
+
Очень приятная грамотная речь.
супер, спасибо
можно завернуть всё в докер (если еще нет нет готового имиджа), что систему не мучать
Целый день провозился с ошибкой No CUDA toolset found
Solution:
I copied the four files from C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\extras\visual_studio_integration\MSBuildExtensions
And pasted into C:\Program Files\Microsoft Visual Studio\2022\Community\MSBuild\Microsoft\VC\v170\BuildCustomizations
Искал что-то подобное. Надо попробовать.
Вперед и успехов, расскажите о своем опыте тоже ради интереса)
Спасибо за видео! хотелось бы узнать характеристики вашего ноутбука, в частности cpu, gpu
Оно контекст быстро упускает из вида?
А реально ли её дообучить на каких-то собственных доках? Например, скормить документацию по толком непроиндексированному в паблике движку.
Да, она это делает и неплохо справляется
Русский язык оно поддерживает? Было бы интересно послушать как скармливали свои данные для обучения и что в итоге получилось.
Он мультиязычный. Может даже переводить с английского на русский, грамматика немного хромает, но в целом годная штука)
Огромное спасибо то что искал.
Очень близко к тому что я ищу, спасибо, буду пробывать!
Большое уважение за видос👍👍👍👍👍👍
Подписался. Спасибо!
Спасибо Киану Ривз. Очень хорошее видео
12:51 Ребят, это LLAMA
Спасибо ! Очень ценная информация! Потому что немного напрягает эта вся хрень с маркетингом глобальных GPT и всей этой байды про генерацию картинок и аватарок, которые имеют негативную полезность.
А какой минимальный объем памяти на GPU нужно? Какая у вас модель GPU?
У меня RTX 3070 8Gb
А не подписаться ли мне (подумал я)? И...подписался!😊Дело за малым: продолжайте!
Спасибо за приятные слова!
Под WSL2 не пробовали установить? Такие линуксовые вещи ставить под windows - много лишних телодвижений (powershell, vs минус build tools,..).
На мак ставил другу, там довольно быстро встало, на линукс еще не пробовал
Спасибо !
Спасибо за труд!
Ждем других видео. Тоже работаю над этой темой.
Полезно, жду добавление своих файлов
Здравствуйте. Никак не хочет устанавливаться llama-cpp-python. Пробовал и разные версии ставить. Ошибка.
Тем не менее, подписался. С наступающим Новым Годом!
P.S. Нашёл решение - нужно доустановить пакер C++ в Visual Studio 2022
Но возникла ситуация, когда GPT работает лучше на процессоре ( i7-12650H), чем на видеокарте (MX 550) и я не знаю как вернуться к использованию CPU.
MX550 слишком старая и бесполезна для ML задач. Минимальная видюха, насколько помню, Geforce 20-ой серии, и памяти на карте как можно больше, не менее 8ГБ (многие пишут, что кол-во памяти даже важнее свежести процессора, т.е. GF 3060 с 16ГБ лучше чем 4060 с 8ГБ. Откатиться на режим CPU в крайнем случае можно удалением и переустановкой с нуля, но скорее всего надо где-то один ключик в строке запуска поменять (найти нужный запускаемый файл с конфигом).
@user-wb9tg6wj5y
powershell
$env:CMAKE_ARGS='-DLLAMA_CUBLAS=off'
poetry run python -m pip install --force-reinstall --no-cache-dir llama-cpp-python
exit
В свое время купил видеокарту от AMD, давльно производительную, но как вижу сейчас в основом все локальные нейросети работают с CUDA, поддерки ROCm нет. Хотел бы узнать может ты знаешь похожую модель с поддержкой ROCm на Linux? Естсетвенно приходится использовать Linux, так как у WIndows нет поддрежи ROCm.
Её можно натравить для обучения на форум в интернете и потом спрашивать по его материалам?
Очень интересно. Давно думал о безинтернетном чат GPT. Непонятно только насколько старая версия чата.
Громкость звука на видео иногда сильно возрастает. Ну и было бы неплохо акать поменьше, раз в сто.
ахах, спасибо за ценные советы) Учту обязательно!
А ведь уже должны существовать нейросети, которые убирают дефекты речи, например аканье или картавость
Круть! Тоже хочу дома своего Джарвеса...
Ахаха)) Да, это прям реально Джарвис на минималках
Как раз искал куда можно скормить внутренню документацию, чтобы потом через нейросеть делать поиск нужного
Подробнее пожалуйста о данной модели, есть Русский язык, как она с документами работает и так далее.
Благодарен за откровенность о трудностях с которыми вы сталкивались и ответами на эти трудности.
С сам пытался локально установить несколько моделей но заработала только одна (из шести) это Alpaca electron а модель конкретно не скажу нет сейчас такой возможности. иесли заинтересовао то напишу точно модель. 😊
Да, есть русский язык, но в приоритете английский конечно де
@@takethejunioroutofthelamp а можно работать через обычный браузер на запросах?
@@user-bs4yb6me3k
вопрос:
что написано в документе х ?
ответ:
Hello! I'm an assistant designed to help answer questions in English. If you have a question or topic you'd like assistance with, please feel free to ask in English and I will
так что с русским она не работает.
познавательно😊
Спасибо было интересно.
Делал всё как на видео но столкнулся с ошибкой. Как её исправить?
(localGPT) C:\Users\Serega\privateGPT>poetry install --with ui
"poetry" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
попробуйте удалить весь python и anaconda на компьютере и переустановите. У меня сработало
Вопрос - как эта LLM в сравнении с другими LLM с открытым кодом?
stableLM, h2oGPT, Open Assistant, RWKV, еще есть LLAMA и alpaca
Это LLAMA
Не могу выполнить команду poetry install --with ui пишет: poetry : Имя "poetry" не распознано как имя командлета, функции, файла сценария или выполняемой программы. Проверьте пр
авильность написания имени, а также наличие и правильность пути, после чего повторите попытку.
строка:1 знак:1
+ poetry install --with ui
+ ~~~~~~
+ CategoryInfo : ObjectNotFound: (poetry:String) [], CommandNotFoundException
+ FullyQualifiedErrorId : CommandNotFoundException
если память не изменяет нужно выполнить pipx ensurepath чтобы poetry стало доступно, перезапустить окно командной строки и выполнять уже дальше. Или как ниже посоветовали установить так python -m pip install poetry
То есть это считай свой чат гпт без использования платного апи которого ты сам обучаешь? А можно его обучить и поставить на сервер без 5 гб и чтобы он отвечал людям по определнной теме?
FreedomGPT работает на кпу так же быстро.
из всех замечаний - очень тихий звук, но периодически он прыгает на очень высокий уровень, к примеру среднее значение звукового индикатора 20% достаточно для 99% видео на вашем пришлось выкрутить на 80!
Здравствуйте, как можно заменить используемую модель для общения на свою? Хотел бы использовать свою модель для экспериментов
Скажите, а зачем столько приседаний когда спокойно можно скачать LM Studio скачать нужную модель и просто пользоваться без лишних телодвижений?
Это первое, что мне попалось из того, чему можно было скормить какой нибудь свой документ и опрашивать вновь обученную модель
@@takethejunioroutofthelamp в лм я правда не разбирался как свою модель сделать но она поддерживает много разных форматов. Так что собрать свою модель и просто указать файлик я думаю не проблема. Кажется больше сложностей обучить нейронку. Будет видео по этой теме?
Здравствуйте. Спасибо, полезно 🙂🙂 Можно узнать ваши характеристики пк: процессор, видеокарта?
Это не GPT, а как я понял лама это. А хорошие вещи ламой или ланью не назовут
😀
Если у кого-то не запускается, то проверьте, что бы физическое имя папки совпадало с именем в скрипте. У меня папка называлась PrivateGPT, но в скрипте папка вызывалась privategpt, я 3 часа никак не мог понять. Оказывается скрипт чувствителен к регистру!!
Если gpt скормить файл на русском языке то он его не обработает( модель обрабатывает только английский
Что , уже ? А я от очень компетентного дядьки вчера слышал что он обещает полноценный автономный джипити чат на смартфоне без интернета к концу года . Там речь шла о том что это ужмется до 2 гигабайт.
Вот этот уважаемый человек ruclips.net/video/xOr80pCpd0k/видео.htmlsi=bxkMUFYFFqBf3ZSf
Тоже хочу верить, ух, что нас ждет)
Молодец, но мало примеров его работы, как он кодит в целом?
Здравствуйте. Подскажите чисто теоритически с помощью нейросетей возможно создать предположим простой стриминговый сервис на блокчейне ?
Давно мечтаю установить для личного использования.. Типа собственный ИИ - ассистент. Но чёт заморочено слишком.. Как всегда с этими линуксоидными проектами.. 100500 зависимостей, 100500 пакетов, 100500 конфликтов... А на какой конкретно видеокарте запускался gpt в этом видео?
RTX 3070 8Gb
На Windows поставьте Windows Studio Build tools. Без них llama_cpp_python не собирался, возможно и др пакеты
А как установить все это на Linux? Мне кажется, было бы очень круто, если бы вы записали такой обзор, наверняка очень многих эта тема заинтересует)
в чем разница то
жду продолжения с добучением.
Спасибо, еще хотелось бы что-то вроде топа моделей увидеть, какие локальные модели ближе всего к гпт4 можно использовать? Я бы хотел максимально нагрузить свое железо (64gb ddr5, gpu: 7800xt с 16гб видеопамяти)
Llama3 8b instruct вам нужна. 16гб видеопамяти позволит использовать модель в исходном качестве, это хорошо, так как сжатие сильно шакалит способности модели в русском языке.
ясен пень тяжеленькие штуки надо на питоне е#енить, это же прекрасно
Спасибо интересно, а какая конкретно модель используется? LLama?
Да
а почему вы просто не используете LM Studio?
Есть модель для С++? Просто хочу понять есть ли смысл его качать. Например он может написать сортировку с помощью итераторов?
Кто эту нейросетку создал и насколько она хуже gpt от openai?
ru.m.wikipedia.org/wiki/LLaMA
пробую за автором повторять. установлен вин10-64. возможно у автора что-то еще было установлено. у меня ошибка на этапе установки библиотек Installing llama-cpp-python (0.2.23): Failed. даже отдельно устанавливать пробовал но все равно ошибка CMake build failed. и даже vc2017 установил.
PrivateGPT пункт Troubleshooting: C++ Compiler. Автор поленился для простых пользователей, сделав так если у тебя были все эти программы.
@@commandergdi9795 спасибо, но я доустановил все и ничего не помогло. возможно все же не все, но что автор упоминал и что оно потом само предлагало, включая распространяемый пакет вижуал си.
Всё ставится там где есть git poetry, pipx и так далее, а куда их ставить, в какие папки хз. И потом ничего не работает
Ничего не понял)
Здравствуйте! При использовании команды "poetry install --with local" у меня возникает вот такая ошибка : at C:\AiWork\localGPT\Lib\site-packages\poetry\installation\chef.py:164 in _prepare
160│
161│ error = ChefBuildError("
".join(message_parts))
162│
163│ if error is not None:
→ 164│ raise error from None
165│
166│ return path
167│
168│ def _prepare_sdist(self, archive: Path, destination: Path | None = None) -> Path:
Note: This error originates from the build backend, and is likely not a problem with poetry but with llama-cpp-python (0.2.23) not supporting PEP 517 builds. You can verify this by running 'pip wheel --no-cache-dir --use-pep517 "llama-cpp-python (==0.2.23)"'.
А как решить не заю, помогите пожалуйста!
У меня тоже(
Фрагмент ок. 11:00, где GPT на _Hey_ отвечает _Hello_ - это, похоже, работает "заглушка", а не реальная LLM.
В документации по этому поводу сказано: _You should see a Gradio UI configured with a mock LLM that will echo back the input_
расскажите , плиз, об установке на локальную машину AUTOGPT. Можно его замкнуть не на API ChatGPT, а на данную модель, установленную локально? Так чтобы получился полностью автономный агент.
У меня poetry в командой строке после всех действий пишет, что не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
Такая ошибка говорит о том, что poetry не добавлен в path. Решения два: первое обращаться к poetry полным путем, второе - загуглить как можно добавить poetry в path
@@takethejunioroutofthelamp я добавлял сразу в path потом самостоятельно ибо знаю эту ошибку, но это не помогло, помогла команда python -m pip install poetry
@@Danekzaryazhennyyкрасава, пол часа протыркался, ладно хоть в комменты решил залезть, спасибо
а не отправляет ли оно разработчикам что-то или контролируемая разработчиками?
Вам нужно посмотреть в сторону FractalGPT, потому что обычный RAG порождает неустранимые галлюцинации при ответах на вопросы в рандомных местах, особенно это непредсказуемо на больших объемах, сложных структурах текста, законах, документации, и пр
Автор видео :
Всем привет , подписчики канала
Я , открывший канал впервые , не понимая ещё стоит ли подписываться :
Ну ок , пошёл я нахрен , зачем меня приветствовать , какого-то ноунейма .
(Душнилово ON)
ну ты бы изначально с хаггин фэйс бы дал модель... а так интересно было вроде.. палец вверх
если будет разбор на разных LLM с их требовательностью дам ещё))
Боюсь, что главный вопрос тут - а зачем вообще повышать частоты? Задач, где не хватает текущих частот не просто мало, а очень-очень мало. Попробуй найди еще такую. Оверклокинг потому и потерял популярность, что публика перестала понимать, зачем это нужно. Вот то ли дело было во времена FX...
Сейчас же у меня вон проц по бумагам может до 4,7ГГц, но работает на 3,8ГГц. А потому что я залочил частоты ему - 25% мощности не такая и большая потеря, а вот нагрев, шум охлаждения и износ железа - куда критичнее.
@@HackingPrograms
Погоди лет 50, тогда посмотрим.
@@HackingPrograms какие 5 лет? 11900k вышел в марте 2021 года, трех лет еще не прошло.🙂
Привет! Какую версию CUDA вы ставили? У меня работает только на CPU, команда переключения на gpu заканчивается ошибкой что llamacpp не может найти путь к cuda
Жаль, заметно медленнее работает?
В видео было показано как я устанавливал CUDA, найдите и посмотрите пожалуйста
Если поделитесь текстом ошибки или скрином, было бы легче вам помочь
Та програмируй на процесоре, не исполняй 😂😂😂
Те кто шарят, скачайте репозиторий, скормите архитектуру АРМ нейронке, у меня есть идея но реализовать я еë не могу, не реализованная идея - мертвая идея.
А что за идея?
не работает.
ошибка
note: This error originates from a subprocess, and is likely not a problem with pip.
ERROR: Failed building wheel for llama-cpp-python
Failed to build llama-cpp-python
ERROR: Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based projects
Так а чем это лучше text-generation-webui так и не понял. Чем то же он должен быть лучше, раз ты на него обратил внимание.
Я не сравнивал честно говоря, просто взял первое что понравилось и выдал.
Если есть желание сравнить, был бы рад увидеть результаты)
не работает. скачал все библиотеки все зависимости cuda и тд.
и на самой последеней команде ошибка
note: This error originates from a subprocess, and is likely not a problem with pip.
ERROR: Failed building wheel for llama-cpp-python
Failed to build llama-cpp-python
ERROR: Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based projects
потратил кучу времени, переутснавливал 2 раза но эта ошибка так и не решилась
давно мучает вопрос, хочу узнать - сгорит ли видеокарта или компьютер если много пользоваться таким локальным чат гпт? Мне кажется это огромная нагрузка на комп, в железе не разбираюсь.
Люди майнили годами 24/7 на видео картах, а тут она вообще ничего не почувствует.
@@ISinicyn да нифига, читал после майнинга карта убитая в хлам (раньше такие продавали на авито после майнинга)
@@Fillmore634b еще раз майнили 24/7 годами, тут же нагрузка грубо 10 минут в сутки
При отправки сообщения чату jpt по ссылке localhosta у меня выдаёт след. проблему: error
Collection make_this_parameterizable_per_api_call not found Всё делал строго по инструкции и ошибок выполняя команды не было
Удалось исправить? Или все еще так же?
@@takethejunioroutofthelamp не удалось
@@Danekzaryazhennyy Не нашли решения? Ошибка та же
@@arterium2564 нет(
@@Danekzaryazhennyy Ошибка возникает если выбрать модель анализа документа (самую левую или центральную) не подгрузив ни одного документа
Установил, с плясками с бубном.. остановился на том что выдает ошибку если дать ему файл doc : 'charmap' codec can't decode byte 0x98 in position 790: character maps to не понимает кодировку .
Тоже наткнулся на такое, когда собрал текст в интернете и закинул в текстовый файл. А вот pdf съел, также съел текстовый файл с кодовой базой
@@takethejunioroutofthelamp да пдф открылся, но я так и не понял как он этот файл обрабатывает ?
@@rusorder7191если ты зайдешь в файл settings.yaml увидишь что у тебя помимо LLM модели, также подключена модель embeddings, твой текст делится на чанки, оцифровуется и добавляется в векторную базу chroma (или какая там стоит по дефолту) и потом когда ты задаешь вопрос LLM модели алгоритм +- повторяется и находится максимально релевантный ответ по твоему вопросу.
Если в файле 1.txt было написано что Ване 15 лет и он учится в 9 классе. После запроса в LLM - "Что ты знаешь о Ване", модель ответит тебе информацию из файла.
В двух словах происходит вот так
BLAS = 1 у меня показал но вот я вообще не ощутил прироста производительность карта 3050 - может какие то настройки еще нужны? у меня еще есть gpu на cpu - может он не тот юзает я хз
Все делаю, по инструкции. Не получается, можете подсказать, в чем может быть проблема?