Подписался и поставил лайк хотябы просто потому что без музыки на фоне с хорошо поставленной речью и заготовленной структурой видео человек смог рассказать всё что требовалось по данной теме.
Интересно, тоже полный ноль в программирование учусь на коленке, спасибо за инструкцию и "легкость языка". А Вы не пробывали сделать что-то подобное но уже на сервере в облаке, чтобы можно было зайти в "свой gpt" с любого устройства ?
4:43 Для MacOS (пришлось искать самому): 1. Предварительно нужно выйти в корневую попку пользователя: cd ~ 2. Установка и создание виртуального окружения: python3 -m venv localGPT 3. Активация виртуального окружения: source localGPT/bin/activate В дальнейшем вместо "py" использовать "python3"
Спасибо за столь подробный гайд по установке! Столкнулся в проблемой по работе с qdrant, но быстро нашёл решение поменять на chroma. Всё остальное прошло без проблем. И да, запускал на Ubuntu 22.03 под WSL2. Лайк и подписка!
Всё получилось, ждём дальнейшего развития. Я, хотел бы к этой модели присоединить заметки из Obsidian они в формате md маркдаун, и хотел бы чтоб я делал заметки так же в Обсидиане, а запросы в этом локальном чате. Было бы круто.
Это LLAMA и Mistral, обе по 7B параметров. Попробуй Phi-2 от Микрософт, она выигрывает по бенчмаркам. У маленьких моделей размер контекста не очень тоже. Это надо будет учитывать при разработке.
Сделал всё как написано, но на этапе poetry install --with ui возникает ошибка “Group(s) not found: ui (via --with)". Подскажите пожалуйста с чем это может быть связано. Спасибо
Делал всё как на видео но столкнулся с ошибкой. Как её исправить? (localGPT) C:\Users\Serega\privateGPT>poetry install --with ui "poetry" не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
Целый день провозился с ошибкой No CUDA toolset found Solution: I copied the four files from C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\extras\visual_studio_integration\MSBuildExtensions And pasted into C:\Program Files\Microsoft Visual Studio\2022\Community\MSBuild\Microsoft\VC\v170\BuildCustomizations
Не могу выполнить команду poetry install --with ui пишет: poetry : Имя "poetry" не распознано как имя командлета, функции, файла сценария или выполняемой программы. Проверьте пр авильность написания имени, а также наличие и правильность пути, после чего повторите попытку. строка:1 знак:1 + poetry install --with ui + ~~~~~~ + CategoryInfo : ObjectNotFound: (poetry:String) [], CommandNotFoundException + FullyQualifiedErrorId : CommandNotFoundException
если память не изменяет нужно выполнить pipx ensurepath чтобы poetry стало доступно, перезапустить окно командной строки и выполнять уже дальше. Или как ниже посоветовали установить так python -m pip install poetry
подскажите пожалуйста, а если 32 гб оперативка ,Intel Core i5 13500H, но со встроенной графикой Intel Iris Xe Graphics 80 EUs? как думаете шустро будет работать или также по минуте отвечать?)
Если у кого-то не запускается, то проверьте, что бы физическое имя папки совпадало с именем в скрипте. У меня папка называлась PrivateGPT, но в скрипте папка вызывалась privategpt, я 3 часа никак не мог понять. Оказывается скрипт чувствителен к регистру!! Если gpt скормить файл на русском языке то он его не обработает( модель обрабатывает только английский
Здравствуйте! При использовании команды "poetry install --with local" у меня возникает вот такая ошибка : at C:\AiWork\localGPT\Lib\site-packages\poetry\installation\chef.py:164 in _prepare 160│ 161│ error = ChefBuildError("
".join(message_parts)) 162│ 163│ if error is not None: → 164│ raise error from None 165│ 166│ return path 167│ 168│ def _prepare_sdist(self, archive: Path, destination: Path | None = None) -> Path: Note: This error originates from the build backend, and is likely not a problem with poetry but with llama-cpp-python (0.2.23) not supporting PEP 517 builds. You can verify this by running 'pip wheel --no-cache-dir --use-pep517 "llama-cpp-python (==0.2.23)"'. А как решить не заю, помогите пожалуйста!
@@takethejunioroutofthelamp в лм я правда не разбирался как свою модель сделать но она поддерживает много разных форматов. Так что собрать свою модель и просто указать файлик я думаю не проблема. Кажется больше сложностей обучить нейронку. Будет видео по этой теме?
расскажите , плиз, об установке на локальную машину AUTOGPT. Можно его замкнуть не на API ChatGPT, а на данную модель, установленную локально? Так чтобы получился полностью автономный агент.
Спасибо, друг!!! установил, помучался правда, некоторые команды пришлось писать по другому , какието новые использовал, которых не было в видио, смотрел мануал на гитхабе.) единственное , что не совсем понял, подскажи ты устанавливал какую версию ламы ? в мануале както не увидел, а локальнокогда своему ИИ задаю вопрос какое количество параметров он использует он ответил 1.5млрд. Ожидал увидеть 8b. думаю мой комп потянет 8млрд параметров.
не работает. скачал все библиотеки все зависимости cuda и тд. и на самой последеней команде ошибка note: This error originates from a subprocess, and is likely not a problem with pip. ERROR: Failed building wheel for llama-cpp-python Failed to build llama-cpp-python ERROR: Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based projects потратил кучу времени, переутснавливал 2 раза но эта ошибка так и не решилась
пробую за автором повторять. установлен вин10-64. возможно у автора что-то еще было установлено. у меня ошибка на этапе установки библиотек Installing llama-cpp-python (0.2.23): Failed. даже отдельно устанавливать пробовал но все равно ошибка CMake build failed. и даже vc2017 установил.
@@commandergdi9795 спасибо, но я доустановил все и ничего не помогло. возможно все же не все, но что автор упоминал и что оно потом само предлагало, включая распространяемый пакет вижуал си.
пожалуйста помогите у меня на этапе /poetry install --with ui 8:05 "poetry" не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
@@takethejunioroutofthelamp автор привет, спасибо за ответ, а можеш рассказать какой у тебя пк вкратце даже, и еще как идея можете записать про настройку лм студио, я смотрел на русском почти никто нормально не рассказал
То есть это считай свой чат гпт без использования платного апи которого ты сам обучаешь? А можно его обучить и поставить на сервер без 5 гб и чтобы он отвечал людям по определнной теме?
BLAS = 1 у меня показал но вот я вообще не ощутил прироста производительность карта 3050 - может какие то настройки еще нужны? у меня еще есть gpu на cpu - может он не тот юзает я хз
Установил, с плясками с бубном.. остановился на том что выдает ошибку если дать ему файл doc : 'charmap' codec can't decode byte 0x98 in position 790: character maps to не понимает кодировку .
@@rusorder7191если ты зайдешь в файл settings.yaml увидишь что у тебя помимо LLM модели, также подключена модель embeddings, твой текст делится на чанки, оцифровуется и добавляется в векторную базу chroma (или какая там стоит по дефолту) и потом когда ты задаешь вопрос LLM модели алгоритм +- повторяется и находится максимально релевантный ответ по твоему вопросу. Если в файле 1.txt было написано что Ване 15 лет и он учится в 9 классе. После запроса в LLM - "Что ты знаешь о Ване", модель ответит тебе информацию из файла. В двух словах происходит вот так
У меня poetry в командой строке после всех действий пишет, что не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
Такая ошибка говорит о том, что poetry не добавлен в path. Решения два: первое обращаться к poetry полным путем, второе - загуглить как можно добавить poetry в path
@@takethejunioroutofthelamp я добавлял сразу в path потом самостоятельно ибо знаю эту ошибку, но это не помогло, помогла команда python -m pip install poetry
В свое время купил видеокарту от AMD, давльно производительную, но как вижу сейчас в основом все локальные нейросети работают с CUDA, поддерки ROCm нет. Хотел бы узнать может ты знаешь похожую модель с поддержкой ROCm на Linux? Естсетвенно приходится использовать Linux, так как у WIndows нет поддрежи ROCm.
не работает. ошибка note: This error originates from a subprocess, and is likely not a problem with pip. ERROR: Failed building wheel for llama-cpp-python Failed to build llama-cpp-python ERROR: Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based projects
У кого ошибка llama-cpp-python (0.2.23): Failed - нужен в переменных средах nmake.exe. Он устанавливается вместе с отдельным пакетом в Visual Studio - MSVC v143 (по умолчанию в студии его нет)
давно мучает вопрос, хочу узнать - сгорит ли видеокарта или компьютер если много пользоваться таким локальным чат гпт? Мне кажется это огромная нагрузка на комп, в железе не разбираюсь.
Давно мечтаю установить для личного использования.. Типа собственный ИИ - ассистент. Но чёт заморочено слишком.. Как всегда с этими линуксоидными проектами.. 100500 зависимостей, 100500 пакетов, 100500 конфликтов... А на какой конкретно видеокарте запускался gpt в этом видео?
При отправки сообщения чату jpt по ссылке localhosta у меня выдаёт след. проблему: error Collection make_this_parameterizable_per_api_call not found Всё делал строго по инструкции и ошибок выполняя команды не было
Спасибо, еще хотелось бы что-то вроде топа моделей увидеть, какие локальные модели ближе всего к гпт4 можно использовать? Я бы хотел максимально нагрузить свое железо (64gb ddr5, gpu: 7800xt с 16гб видеопамяти)
Llama3 8b instruct вам нужна. 16гб видеопамяти позволит использовать модель в исходном качестве, это хорошо, так как сжатие сильно шакалит способности модели в русском языке.
из всех замечаний - очень тихий звук, но периодически он прыгает на очень высокий уровень, к примеру среднее значение звукового индикатора 20% достаточно для 99% видео на вашем пришлось выкрутить на 80!
(localGPT) C:\Users\User\privateGPT>poetry install --with ui "poetry" не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
@@ДмитрийЖабровец-ъ2ъ три раза пробовал, удалял и снова устанавливал py, всё чётно! Есть ещё ролик про локальный GPT, так и там провал ( Впн придеться подрубать!
Здравствуйте. Никак не хочет устанавливаться llama-cpp-python. Пробовал и разные версии ставить. Ошибка. Тем не менее, подписался. С наступающим Новым Годом! P.S. Нашёл решение - нужно доустановить пакер C++ в Visual Studio 2022 Но возникла ситуация, когда GPT работает лучше на процессоре ( i7-12650H), чем на видеокарте (MX 550) и я не знаю как вернуться к использованию CPU.
MX550 слишком старая и бесполезна для ML задач. Минимальная видюха, насколько помню, Geforce 20-ой серии, и памяти на карте как можно больше, не менее 8ГБ (многие пишут, что кол-во памяти даже важнее свежести процессора, т.е. GF 3060 с 16ГБ лучше чем 4060 с 8ГБ. Откатиться на режим CPU в крайнем случае можно удалением и переустановкой с нуля, но скорее всего надо где-то один ключик в строке запуска поменять (найти нужный запускаемый файл с конфигом).
Привет! Какую версию CUDA вы ставили? У меня работает только на CPU, команда переключения на gpu заканчивается ошибкой что llamacpp не может найти путь к cuda
Жаль, заметно медленнее работает? В видео было показано как я устанавливал CUDA, найдите и посмотрите пожалуйста Если поделитесь текстом ошибки или скрином, было бы легче вам помочь
Подписался и поставил лайк хотябы просто потому что без музыки на фоне с хорошо поставленной речью и заготовленной структурой видео человек смог рассказать всё что требовалось по данной теме.
Приятно видеть образованного человека, говорящего по теме! Пожалуйста, продолжайте в том же духе! Отличный обзор!
Интересно, тоже полный ноль в программирование учусь на коленке, спасибо за инструкцию и "легкость языка". А Вы не пробывали сделать что-то подобное но уже на сервере в облаке, чтобы можно было зайти в "свой gpt" с любого устройства ?
4:43 Для MacOS (пришлось искать самому):
1. Предварительно нужно выйти в корневую попку пользователя: cd ~
2. Установка и создание виртуального окружения: python3 -m venv localGPT
3. Активация виртуального окружения: source localGPT/bin/activate
В дальнейшем вместо "py" использовать "python3"
Windows и mac можно выбросить, винда сосет оперативки и валит процессор, у маков железо слабее чем у х86 систем.
Спасибо за столь подробный гайд по установке! Столкнулся в проблемой по работе с qdrant, но быстро нашёл решение поменять на chroma. Всё остальное прошло без проблем. И да, запускал на Ubuntu 22.03 под WSL2. Лайк и подписка!
Ждём видео с тестами скармливания файлов и работы с ними
аналогично
Ага
Видео класс. Можешь показать как обучать на своих данных, допустим базу подключить офисную
poetry install --with ui не сработало до установки именно pip install poetry (без pipx)
+
Друг! Спасибо тебе! Я написал Prompt и PrivateGPT уже во всю помогает мне с моими задачами в коде. Спасибо!
Можно поподробнее, как писать этот промт, что бы помогал с кодом. Спасибо
Thank you! The other strategies with other youtuber's had not worked previously until I followed yours.
Человечище, отдельный респект за цу по работе с репозиторием!
Спасибо!
Всё получилось, ждём дальнейшего развития.
Я, хотел бы к этой модели присоединить заметки из Obsidian они в формате md маркдаун, и хотел бы чтоб я делал заметки так же в Обсидиане, а запросы в этом локальном чате. Было бы круто.
Тоже сразу об этом подумал =)
А вдруг gpt+obsidian=сильный ИИ... куды тогда бечь? Шутка.
Странно, но как только я начал изучать obsidian, то попалось это видео.думаю, это не совпадение
Не совпадение ИИ уже подсказывает человеку как и что делать, чтобы полностью заменить собой человечество. (Сарказм, если что)
Сколько информации она способна принять для дообучения? Сколько токенов способна принять и сколько вернуть? И какого года у нее база данных?
Ничего себе размах. Крутые планы. Будет интересно посмотреть что из этого получится. Удачи!
очень интересно! надеюсь все получится! удачи!
Спасибо!
Очень приятная грамотная речь.
Спасибо, было круто. Очень интересно про обучение модели на своих данных
Привет, а можешь сделать урок, как свою нейронку обучать, именно в этом пакете? К примеру после обучения свою модель подгрузить и т.д. Спасибо
кишка тонка у твоего компа для обучения, только максимум на gpt2.
Это LLAMA и Mistral, обе по 7B параметров. Попробуй Phi-2 от Микрософт, она выигрывает по бенчмаркам. У маленьких моделей размер контекста не очень тоже. Это надо будет учитывать при разработке.
Сделал всё как написано, но на этапе poetry install --with ui возникает ошибка “Group(s) not found: ui (via --with)". Подскажите пожалуйста с чем это может быть связано. Спасибо
Очень информативное и хорошее видео! Большое спасибо автору. Очень интересно, что будет дальше
Спасибо!
супер, спасибо
можно завернуть всё в докер (если еще нет нет готового имиджа), что систему не мучать
Молодец, но мало примеров его работы, как он кодит в целом?
Неплохое руководство
Есть путь проще - LM Studio
С таким интересом я видос еще не смотрел) спасибо, взял на вооружение
Спасибо Киану Ривз. Очень хорошее видео
Оно контекст быстро упускает из вида?
Делал всё как на видео но столкнулся с ошибкой. Как её исправить?
(localGPT) C:\Users\Serega\privateGPT>poetry install --with ui
"poetry" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
попробуйте удалить весь python и anaconda на компьютере и переустановите. У меня сработало
А что за видеокарта у вас? На чем запускали модель какие характеристики железа?
Целый день провозился с ошибкой No CUDA toolset found
Solution:
I copied the four files from C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\extras\visual_studio_integration\MSBuildExtensions
And pasted into C:\Program Files\Microsoft Visual Studio\2022\Community\MSBuild\Microsoft\VC\v170\BuildCustomizations
Не могу выполнить команду poetry install --with ui пишет: poetry : Имя "poetry" не распознано как имя командлета, функции, файла сценария или выполняемой программы. Проверьте пр
авильность написания имени, а также наличие и правильность пути, после чего повторите попытку.
строка:1 знак:1
+ poetry install --with ui
+ ~~~~~~
+ CategoryInfo : ObjectNotFound: (poetry:String) [], CommandNotFoundException
+ FullyQualifiedErrorId : CommandNotFoundException
если память не изменяет нужно выполнить pipx ensurepath чтобы poetry стало доступно, перезапустить окно командной строки и выполнять уже дальше. Или как ниже посоветовали установить так python -m pip install poetry
Круто! Ждем продолжения.
Спасибо! Ждем след. вид. как загрузили свою базу знаний и каковы результаты.
Искал что-то подобное. Надо попробовать.
Вперед и успехов, расскажите о своем опыте тоже ради интереса)
А какой минимальный объем памяти на GPU нужно? Какая у вас модель GPU?
У меня RTX 3070 8Gb
подскажите пожалуйста, а если 32 гб оперативка ,Intel Core i5 13500H, но со встроенной графикой Intel Iris Xe Graphics 80 EUs? как думаете шустро будет работать или также по минуте отвечать?)
Очень близко к тому что я ищу, спасибо, буду пробывать!
Если у кого-то не запускается, то проверьте, что бы физическое имя папки совпадало с именем в скрипте. У меня папка называлась PrivateGPT, но в скрипте папка вызывалась privategpt, я 3 часа никак не мог понять. Оказывается скрипт чувствителен к регистру!!
Если gpt скормить файл на русском языке то он его не обработает( модель обрабатывает только английский
Здравствуйте! При использовании команды "poetry install --with local" у меня возникает вот такая ошибка : at C:\AiWork\localGPT\Lib\site-packages\poetry\installation\chef.py:164 in _prepare
160│
161│ error = ChefBuildError("
".join(message_parts))
162│
163│ if error is not None:
→ 164│ raise error from None
165│
166│ return path
167│
168│ def _prepare_sdist(self, archive: Path, destination: Path | None = None) -> Path:
Note: This error originates from the build backend, and is likely not a problem with poetry but with llama-cpp-python (0.2.23) not supporting PEP 517 builds. You can verify this by running 'pip wheel --no-cache-dir --use-pep517 "llama-cpp-python (==0.2.23)"'.
А как решить не заю, помогите пожалуйста!
У меня тоже(
Скажите, а зачем столько приседаний когда спокойно можно скачать LM Studio скачать нужную модель и просто пользоваться без лишних телодвижений?
Это первое, что мне попалось из того, чему можно было скормить какой нибудь свой документ и опрашивать вновь обученную модель
@@takethejunioroutofthelamp в лм я правда не разбирался как свою модель сделать но она поддерживает много разных форматов. Так что собрать свою модель и просто указать файлик я думаю не проблема. Кажется больше сложностей обучить нейронку. Будет видео по этой теме?
Её можно натравить для обучения на форум в интернете и потом спрашивать по его материалам?
Спасибо за видео! хотелось бы узнать характеристики вашего ноутбука, в частности cpu, gpu
расскажите , плиз, об установке на локальную машину AUTOGPT. Можно его замкнуть не на API ChatGPT, а на данную модель, установленную локально? Так чтобы получился полностью автономный агент.
Спасибо, друг!!! установил, помучался правда, некоторые команды пришлось писать по другому , какието новые использовал, которых не было в видио, смотрел мануал на гитхабе.) единственное , что не совсем понял, подскажи ты устанавливал какую версию ламы ? в мануале както не увидел, а локальнокогда своему ИИ задаю вопрос какое количество параметров он использует он ответил 1.5млрд. Ожидал увидеть 8b. думаю мой комп потянет 8млрд параметров.
Огромное спасибо то что искал.
Под WSL2 не пробовали установить? Такие линуксовые вещи ставить под windows - много лишних телодвижений (powershell, vs минус build tools,..).
На мак ставил другу, там довольно быстро встало, на линукс еще не пробовал
не работает. скачал все библиотеки все зависимости cuda и тд.
и на самой последеней команде ошибка
note: This error originates from a subprocess, and is likely not a problem with pip.
ERROR: Failed building wheel for llama-cpp-python
Failed to build llama-cpp-python
ERROR: Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based projects
потратил кучу времени, переутснавливал 2 раза но эта ошибка так и не решилась
Русский язык оно поддерживает? Было бы интересно послушать как скармливали свои данные для обучения и что в итоге получилось.
Он мультиязычный. Может даже переводить с английского на русский, грамматика немного хромает, но в целом годная штука)
poetry run python scripts/setup почему ошибка command not found, остальное все прошло без ошибок
Вопрос - как эта LLM в сравнении с другими LLM с открытым кодом?
stableLM, h2oGPT, Open Assistant, RWKV, еще есть LLAMA и alpaca
Это LLAMA
FreedomGPT работает на кпу так же быстро.
Все делаю, по инструкции. Не получается, можете подсказать, в чем может быть проблема?
Всё ставится там где есть git poetry, pipx и так далее, а куда их ставить, в какие папки хз. И потом ничего не работает
Ничего не понял)
А реально ли её дообучить на каких-то собственных доках? Например, скормить документацию по толком непроиндексированному в паблике движку.
Да, она это делает и неплохо справляется
а не отправляет ли оно разработчикам что-то или контролируемая разработчиками?
Здравствуйте, как можно заменить используемую модель для общения на свою? Хотел бы использовать свою модель для экспериментов
пробую за автором повторять. установлен вин10-64. возможно у автора что-то еще было установлено. у меня ошибка на этапе установки библиотек Installing llama-cpp-python (0.2.23): Failed. даже отдельно устанавливать пробовал но все равно ошибка CMake build failed. и даже vc2017 установил.
PrivateGPT пункт Troubleshooting: C++ Compiler. Автор поленился для простых пользователей, сделав так если у тебя были все эти программы.
@@commandergdi9795 спасибо, но я доустановил все и ничего не помогло. возможно все же не все, но что автор упоминал и что оно потом само предлагало, включая распространяемый пакет вижуал си.
пожалуйста помогите у меня на этапе /poetry install --with ui 8:05
"poetry" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
я вроде решил, нашел на одном из сайтов путь к поетри скопировал оттуда файлы в локал джпт и снова запустил эту команду
Вам нужно прописать полный путь до poetry
@@takethejunioroutofthelamp автор привет, спасибо за ответ, а можеш рассказать какой у тебя пк вкратце даже, и еще как идея можете записать про настройку лм студио, я смотрел на русском почти никто нормально не рассказал
То есть это считай свой чат гпт без использования платного апи которого ты сам обучаешь? А можно его обучить и поставить на сервер без 5 гб и чтобы он отвечал людям по определнной теме?
Полезно, жду добавление своих файлов
А как дообучить модель?
Большое уважение за видос👍👍👍👍👍👍
BLAS = 1 у меня показал но вот я вообще не ощутил прироста производительность карта 3050 - может какие то настройки еще нужны? у меня еще есть gpu на cpu - может он не тот юзает я хз
Установил, с плясками с бубном.. остановился на том что выдает ошибку если дать ему файл doc : 'charmap' codec can't decode byte 0x98 in position 790: character maps to не понимает кодировку .
Тоже наткнулся на такое, когда собрал текст в интернете и закинул в текстовый файл. А вот pdf съел, также съел текстовый файл с кодовой базой
@@takethejunioroutofthelamp да пдф открылся, но я так и не понял как он этот файл обрабатывает ?
@@rusorder7191если ты зайдешь в файл settings.yaml увидишь что у тебя помимо LLM модели, также подключена модель embeddings, твой текст делится на чанки, оцифровуется и добавляется в векторную базу chroma (или какая там стоит по дефолту) и потом когда ты задаешь вопрос LLM модели алгоритм +- повторяется и находится максимально релевантный ответ по твоему вопросу.
Если в файле 1.txt было написано что Ване 15 лет и он учится в 9 классе. После запроса в LLM - "Что ты знаешь о Ване", модель ответит тебе информацию из файла.
В двух словах происходит вот так
Как раз искал куда можно скормить внутренню документацию, чтобы потом через нейросеть делать поиск нужного
Здравствуйте. Подскажите чисто теоритически с помощью нейросетей возможно создать предположим простой стриминговый сервис на блокчейне ?
У меня poetry в командой строке после всех действий пишет, что не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
Такая ошибка говорит о том, что poetry не добавлен в path. Решения два: первое обращаться к poetry полным путем, второе - загуглить как можно добавить poetry в path
@@takethejunioroutofthelamp я добавлял сразу в path потом самостоятельно ибо знаю эту ошибку, но это не помогло, помогла команда python -m pip install poetry
@@Danekzaryazhennyyкрасава, пол часа протыркался, ладно хоть в комменты решил залезть, спасибо
пакет CUDA входит в драйвера уже давно, странно что сразу на видео карте не запустилось
В свое время купил видеокарту от AMD, давльно производительную, но как вижу сейчас в основом все локальные нейросети работают с CUDA, поддерки ROCm нет. Хотел бы узнать может ты знаешь похожую модель с поддержкой ROCm на Linux? Естсетвенно приходится использовать Linux, так как у WIndows нет поддрежи ROCm.
а почему вы просто не используете LM Studio?
он не поддерживает считавание документов
не работает.
ошибка
note: This error originates from a subprocess, and is likely not a problem with pip.
ERROR: Failed building wheel for llama-cpp-python
Failed to build llama-cpp-python
ERROR: Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based projects
я скачиваю другую нейросеть этим способом. настораживает что можно за....ть лиск ц так что не рискую это делать както подругому а то незаработает
12:51 Ребят, это LLAMA
Круть! Тоже хочу дома своего Джарвеса...
Ахаха)) Да, это прям реально Джарвис на минималках
У кого ошибка llama-cpp-python (0.2.23): Failed - нужен в переменных средах nmake.exe. Он устанавливается вместе с отдельным пакетом в Visual Studio - MSVC v143 (по умолчанию в студии его нет)
Спасибо за труд!
Как поставить гидхаб?
Ждем других видео. Тоже работаю над этой темой.
Подписался. Спасибо!
На Windows поставьте Windows Studio Build tools. Без них llama_cpp_python не собирался, возможно и др пакеты
Кто эту нейросетку создал и насколько она хуже gpt от openai?
ru.m.wikipedia.org/wiki/LLaMA
Спасибо интересно, а какая конкретно модель используется? LLama?
Да
На каком железе запускали?
Можно ли запустить на оперативной памяти и сколько будет хавать?
А рсть какойнибудь локальны gpt для пайтон програмистов чтобы ему вопросы задввать ?
llama3 думаю справится
давно мучает вопрос, хочу узнать - сгорит ли видеокарта или компьютер если много пользоваться таким локальным чат гпт? Мне кажется это огромная нагрузка на комп, в железе не разбираюсь.
Люди майнили годами 24/7 на видео картах, а тут она вообще ничего не почувствует.
@@ISinicyn да нифига, читал после майнинга карта убитая в хлам (раньше такие продавали на авито после майнинга)
@@Fillmore634b еще раз майнили 24/7 годами, тут же нагрузка грубо 10 минут в сутки
У меня почему то не установилась CUDA Toolkit, ошибку кидает, драйвер свежий, видюха 4070 супер, проц. Райзен 7 5800х, может подскажите что не так?
А у автора видео какие характеристики? Не могу найти название его процессора и видеокарты
Так а чем это лучше text-generation-webui так и не понял. Чем то же он должен быть лучше, раз ты на него обратил внимание.
Я не сравнивал честно говоря, просто взял первое что понравилось и выдал.
Если есть желание сравнить, был бы рад увидеть результаты)
Давно мечтаю установить для личного использования.. Типа собственный ИИ - ассистент. Но чёт заморочено слишком.. Как всегда с этими линуксоидными проектами.. 100500 зависимостей, 100500 пакетов, 100500 конфликтов... А на какой конкретно видеокарте запускался gpt в этом видео?
RTX 3070 8Gb
При отправки сообщения чату jpt по ссылке localhosta у меня выдаёт след. проблему: error
Collection make_this_parameterizable_per_api_call not found Всё делал строго по инструкции и ошибок выполняя команды не было
Удалось исправить? Или все еще так же?
@@takethejunioroutofthelamp не удалось
@@Danekzaryazhennyy Не нашли решения? Ошибка та же
@@arterium2564 нет(
@@Danekzaryazhennyy Ошибка возникает если выбрать модель анализа документа (самую левую или центральную) не подгрузив ни одного документа
А какая у Вас видеокарта на ноуте при запуске privateGPT ?
RTX 3070 8Gb
Спасибо, еще хотелось бы что-то вроде топа моделей увидеть, какие локальные модели ближе всего к гпт4 можно использовать? Я бы хотел максимально нагрузить свое железо (64gb ddr5, gpu: 7800xt с 16гб видеопамяти)
Llama3 8b instruct вам нужна. 16гб видеопамяти позволит использовать модель в исходном качестве, это хорошо, так как сжатие сильно шакалит способности модели в русском языке.
из всех замечаний - очень тихий звук, но периодически он прыгает на очень высокий уровень, к примеру среднее значение звукового индикатора 20% достаточно для 99% видео на вашем пришлось выкрутить на 80!
еле нашёл запись. посмотрел, и решил оставить этот тест на потом. а теперь вспомнил что смотрел, решил найти, и потратил пол дня на поиски =)))
А как установить все это на Linux? Мне кажется, было бы очень круто, если бы вы записали такой обзор, наверняка очень многих эта тема заинтересует)
в чем разница то
(localGPT) C:\Users\User\privateGPT>poetry install --with ui
"poetry" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
Вы также действовали как в видео и poetry все равно не установилась?
@@ДмитрийЖабровец-ъ2ъ три раза пробовал, удалял и снова устанавливал py, всё чётно! Есть ещё ролик про локальный GPT, так и там провал ( Впн придеться подрубать!
Здравствуйте. Никак не хочет устанавливаться llama-cpp-python. Пробовал и разные версии ставить. Ошибка.
Тем не менее, подписался. С наступающим Новым Годом!
P.S. Нашёл решение - нужно доустановить пакер C++ в Visual Studio 2022
Но возникла ситуация, когда GPT работает лучше на процессоре ( i7-12650H), чем на видеокарте (MX 550) и я не знаю как вернуться к использованию CPU.
MX550 слишком старая и бесполезна для ML задач. Минимальная видюха, насколько помню, Geforce 20-ой серии, и памяти на карте как можно больше, не менее 8ГБ (многие пишут, что кол-во памяти даже важнее свежести процессора, т.е. GF 3060 с 16ГБ лучше чем 4060 с 8ГБ. Откатиться на режим CPU в крайнем случае можно удалением и переустановкой с нуля, но скорее всего надо где-то один ключик в строке запуска поменять (найти нужный запускаемый файл с конфигом).
@user-wb9tg6wj5y
powershell
$env:CMAKE_ARGS='-DLLAMA_CUBLAS=off'
poetry run python -m pip install --force-reinstall --no-cache-dir llama-cpp-python
exit
Спасибо !
Есть модель для С++? Просто хочу понять есть ли смысл его качать. Например он может написать сортировку с помощью итераторов?
А не подписаться ли мне (подумал я)? И...подписался!😊Дело за малым: продолжайте!
Спасибо за приятные слова!
Привет! Какую версию CUDA вы ставили? У меня работает только на CPU, команда переключения на gpu заканчивается ошибкой что llamacpp не может найти путь к cuda
Жаль, заметно медленнее работает?
В видео было показано как я устанавливал CUDA, найдите и посмотрите пожалуйста
Если поделитесь текстом ошибки или скрином, было бы легче вам помочь
Та програмируй на процесоре, не исполняй 😂😂😂