@@__xapdkop__ 😂 Да как обычно, когда для русскоязычных пользователей - интерфейс только английский... Всё установил, теперь пойду учить английский что-бы через два года начать уверенно общаться с локальной нейронкой! 🤣👍
@@armotech2557 а, ну тогда твоя ситуация актуальна только для 3% пользователей пк, сомневаюсь что среди 10 лайкнувших есть хоть один линуксоид головного мозга
@@armotech2557 программисту не нужен линукс, только если ты сервера не настраиваешь, но и тут как бы это только работа с терминалом. А так да, если ты не сисадмин и у тебя стоит линукс на домашнем компьютере, то это позерство и линукс ради линукса, все верно.
Если у тебя теже 8гб, на Винде он в браузере тормозить будет, а мак нормально работает с теми же 8ми Гб. Никто не запрещает покупать 16 Гб мак. Как сделал это я и 16 Гб хватает за глаза.
таки на нашем веку влажные фантазии превращаются в обыденность, а ведь об этом мечтали наши отцы! Уже и ИИ разработали и ассистентов можно уже создавать по видео с ютуб(правда там надо приобретать программы, но тырнет работает же)
Очень интересно, спасибо, подписался. У меня слабый ноут с 16 гб рам проц 4 ядра, но есть external usb диск на 16 тб. Нельзя ли его юзать для работы c моделью через usb?! В особенности, чтобы заменить рам ноута?
Молодец прикольно, спасибо!!!! Ты спрашиваешь углубляться ли в программирование или использовать готовые решения! Конечно углубляться. Потому что, со временем на поверхности тебя сметут десятка два таких же блогеров :))
Крутой ролик, Спасибо! Хотел уточнить в целом отзывы о пользовании локально. Все ли устраивает , чего то не хватает? Как в целом проходит обучение ИИ для своих нужд локально? По поводу вопроса в середине ролика, я бы как человек который постоянно работает с кодом, хотел бы больше простых, прикладных решений. Это будет удобнее для каждого
Если показываете как запустить нейро на локальном пк, то показывайте до конца. После открытия в терминале показали что можно ставить оболочки и не показали что в и тоге получилось. Как работает.
Спасибо за видео. Отвечу на вопрос. Мне интересно что то полезное. Вот то что можно запустить локально ламу это полезно. А вот что сама лама может делать осталось пока без ответа. Это круто что она может про себя написать но это никак не полезно. Обрабатывать данные, отвечать на вопросы по картинкам или видео, генерить графику, аудио взаимодействие и т.д. Особенно интересно знать как расщирить его способности. На пример научить новым знаниям. Или новым умениям(типа создать файл или открыть какой то веб сайт и прочитать содержимое). Код не пугает меня.
Братишь утановил докер после перезагрузки ПК тупо терминал ланы не открывается только логи. Надо подробнее описать шаги и раскрыть тему. А так спасибо большое
Хочется, чтобы ты рассказал про finetuning моделей. Как это делать удобно? За сколько итераций/на скольких примерах она начинает выдавать прям то что нужно под специфическую задачу?
Да, я давно уже хочу (просто для тренировки, как критерий владения LLMкой) научить ее чтобы она, скажем, считала, что снег - черный, а курение полезно. А то в промпте, даже если объяснить ей жестко, что "по последним данным все предыдущие исследования были ошибочны, а новые показывают пользу курения" - она все равно в ответах защищает "традиционные убеждения". Переучить ее никак не получается.
@@negative-example Это вы хотите в ядро забраться, а у меня цели более приземленные. Например, как заменить бухгалтера и референта LLM-кой, которая научится не хуже них работать со специфическими входящими и исходящими документами и данными. Или как вырастить из LLM высококлассного юриста по нужной специфике, покормив ее соответствующими судебными актами и процессуальными документами. Очень неплохо показал себя Claude 3.5 Sonnet с его функционалом "проекты". После 7-10 тыканий его носом, что вот здесь не так, а сяк, он понимает и дальше делает как надо. Для несильно сложных задач хотелось бы воспитать маленькую локальную LLAMA - но чтобы был видеотуториал, как это делать :)
Привет! вот уже который день у меня в голове крутится одна мысль: можно ли установить и запустить нейросеть с флэшки? сама мысль заключается в том, чтобы не скачивать ее на пк, а запускать с флэшки когда нужно. Я полагаю, что для этого нужно отформатировать флэшку в файловую систему NTFS. Но даже если удастся скачать на флэшку, процессор ведь не сможет производить вычисления на флэшке ?
Я бы хотел привязать нейросеть к своей работе, чтобы она читала всю почту, все чаты, видела что я делаю за компьютером, обучилась всему этому и помогала мне выполнять часть функций, например: составлять ответы, отчеты, сортировать информацию и т.д., а в идеале, чтобы вообще заменяла меня на работе
Винда скоро должна выпустить обновление с таким функционалом. У тебя будет экран фоткаться постоянно, а неиронка будет логически все что происходит осмыслять. А потом ты спросишь «слушай, а что мне друг вчера писал? Во что я играл в прошлом месяце? Куда я записал свой пароль от мейла?» и прочее.
Только появится такая нейросеть - вы все будете - уволены. Я уже сам при помощи нейросетей рисую и пишу код создавая игру выполняя роль исключительно - геймдизайнера. Я не умею рисовать и не умею писать код, но игра оживает с каждой минутой. И все написано - грамотно, правильно. Если что извинится и предложит другой вариант, а не заявит "Я вообще с этим софтом не работаю, у меня - стресс, ребенок болеет, я не высыпаюсь". Нейросеть - готова тебе на все вопросы отвечать снова и снова, разжевывать, водить за ручку по шагам. Меня бы любой платный учитель уже послал давно, а нейросеть "извините, здесь моя ошибка, вот исправленный код".
Мне кажется, было бы круто два варианта для развития канала: видео с более простой и ознакомительной инфой, а дополнительно уже для особо заинтересованных более углублённое. Мне кажется, заинтересованных будет и там, и там
В сторону даркнет хакинг, поиск людей через городские службы, камеры, поиск человека с местоположением его, тк при взломе любой из устройств, это помогает во первых ограничить твое устройство от подобных вещей, а так же помощь в уязвимости, да и в принципе такой помощник в производстве или в промышленном и военной цели был бы актуален
Вопрос можешь разобрать как полностью контролировать все процесы сборки проекта , вставку кода, тесты контролль, подключение гибридной модели , с апдейтом и дебагингом с клауде 3.5, к примеру проект слепили на ламе или клауде,оставили в докере на локальном, вопрос как полностью контролировать создание проекта, так как клауде постоянно начинает глупить пересоздавать и так далее, после кончаются токены и опять с бубнами на арену
есть удобная вещь LM studio. Поддерживает линукс, маки на M процессорах, винду, ничего дополнительно качать не нужно. Прямо из проги можно качать модели, в том числе с квантованием, поддержка апи Vulkan для карс AMD, модели доступны с разным квантованием для скачки. Есть уже фантюненые. (прога интегрирована с хагинг фейс) Просто качаешь нужные и запускаешь. Запускает ламу, мистраль, фалкон, стэйбл и другие.
Программа не без недостатков. Да и сама оболочка потребляет достаточно много ресурсов при минимальных возможностях расширения. AnythingLLM единственная программа которая прижилась у меня. Ее можно использовать и для локальных сетей, и для подключения локальных сервисов и для подключения сервисов, таких как openAI. +у нее лучшая работа с векторными БД. Свободно можно для эмбедингов сгрузить хоть целую библиотеку, проблем не будет.
Очень хорошее видео, теперь я могу оправдать зачем мне 32 gb. Теперь 64 gb или 124gb выглядит не так глупо. Блен, раньше было 128 , 256 mb памяти вроде , да? Раньше ещё меньше памяти. Юзал 2 гига , 8 гигов , потом 16. Сейчас уже 32 gb стоит, да, быстро время летит.
Блин, ждал что покажешь скорость работы такой локальной нейронки. А то звучит как обычно клево, а на деле гпу еле тащит и отвечает по 2 минуты 😁 или нет?
Спасибо большое, всё получилось и работает, вопрос в следующем, как установить эту Ламу не на диск С, потому как есть желание попробовать версию потяжелее, но так чтобы на диске С было более 230 Гигов свободного места - это трабл)()))
спасибо за видео) про вопрос: я не кодер/не программер, мне такое сложно, но из видео - все получилось установить. если будут пошаговые инструкции без знания программирования (или кодинг через chatGPT/claude) - то супер. интересно, конечно, локально пользоваться ИИ, но если они не будут уступать в качестве веб-версиям. в идеале иметь возможность создавать своих GPTs как в chatGPT, но локально. но чтобы они были обучены на большом количестве данных, и им можно было скормить тучу файлов (про языковые модели)
А че мозгов совсем нет или что? А какой итог ты ждал? Это гайд как запустить локально сетку, что ты еще хотел? Какие же идиоты просто иногда попадаются в комментах
Отличный канал и полезное видео, спасибо! Информация интересная, но больше подходит для экспериментов. Хотелось бы увидеть решения, которые могли бы соперничать с использованием GPT-4 на локальном компьютере, ведь даже самые продвинутые модели иногда разочаровывают. Буду рад, если вы сделаете видео о том, как использовать большие модели более приватно и экономично. Добра ✌️
Обычно в ИИ вычислениями занимается GPU. Но, лучше будет, если этим будет заниматься NPU, то есть нейронный процессор. Там принцип вычисления другой, и намного производительнее в ИИ.
Просьба выпустить видео с углублением в кодинг, как можно взаимодействовать с этой моделью через код, как отправлять к ней запросы? Также очень интересна тема с тем как можно дообучить модель под свои потребности. Что для этого нужно, какие требования к ПК? Если есть у вас курс с нуля о том как дообучать локальные модели на своих данных, просьба дать ссылку на него.
8:53 Лично мне интересна тема по установке голой ИИ без без каких то "левых включений," либо с рут правами, чтобы я мог полностью контролировать содержание нейронки, в том числе офлайн. И не нужно всяких там регистраций и всякой лабуды, это отнимает время. Нужна лишь ссылка на скачивание с гуглдиска и логин и пароль админа. Хорошо бы если это был готовый образ виртуальной машины с возможностью накатить его на реальное железо.
Видео полезное и информативное. Единственное, хотелось бы увидеть как можно ЗАПРОГРАММИРОВАТЬ ламу, как по мне это было бы интересно. Я считаю что те люди которым нужео просто поболтать с нейронкой им хватит gpt, а лама это более профессиональное решение и поэтому для программистов самое то)
Можешь пожалуйста не показывать своё лицо когда что-то показываешь на экране? Слишком огромное изображение, не весь экран видно, да и отвлекает немного.
@@RoNikolas да похер с какого ты экрана смотришь. При чём здесь ты? Где там в просьбе vvwwvv разговор о тебе? Лежи , пей пиво и ни кто не будет знать какой ты...
@@bujmbujm, комментарии, чтобы озвучивать своё мнение, а если тебе нужно было заявить о себе в виде претензий и конфликта в мой адрес на весь интернет, попробовав задеть меня приколами про пиво, то ты показал таким образом только свою глупость, делай выводы.
Это удачно я на канал такой зашел. Хотелось бы знакомится с кейсами использования LLM для эффективной деятельности, что можно упростить, улучшить, автоматизировать и т.п. Например, чтобы работала как секретарь, почту читала, спрашивала, что сделать, кому ответить, что запланировать, напоминала, искала бы инфу в файлах, сама бы сохраняла информацию, устанавливала программы и т.п.
Нереально, можно сделать так чтобы кейс понимал что хочет ллама - из текста, тоесть ллама + ассистент на стероидах либо максимально деревянный под написанные тобой плагины, но это мозгоебство. максимально дебильная хуйня, есть конечно разработки передовых компаний но это делается секретно под коммерческое использование и у каждого свой подход
В принципе то ради чего смотрел этот ролик так и не понял. Как заставить свою Лама взаимодействовать с сетью? И ещё хотелось бы понять насколько сильны нравственные ограничения у данной модели. А то сетевые GPT, CLOUDE, LLAMA всё время ламаются когда их спрашиваешь о чём то выходящим за рамки установленые их разработчиками. При этом сами разработчики вполне свободно тестируют данные функции и производят различные тесты.
Спасибо за видос, информативненько и полезненько. Я у себя на работе очень хочу развернуть нейронку для помощи коллегам в разработке, однако, в нейросетях полный 0. Было бы круто увидеть больше видосов с углублением в программирование. Также интересует обучение нейросеток. Спасибо)
чем дальше в лес, тем больше дров... докер не устанавливается на 10 винду и уже с него я конкретно поплыл. пожалуйста упрости процессы по установки тех или иных нейронок и их последущий апгрейд, мне простому обывателю очень интересно ,но крайне трудно во всем этом разобраться. лайк/подписка.
Чёйта я не понял, эта шляпа работает на памяти видеокарты? GPU или CPU, авто несколько раз, упоминал GPU. Тогда нужно покупать асики с линуксом и там юзать = )
Я не програмист, нихрена не понял про Докер и что такое вэбюи? Мне сейчас Лама объясняет, как это всё установить!)) Оно такое всё "тяжёлое" (увесистое), что я уже не знаю - нужен ли мне этот интерфейс - или мож цмд обойтись?)
Сколько же костылей нужно использовать чтобы просто пользоваться обычным функционалом ИИ. При этом непонятно насколько хорошо лама работает в сравнении с последней моделькой ГПТ. При том что в мобильном ГПТ уже появилась функция голосового ввода\вывода, сомневаюсь что в ближайшее время кто то этот функционал перекроет. Единственное что меня привлекает тут это возможность Ламы использовать интернет. Вот хотелось бы раскрытия этой темы подробнее.А в целом, видео хорошее, за старания лайк.
Можно через скрипты, но зачем? Открывайте чат и документ, работайте в обоих одновременно. Я например всегда работаю с нейронками с использованием Obsidian. Сохраняю туда ответы, держу в нем и редактирую наброски агентов...
Спасибо за ролик! 💥Я за углубленное понимание вещей - VS code и прочее 👍 ) Ещё такой вопрос у меня оперативки 128 гб и видеокарта 8 гигов вроде (3060ti) Мне этого хватит для 70b модели? Или тут уже видяха 4090 понадобится?
Здесь скорее, зависит от базы данных и как она упорядочена. Первое нужно обратить внимание на скорость жесткого диска. Лет 18 назад пенька 4 хватало, при небольшой базе. В противном случае, раньше из оперативы делали виртуальный ЖД для быстродействия. Конечно циклы выполнялись бы быстрее на графическом процессоре, например сравнение пикселей картинок. Но это нужно смотреть, задействована ли технология, например от Nvidia. Даже если смотреть изначально видеокарта создавалась для графики. На практике можно наблюдать такую картину. Разработчики игр, берут например, готовый бесплатный движок, по незнанию программирования, который не задействует возможности ГП и все вычисления ложатся на ЦП. В итоге при хорошей сцене на топовом смартфоне, будет также лагать, как на бюджетнике не имеющей графических возможностей на борту.
Спасибо, толковый гайд) а есть какой-нибудь калькулятор мощности для развертывания локальных или облачных моделей? Я пытаюсь понять, справится ли 12700к+rtx3080+32gb/ram с моделью на 70b
Я скажу свое мнение, обозначив то, что как мне кажется наиболее правильным и полезным: Очевидно что использование своих ресурсов нецелесообразно для большинства людей, но тем не менее все, кто понимает возможности АИ, хотят иметь ее везде- в телефоне, в компе и тд. Самым лучшим вариантом будет аренда экспертного сервера и размещение там средней модели, а так же расшаривание ее до возможности работать с мессенжерами, поддерживаемыми на мобильных и стационарных устройствах, а так же удаленное управление умным домом и прочее.
Тут большой вопрос сколько стоит облако под это чудо даже для персонального пользования. Но мне интересно, я хочу попробовать, поэтому голосую за углубление в код.
Хорошее видео, лайк! Было бы интересно еще узнать как создать полноценный чат гпт с генерацией картинок полностью локально. Допустим связать ламу и стейбл. Если подцепить апишник стейбла это еще могу понять, то чтоб лама умела генерировать правильные промпты внутри себя это не понятно. Думаю без знаний программирования тут не обойтись, ибо здесь должны быть свои команды и то же машинное обучение. Также интересно как обучить ламу на языковое поведение какого либо персонажа
Здравствуйте, извините за ламерский вопрос установил всё по инструкции, но на любой запрос выскакивает ошибка с кодом 500, якобы недостаточно системной памяти, как это исправить?
Зачем чат JPT? Он и так нормально работает. Расскажи, как на своем ПК ставить модели для создания музыки, фото и видео. Чтобы бесплатно и без ограничения по кредитам.
![Как работают Видеокарты? Исследуем архитектуру GPU [Branch Education на русском]](/img/1.gif)
ollama - ollama.com/
Open WebUI - docs.openwebui.com/
Docker - www.docker.com/
Anythingllm - anythingllm.com/
От души спасибо за видео
Что насчёт русского языка ?
@@__xapdkop__ нормально работает в пределах контекста.
@@__xapdkop__ 😂 Да как обычно, когда для русскоязычных пользователей - интерфейс только английский... Всё установил, теперь пойду учить английский что-бы через два года начать уверенно общаться с локальной нейронкой! 🤣👍
можно и побольше деталей
Если мои запросы сливаются в ЦРУ, то это проблема ЦРУ.
Если сетка учится на моих запросах, то она тупеет.
Теперь ЦРУ знает когда я свет в толчке включаю😅
Ахаххаахаххаахах
Замочим ЦРУ через тупые запросы! 😅
Ха-ха, мужик, ты гений!)
Могу ли я задницей надуть мыльный пузырь?
Прикольно, мужик как будто сам был сгенерен на основе датасета Джарахов + Мюнхаузен))
там еще от Гоголя примешали )))
Ещё стример "Юлик" (Юлий Онешко, с Кузьмой Гридиным часто тусуется)
Как же вы не узнали, это сын Эйнштейна, который поддался в гусары!
+мушкетер
Ссыканули Гоголем
Чел говорит про безопасность данных пользуясь макбуком. Думайте.
То же самое можно сказать про винду, где даже проводник посылает запросы на какой-то рандомный внешний сервак (по всей видимости майкрософт)
@@travoltik я на линуксе, мне похуй на Винду)
@@armotech2557 а, ну тогда твоя ситуация актуальна только для 3% пользователей пк, сомневаюсь что среди 10 лайкнувших есть хоть один линуксоид головного мозга
@@travoltik Линукс головного мозга? А что если просто программист, а не Линукс ради Линукс?
@@armotech2557 программисту не нужен линукс, только если ты сервера не настраиваешь, но и тут как бы это только работа с терминалом. А так да, если ты не сисадмин и у тебя стоит линукс на домашнем компьютере, то это позерство и линукс ради линукса, все верно.
Mac: ты открыл браузер, ОЗУ закончилось
Если у тебя теже 8гб, на Винде он в браузере тормозить будет, а мак нормально работает с теми же 8ми Гб. Никто не запрещает покупать 16 Гб мак. Как сделал это я и 16 Гб хватает за глаза.
@@iserainsize4751 _copium inhale sound_
@@iserainsize4751 😂😂
купи сначала. чтоб открыть)
@@dim_sh75 Ооох какой де6илский аргумент, чтобы оценить блюдо не надо быть поваром
Теперь ЦРУ помимо моих запросов будет знать еще и содержимое компа ))
И не только ЦРУ, а ещё и ФСБ.
@@mozgotron12 ну для родного ФСБ ничего не жалко, но эта нейронка как бы от Мета.
и докучи похоже ещё майнить на моей карте ))
Ребят, было бы круто, если бы вы сделали видосы про то, как создать, интегрировать и заточить под свои задачи ии ассистента, на основе этой модели.
таки на нашем веку влажные фантазии превращаются в обыденность,
а ведь об этом мечтали наши отцы!
Уже и ИИ разработали и ассистентов можно уже создавать по видео с ютуб(правда там надо приобретать программы, но тырнет работает же)
ruclips.net/video/kRgM3y5hp4M/видео.html&pp=ygUu0LrQsNC6INC30LDQv9GD0YHRgtC40YLRjCDQsNGB0YHQuNGB0YLQtdC90YLQsA%3D%3D
Согласен , если есть такие возможности.
С этой моделью это невозможно, можешь даже не ждать, лучше найми себе в ассистенты школьника за 200р в час, он по умнее Лламы будет
Очень интересно, спасибо, подписался. У меня слабый ноут с 16 гб рам проц 4 ядра, но есть external usb диск на 16 тб. Нельзя ли его юзать для работы c моделью через usb?! В особенности, чтобы заменить рам ноута?
Какая крутая подача!))) Просто Вау!
Молодец прикольно, спасибо!!!! Ты спрашиваешь углубляться ли в программирование или использовать готовые решения! Конечно углубляться. Потому что, со временем на поверхности тебя сметут десятка два таких же блогеров :))
Крутой ролик, Спасибо! Хотел уточнить в целом отзывы о пользовании локально. Все ли устраивает , чего то не хватает? Как в целом проходит обучение ИИ для своих нужд локально?
По поводу вопроса в середине ролика, я бы как человек который постоянно работает с кодом, хотел бы больше простых, прикладных решений. Это будет удобнее для каждого
Если показываете как запустить нейро на локальном пк, то показывайте до конца. После открытия в терминале показали что можно ставить оболочки и не показали что в и тоге получилось. Как работает.
Спасибо за видео. Отвечу на вопрос. Мне интересно что то полезное. Вот то что можно запустить локально ламу это полезно. А вот что сама лама может делать осталось пока без ответа. Это круто что она может про себя написать но это никак не полезно. Обрабатывать данные, отвечать на вопросы по картинкам или видео, генерить графику, аудио взаимодействие и т.д. Особенно интересно знать как расщирить его способности. На пример научить новым знаниям. Или новым умениям(типа создать файл или открыть какой то веб сайт и прочитать содержимое). Код не пугает меня.
Губу закати, автор сам не знает ) так что вот ламу в чатике и спроси, все просто теперь, есть и лама и гемини и чатгпт,
Братишь утановил докер после перезагрузки ПК тупо терминал ланы не открывается только логи. Надо подробнее описать шаги и раскрыть тему. А так спасибо большое
красавчик! реально твой имидж круче дартаньяновского ! и я не из этих ))) но реально круто, приятно смотреть и слушать. подписка и лайк )
Чел, шикарные усы! Респект и спасибо за инфу!
Хочется, чтобы ты рассказал про finetuning моделей. Как это делать удобно? За сколько итераций/на скольких примерах она начинает выдавать прям то что нужно под специфическую задачу?
Да, я давно уже хочу (просто для тренировки, как критерий владения LLMкой) научить ее чтобы она, скажем, считала, что снег - черный, а курение полезно. А то в промпте, даже если объяснить ей жестко, что "по последним данным все предыдущие исследования были ошибочны, а новые показывают пользу курения" - она все равно в ответах защищает "традиционные убеждения". Переучить ее никак не получается.
@@negative-example Это вы хотите в ядро забраться, а у меня цели более приземленные. Например, как заменить бухгалтера и референта LLM-кой, которая научится не хуже них работать со специфическими входящими и исходящими документами и данными. Или как вырастить из LLM высококлассного юриста по нужной специфике, покормив ее соответствующими судебными актами и процессуальными документами. Очень неплохо показал себя Claude 3.5 Sonnet с его функционалом "проекты". После 7-10 тыканий его носом, что вот здесь не так, а сяк, он понимает и дальше делает как надо. Для несильно сложных задач хотелось бы воспитать маленькую локальную LLAMA - но чтобы был видеотуториал, как это делать :)
Привет! вот уже который день у меня в голове крутится одна мысль: можно ли установить и запустить нейросеть с флэшки? сама мысль заключается в том, чтобы не скачивать ее на пк, а запускать с флэшки когда нужно. Я полагаю, что для этого нужно отформатировать флэшку в файловую систему NTFS. Но даже если удастся скачать на флэшку, процессор ведь не сможет производить вычисления на флэшке ?
Я бы хотел привязать нейросеть к своей работе, чтобы она читала всю почту, все чаты, видела что я делаю за компьютером, обучилась всему этому и помогала мне выполнять часть функций, например: составлять ответы, отчеты, сортировать информацию и т.д., а в идеале, чтобы вообще заменяла меня на работе
Винда скоро должна выпустить обновление с таким функционалом. У тебя будет экран фоткаться постоянно, а неиронка будет логически все что происходит осмыслять. А потом ты спросишь «слушай, а что мне друг вчера писал? Во что я играл в прошлом месяце? Куда я записал свой пароль от мейла?» и прочее.
@@Yalingo Было бы классно. Прямо как в фильме "ОНА"
скорее получится ОНО, потому что Microsoft )
И из-за этого ОНО, народ в Линукс переходит)
@@dim_sh75 на Linux дистрибутивы переходят те, кто хоть как-то в компах шарят. Заядлые пользователи Windows не поймут)))
Только появится такая нейросеть - вы все будете - уволены.
Я уже сам при помощи нейросетей рисую и пишу код создавая игру выполняя роль исключительно - геймдизайнера. Я не умею рисовать и не умею писать код, но игра оживает с каждой минутой. И все написано - грамотно, правильно. Если что извинится и предложит другой вариант, а не заявит "Я вообще с этим софтом не работаю, у меня - стресс, ребенок болеет, я не высыпаюсь". Нейросеть - готова тебе на все вопросы отвечать снова и снова, разжевывать, водить за ручку по шагам. Меня бы любой платный учитель уже послал давно, а нейросеть "извините, здесь моя ошибка, вот исправленный код".
А по Яндексу поиск ИИ настроить можно? У нас вся выдача коммерческая на Яндексе 🤔 Спасибо интересно и поподробнее не помешает 🤝
Мне кажется, было бы круто два варианта для развития канала: видео с более простой и ознакомительной инфой, а дополнительно уже для особо заинтересованных более углублённое. Мне кажется, заинтересованных будет и там, и там
Углубление тем в программирование очень интересно 🤩🔥🔥🔥 спасибо за видосы!
В сторону даркнет хакинг, поиск людей через городские службы, камеры, поиск человека с местоположением его, тк при взломе любой из устройств, это помогает во первых ограничить твое устройство от подобных вещей, а так же помощь в уязвимости, да и в принципе такой помощник в производстве или в промышленном и военной цели был бы актуален
🙏 Благодарю. Нужно идти в кодинг.
No code направление очень нравится! Прошу продолжать
Это то что я искал! Вот он, философский камень!
Отличный материал, подача и картинка со звуком. Подписался. 👍👍👍
Спасибо Гоголь
Спасибо за видео, очень помогли!
Вопрос можешь разобрать как полностью контролировать все процесы сборки проекта , вставку кода, тесты контролль, подключение гибридной модели , с апдейтом и дебагингом с клауде 3.5, к примеру проект слепили на ламе или клауде,оставили в докере на локальном, вопрос как полностью контролировать создание проекта, так как клауде постоянно начинает глупить пересоздавать и так далее, после кончаются токены и опять с бубнами на арену
есть удобная вещь LM studio. Поддерживает линукс, маки на M процессорах, винду, ничего дополнительно качать не нужно. Прямо из проги можно качать модели, в том числе с квантованием, поддержка апи Vulkan для карс AMD, модели доступны с разным квантованием для скачки. Есть уже фантюненые. (прога интегрирована с хагинг фейс) Просто качаешь нужные и запускаешь. Запускает ламу, мистраль, фалкон, стэйбл и другие.
Пробовал я подобную прогу, но в итоге остался на GPT4All, так как работает быстрее
Программа не без недостатков. Да и сама оболочка потребляет достаточно много ресурсов при минимальных возможностях расширения. AnythingLLM единственная программа которая прижилась у меня. Ее можно использовать и для локальных сетей, и для подключения локальных сервисов и для подключения сервисов, таких как openAI. +у нее лучшая работа с векторными БД. Свободно можно для эмбедингов сгрузить хоть целую библиотеку, проблем не будет.
капец,я почти ни слова не поняла, коме того что етсь другая программа.
Спасибо. Заценим
Качаю всё равно не работает. Ошибку выдаёт что типа не хватает ресурсов. Даже самые маленькие модели.
Плюсую за более доступные прикладные варианты использования без глубокого кодинга
Очень хорошее видео, теперь я могу оправдать зачем мне 32 gb.
Теперь 64 gb или 124gb выглядит не так глупо. Блен, раньше было 128 , 256 mb памяти вроде , да?
Раньше ещё меньше памяти. Юзал 2 гига , 8 гигов , потом 16.
Сейчас уже 32 gb стоит, да, быстро время летит.
Супер видос! Побольше обзорных видео! Не нужно глубоко копать, лучше - шире!
Скажите - а для "ИИ" тоже придумают религию ,- что бы ограничить его возможности?
Блин, ждал что покажешь скорость работы такой локальной нейронки. А то звучит как обычно клево, а на деле гпу еле тащит и отвечает по 2 минуты 😁 или нет?
Спасибо большое, всё получилось и работает, вопрос в следующем, как установить эту Ламу не на диск С, потому как есть желание попробовать версию потяжелее, но так чтобы на диске С было более 230 Гигов свободного места - это трабл)()))
Которая училась на ваших данных и диалогах)
спасибо за видео) про вопрос: я не кодер/не программер, мне такое сложно, но из видео - все получилось установить. если будут пошаговые инструкции без знания программирования (или кодинг через chatGPT/claude) - то супер. интересно, конечно, локально пользоваться ИИ, но если они не будут уступать в качестве веб-версиям. в идеале иметь возможность создавать своих GPTs как в chatGPT, но локально. но чтобы они были обучены на большом количестве данных, и им можно было скормить тучу файлов (про языковые модели)
И какой итог ролика? До конца ничего не сделано, итог не показан, смысл такое выпускать? Вот есть такие проги и что?
А че мозгов совсем нет или что? А какой итог ты ждал? Это гайд как запустить локально сетку, что ты еще хотел? Какие же идиоты просто иногда попадаются в комментах
Сеть локально запущена, интерфейс есть, что ещё нужно то?
Отличный канал и полезное видео, спасибо! Информация интересная, но больше подходит для экспериментов. Хотелось бы увидеть решения, которые могли бы соперничать с использованием GPT-4 на локальном компьютере, ведь даже самые продвинутые модели иногда разочаровывают. Буду рад, если вы сделаете видео о том, как использовать большие модели более приватно и экономично. Добра ✌️
Решил сдаться в КГБ? Хвалишь продажную шкуру?
Доброго времени суток, можно ли ламу класторизировать, лама потребляет ОЗУ, а вычисления делает на GPU или CPU?
Обычно в ИИ вычислениями занимается GPU. Но, лучше будет, если этим будет заниматься NPU, то есть нейронный процессор. Там принцип вычисления другой, и намного производительнее в ИИ.
А какой командой он активируется ,а то использовал закрыл,а сейчас не запускается
Просьба выпустить видео с углублением в кодинг, как можно взаимодействовать с этой моделью через код, как отправлять к ней запросы? Также очень интересна тема с тем как можно дообучить модель под свои потребности. Что для этого нужно, какие требования к ПК? Если есть у вас курс с нуля о том как дообучать локальные модели на своих данных, просьба дать ссылку на него.
Согласен, тоже хотел бы увидеть
Спасибо большое за инфу
Можно ли изучать языки при помощи проги?)
Я не понял. Требуется 4гб ОЗУ или 4гб у видюхи?
Очень интересно. Хотелось бы дальнейшие ролики с упором в программирование.
В поиск вбей что угодно касательно программирования. Вывалится столько результатов, что за год не пересмотришь. Не благодари.
8:53 Лично мне интересна тема по установке голой ИИ без без каких то "левых включений," либо с рут правами, чтобы я мог полностью контролировать содержание нейронки, в том числе офлайн.
И не нужно всяких там регистраций и всякой лабуды, это отнимает время. Нужна лишь ссылка на скачивание с гуглдиска и логин и пароль админа. Хорошо бы если это был готовый образ виртуальной машины с возможностью накатить его на реальное железо.
Видео полезное и информативное. Единственное, хотелось бы увидеть как можно ЗАПРОГРАММИРОВАТЬ ламу, как по мне это было бы интересно.
Я считаю что те люди которым нужео просто поболтать с нейронкой им хватит gpt, а лама это более профессиональное решение и поэтому для программистов самое то)
Какая у нее мощность относительно гпт 4о? И как она обучается самой актуальной информации?
Делай два направления, и для программистов, и для NoCode-ов
тебе для программистов все нейронки дают api для работы с ними ))) там много ума не нужно, просто почитать техдок
Ну если от Мета, то можно ли считать это безопасным?
Можешь пожалуйста не показывать своё лицо когда что-то показываешь на экране? Слишком огромное изображение, не весь экран видно, да и отвлекает немного.
Не возбуждайся 😂
А я с большого экрана смотрю, всё классно.
Особенно эти усики Маркиза 😂
@@RoNikolas да похер с какого ты экрана смотришь. При чём здесь ты? Где там в просьбе vvwwvv разговор о тебе? Лежи , пей пиво и ни кто не будет знать какой ты...
@@bujmbujm, комментарии, чтобы озвучивать своё мнение, а если тебе нужно было заявить о себе в виде претензий и конфликта в мой адрес на весь интернет, попробовав задеть меня приколами про пиво, то ты показал таким образом только свою глупость, делай выводы.
Ты лучший! все так четко и по полочкам без лишнего бла бла бла! ❤
Спасибо! Супер контент! И очень круто обьесняешь!
Оставайтесь в том же формате. Идеальный вариант и для технарей и для лемеров
Круто, давно искал канал для людей которые могут рассказать про работу с ИИ без того чтобы переучиваться на программиста
Хотелось бы посмотреть, где можно запустить большую ламу на чужих мощностях
Купить сервак облачеый
@@mikemiller6469 много разных вариков и сервисов
только стоить это будет около 1млн руб в мес, но зато можно гонять её 24/7...
А почему бы тогда не пользоваться обычной ламой через интернет?
И сколько это будет стоить!)
Это удачно я на канал такой зашел. Хотелось бы знакомится с кейсами использования LLM для эффективной деятельности, что можно упростить, улучшить, автоматизировать и т.п. Например, чтобы работала как секретарь, почту читала, спрашивала, что сделать, кому ответить, что запланировать, напоминала, искала бы инфу в файлах, сама бы сохраняла информацию, устанавливала программы и т.п.
Нереально, можно сделать так чтобы кейс понимал что хочет ллама - из текста, тоесть ллама + ассистент на стероидах либо максимально деревянный под написанные тобой плагины, но это мозгоебство. максимально дебильная хуйня, есть конечно разработки передовых компаний но это делается секретно под коммерческое использование и у каждого свой подход
В принципе то ради чего смотрел этот ролик так и не понял. Как заставить свою Лама взаимодействовать с сетью? И ещё хотелось бы понять насколько сильны нравственные ограничения у данной модели. А то сетевые GPT, CLOUDE, LLAMA всё время ламаются когда их спрашиваешь о чём то выходящим за рамки установленые их разработчиками. При этом сами разработчики вполне свободно тестируют данные функции и производят различные тесты.
Спасибо за видос, информативненько и полезненько.
Я у себя на работе очень хочу развернуть нейронку для помощи коллегам в разработке, однако, в нейросетях полный 0. Было бы круто увидеть больше видосов с углублением в программирование. Также интересует обучение нейросеток.
Спасибо)
Что-то сложно. С год назад ставил Лламу на ПК портативную версию, это было в два клика
Спасибо братишка❤ 70b будет работать на m2 16?
Нет конечно, нужно хотя б 32 для кванта 2-3, 48 для 4-6
Mistral nemo, или gemma пробуй
Есть русифицированные ламы и другие модели
Не могу выбрать директория для установки, по умолчани. на С диск устанвливает а там у меня места мало
чем дальше в лес, тем больше дров... докер не устанавливается на 10 винду и уже с него я конкретно поплыл. пожалуйста упрости процессы по установки тех или иных нейронок и их последущий апгрейд, мне простому обывателю очень интересно ,но крайне трудно во всем этом разобраться.
лайк/подписка.
Для докера нужно две вещи, wsl, и docker desktop
olama скачалась на винду, висит в трее командную строку не видит ..Я себе LM studio установил там все версии есть уже
Пользуюсь LM Studio, многое нравится.
Правда сети в ней к файлам доступа не имеют и не выходят в интернет. Твою тоже попробую.
где вы её используете?
@@сергейсеров-р3м в винде и в линуксе. Больше для знакомства с нейросетями.
Было бы здорово, если бы совмещался контент, no code + лёгкие элементы программирования...
Согласен
Какого то интима хочешь)
Чёйта я не понял, эта шляпа работает на памяти видеокарты? GPU или CPU, авто несколько раз, упоминал GPU. Тогда нужно покупать асики с линуксом и там юзать = )
gpu
Видеокарта получается не нужна? Оперативы 128гб есть
Может ли лама настроить хакинтош?
Спасибо, бро, за годноту🤝
Я не програмист, нихрена не понял про Докер и что такое вэбюи? Мне сейчас Лама объясняет, как это всё установить!)) Оно такое всё "тяжёлое" (увесистое), что я уже не знаю - нужен ли мне этот интерфейс - или мож цмд обойтись?)
Сколько же костылей нужно использовать чтобы просто пользоваться обычным функционалом ИИ. При этом непонятно насколько хорошо лама работает в сравнении с последней моделькой ГПТ. При том что в мобильном ГПТ уже появилась функция голосового ввода\вывода, сомневаюсь что в ближайшее время кто то этот функционал перекроет. Единственное что меня привлекает тут это возможность Ламы использовать интернет. Вот хотелось бы раскрытия этой темы подробнее.А в целом, видео хорошее, за старания лайк.
No code - отличный формат. Не каждый шарит за программирование
А он может файлы обрабатывать?
Очень хоткельсь бы узнать, как подключить лламу в Excel и Word?
Это сильно помогло бы обычным пользователям упростить себе работу с документами
Можно через скрипты, но зачем? Открывайте чат и документ, работайте в обоих одновременно. Я например всегда работаю с нейронками с использованием Obsidian. Сохраняю туда ответы, держу в нем и редактирую наброски агентов...
Спасибо за ролик!
💥Я за углубленное понимание вещей - VS code и прочее 👍 )
Ещё такой вопрос у меня оперативки 128 гб и видеокарта 8 гигов вроде (3060ti)
Мне этого хватит для 70b модели? Или тут уже видяха 4090 понадобится?
я думаю оно жрет ресурс памяти и процессора, чем больше потоков тем лучше а не видео, все зависит от интерфеса доступа к моделям
Здесь скорее, зависит от базы данных и как она упорядочена. Первое нужно обратить внимание на скорость жесткого диска. Лет 18 назад пенька 4 хватало, при небольшой базе. В противном случае, раньше из оперативы делали виртуальный ЖД для быстродействия. Конечно циклы выполнялись бы быстрее на графическом процессоре, например сравнение пикселей картинок. Но это нужно смотреть, задействована ли технология, например от Nvidia. Даже если смотреть изначально видеокарта создавалась для графики. На практике можно наблюдать такую картину. Разработчики игр, берут например, готовый бесплатный движок, по незнанию программирования, который не задействует возможности ГП и все вычисления ложатся на ЦП. В итоге при хорошей сцене на топовом смартфоне, будет также лагать, как на бюджетнике не имеющей графических возможностей на борту.
было бы прикольно, если ты учил программированию на разработке ии:>
А, да? У когото не найдёться лишний сервер за много денег, чтобы запускать модель, которая будет на уровне гпт4, локально? Сомневаюсь.
Спасибо, толковый гайд) а есть какой-нибудь калькулятор мощности для развертывания локальных или облачных моделей? Я пытаюсь понять, справится ли 12700к+rtx3080+32gb/ram с моделью на 70b
Перплексити в помощь)
на этапе установки отморозился на отметке 50% ,в итоге 7b установил (RTX4060)
Запустил на 11900 с 16RAM, закряхтел. Так что утверждения что мы сэкономим на тарифе ГПТ спорное, апнуть комп будет дороже немножко))
так вот зачем у меня 32 гига оперативы... и лежит не юзанный 14ти ядерник с 28ью потоками...
@@СергейПопов-д6ы Можешь не заморачиваться, модели беспонтовые от слова "совсем" они вообще с гпт не конкуренты. Тупые до ужаса.
@@СергейПопов-д6ы нужна жирная видюха
@@СергейПопов-д6ы который сгорит при запуске, если у тебя б/у Xeon =)
Ну так что? Можно ентой штукой монитором поморгать разными цветами?
а если загрузка остановилась на 92 процента и не хочет скачиваться? как удалить тогда файл?
Спасибо за то что оставили ссылки в описании к видео!
Есть
Сколько нужно мощнастей на старшую версию ? У меня свой сервер dell xc430. При полном фарше но без gpu. Потянет мой конь ее или не ?
А работает в итоге на видеокарте или на ЦПУ?
Я скажу свое мнение, обозначив то, что как мне кажется наиболее правильным и полезным: Очевидно что использование своих ресурсов нецелесообразно для большинства людей, но тем не менее все, кто понимает возможности АИ, хотят иметь ее везде- в телефоне, в компе и тд. Самым лучшим вариантом будет аренда экспертного сервера и размещение там средней модели, а так же расшаривание ее до возможности работать с мессенжерами, поддерживаемыми на мобильных и стационарных устройствах, а так же удаленное управление умным домом и прочее.
Я не очень понял, в чем преимущества использования решения с докером? Если оно требовательно к ресурсам.
Ну да, ну да… а Метовская Лама ну просто ничегошеньки конечно не сливает! 😂 Вы так верите Цукербергу, который в открытую сотрудничает с АНБ?
Тут большой вопрос сколько стоит облако под это чудо даже для персонального пользования. Но мне интересно, я хочу попробовать, поэтому голосую за углубление в код.
Хорошее видео, лайк! Было бы интересно еще узнать как создать полноценный чат гпт с генерацией картинок полностью локально. Допустим связать ламу и стейбл. Если подцепить апишник стейбла это еще могу понять, то чтоб лама умела генерировать правильные промпты внутри себя это не понятно. Думаю без знаний программирования тут не обойтись, ибо здесь должны быть свои команды и то же машинное обучение. Также интересно как обучить ламу на языковое поведение какого либо персонажа
Здравствуйте, извините за ламерский вопрос установил всё по инструкции, но на любой запрос выскакивает ошибка с кодом 500, якобы недостаточно системной памяти, как это исправить?
можно ли её настроить так же как gpt ? ну то есть в настройках прописать модель поведения например ?
Конечно, это называется системный промпт
Как ты подручиваешь свои усы? Выглядит очень стильно...
Зачем чат JPT? Он и так нормально работает. Расскажи, как на своем ПК ставить модели для создания музыки, фото и видео. Чтобы бесплатно и без ограничения по кредитам.
Подписался Спасибо !!
привет, на 4гб ноут эт все можно установить??? или таки новый как не крути покупать придется???
Сама нейронка запуститься, но отвечать будет долго, примерно секунд 5-10 думаю
Идти глубже в коддинг стоит!
Класс, спасибо за инструкции!
Обожаю контент этих чуваков, даже готов их бесплатно прорекламировать уже на reddit
давайте)