@@__xapdkop__ 😂 Да как обычно, когда для русскоязычных пользователей - интерфейс только английский... Всё установил, теперь пойду учить английский что-бы через два года начать уверенно общаться с локальной нейронкой! 🤣👍
Если у тебя теже 8гб, на Винде он в браузере тормозить будет, а мак нормально работает с теми же 8ми Гб. Никто не запрещает покупать 16 Гб мак. Как сделал это я и 16 Гб хватает за глаза.
@@armotech2557 а, ну тогда твоя ситуация актуальна только для 3% пользователей пк, сомневаюсь что среди 10 лайкнувших есть хоть один линуксоид головного мозга
@@armotech2557 программисту не нужен линукс, только если ты сервера не настраиваешь, но и тут как бы это только работа с терминалом. А так да, если ты не сисадмин и у тебя стоит линукс на домашнем компьютере, то это позерство и линукс ради линукса, все верно.
таки на нашем веку влажные фантазии превращаются в обыденность, а ведь об этом мечтали наши отцы! Уже и ИИ разработали и ассистентов можно уже создавать по видео с ютуб(правда там надо приобретать программы, но тырнет работает же)
Можешь пожалуйста не показывать своё лицо когда что-то показываешь на экране? Слишком огромное изображение, не весь экран видно, да и отвлекает немного.
@@RoNikolas да похер с какого ты экрана смотришь. При чём здесь ты? Где там в просьбе vvwwvv разговор о тебе? Лежи , пей пиво и ни кто не будет знать какой ты...
@@bujmbujm, комментарии, чтобы озвучивать своё мнение, а если тебе нужно было заявить о себе в виде претензий и конфликта в мой адрес на весь интернет, попробовав задеть меня приколами про пиво, то ты показал таким образом только свою глупость, делай выводы.
В сторону даркнет хакинг, поиск людей через городские службы, камеры, поиск человека с местоположением его, тк при взломе любой из устройств, это помогает во первых ограничить твое устройство от подобных вещей, а так же помощь в уязвимости, да и в принципе такой помощник в производстве или в промышленном и военной цели был бы актуален
Молодец прикольно, спасибо!!!! Ты спрашиваешь углубляться ли в программирование или использовать готовые решения! Конечно углубляться. Потому что, со временем на поверхности тебя сметут десятка два таких же блогеров :))
Хочется, чтобы ты рассказал про finetuning моделей. Как это делать удобно? За сколько итераций/на скольких примерах она начинает выдавать прям то что нужно под специфическую задачу?
Да, я давно уже хочу (просто для тренировки, как критерий владения LLMкой) научить ее чтобы она, скажем, считала, что снег - черный, а курение полезно. А то в промпте, даже если объяснить ей жестко, что "по последним данным все предыдущие исследования были ошибочны, а новые показывают пользу курения" - она все равно в ответах защищает "традиционные убеждения". Переучить ее никак не получается.
@@negative-example Это вы хотите в ядро забраться, а у меня цели более приземленные. Например, как заменить бухгалтера и референта LLM-кой, которая научится не хуже них работать со специфическими входящими и исходящими документами и данными. Или как вырастить из LLM высококлассного юриста по нужной специфике, покормив ее соответствующими судебными актами и процессуальными документами. Очень неплохо показал себя Claude 3.5 Sonnet с его функционалом "проекты". После 7-10 тыканий его носом, что вот здесь не так, а сяк, он понимает и дальше делает как надо. Для несильно сложных задач хотелось бы воспитать маленькую локальную LLAMA - но чтобы был видеотуториал, как это делать :)
Крутой ролик, Спасибо! Хотел уточнить в целом отзывы о пользовании локально. Все ли устраивает , чего то не хватает? Как в целом проходит обучение ИИ для своих нужд локально? По поводу вопроса в середине ролика, я бы как человек который постоянно работает с кодом, хотел бы больше простых, прикладных решений. Это будет удобнее для каждого
Я бы хотел привязать нейросеть к своей работе, чтобы она читала всю почту, все чаты, видела что я делаю за компьютером, обучилась всему этому и помогала мне выполнять часть функций, например: составлять ответы, отчеты, сортировать информацию и т.д., а в идеале, чтобы вообще заменяла меня на работе
Винда скоро должна выпустить обновление с таким функционалом. У тебя будет экран фоткаться постоянно, а неиронка будет логически все что происходит осмыслять. А потом ты спросишь «слушай, а что мне друг вчера писал? Во что я играл в прошлом месяце? Куда я записал свой пароль от мейла?» и прочее.
Только появится такая нейросеть - вы все будете - уволены. Я уже сам при помощи нейросетей рисую и пишу код создавая игру выполняя роль исключительно - геймдизайнера. Я не умею рисовать и не умею писать код, но игра оживает с каждой минутой. И все написано - грамотно, правильно. Если что извинится и предложит другой вариант, а не заявит "Я вообще с этим софтом не работаю, у меня - стресс, ребенок болеет, я не высыпаюсь". Нейросеть - готова тебе на все вопросы отвечать снова и снова, разжевывать, водить за ручку по шагам. Меня бы любой платный учитель уже послал давно, а нейросеть "извините, здесь моя ошибка, вот исправленный код".
Спасибо за видео. Отвечу на вопрос. Мне интересно что то полезное. Вот то что можно запустить локально ламу это полезно. А вот что сама лама может делать осталось пока без ответа. Это круто что она может про себя написать но это никак не полезно. Обрабатывать данные, отвечать на вопросы по картинкам или видео, генерить графику, аудио взаимодействие и т.д. Особенно интересно знать как расщирить его способности. На пример научить новым знаниям. Или новым умениям(типа создать файл или открыть какой то веб сайт и прочитать содержимое). Код не пугает меня.
8:53 Лично мне интересна тема по установке голой ИИ без без каких то "левых включений," либо с рут правами, чтобы я мог полностью контролировать содержание нейронки, в том числе офлайн. И не нужно всяких там регистраций и всякой лабуды, это отнимает время. Нужна лишь ссылка на скачивание с гуглдиска и логин и пароль админа. Хорошо бы если это был готовый образ виртуальной машины с возможностью накатить его на реальное железо.
есть удобная вещь LM studio. Поддерживает линукс, маки на M процессорах, винду, ничего дополнительно качать не нужно. Прямо из проги можно качать модели, в том числе с квантованием, поддержка апи Vulkan для карс AMD, модели доступны с разным квантованием для скачки. Есть уже фантюненые. (прога интегрирована с хагинг фейс) Просто качаешь нужные и запускаешь. Запускает ламу, мистраль, фалкон, стэйбл и другие.
Программа не без недостатков. Да и сама оболочка потребляет достаточно много ресурсов при минимальных возможностях расширения. AnythingLLM единственная программа которая прижилась у меня. Ее можно использовать и для локальных сетей, и для подключения локальных сервисов и для подключения сервисов, таких как openAI. +у нее лучшая работа с векторными БД. Свободно можно для эмбедингов сгрузить хоть целую библиотеку, проблем не будет.
Братишь утановил докер после перезагрузки ПК тупо терминал ланы не открывается только логи. Надо подробнее описать шаги и раскрыть тему. А так спасибо большое
Если показываете как запустить нейро на локальном пк, то показывайте до конца. После открытия в терминале показали что можно ставить оболочки и не показали что в и тоге получилось. Как работает.
Очень интересно, спасибо, подписался. У меня слабый ноут с 16 гб рам проц 4 ядра, но есть external usb диск на 16 тб. Нельзя ли его юзать для работы c моделью через usb?! В особенности, чтобы заменить рам ноута?
Мне кажется, было бы круто два варианта для развития канала: видео с более простой и ознакомительной инфой, а дополнительно уже для особо заинтересованных более углублённое. Мне кажется, заинтересованных будет и там, и там
Это удачно я на канал такой зашел. Хотелось бы знакомится с кейсами использования LLM для эффективной деятельности, что можно упростить, улучшить, автоматизировать и т.п. Например, чтобы работала как секретарь, почту читала, спрашивала, что сделать, кому ответить, что запланировать, напоминала, искала бы инфу в файлах, сама бы сохраняла информацию, устанавливала программы и т.п.
Нереально, можно сделать так чтобы кейс понимал что хочет ллама - из текста, тоесть ллама + ассистент на стероидах либо максимально деревянный под написанные тобой плагины, но это мозгоебство. максимально дебильная хуйня, есть конечно разработки передовых компаний но это делается секретно под коммерческое использование и у каждого свой подход
Привет! вот уже который день у меня в голове крутится одна мысль: можно ли установить и запустить нейросеть с флэшки? сама мысль заключается в том, чтобы не скачивать ее на пк, а запускать с флэшки когда нужно. Я полагаю, что для этого нужно отформатировать флэшку в файловую систему NTFS. Но даже если удастся скачать на флэшку, процессор ведь не сможет производить вычисления на флэшке ?
Отличный канал и полезное видео, спасибо! Информация интересная, но больше подходит для экспериментов. Хотелось бы увидеть решения, которые могли бы соперничать с использованием GPT-4 на локальном компьютере, ведь даже самые продвинутые модели иногда разочаровывают. Буду рад, если вы сделаете видео о том, как использовать большие модели более приватно и экономично. Добра ✌️
спасибо за видео) про вопрос: я не кодер/не программер, мне такое сложно, но из видео - все получилось установить. если будут пошаговые инструкции без знания программирования (или кодинг через chatGPT/claude) - то супер. интересно, конечно, локально пользоваться ИИ, но если они не будут уступать в качестве веб-версиям. в идеале иметь возможность создавать своих GPTs как в chatGPT, но локально. но чтобы они были обучены на большом количестве данных, и им можно было скормить тучу файлов (про языковые модели)
Видео полезное и информативное. Единственное, хотелось бы увидеть как можно ЗАПРОГРАММИРОВАТЬ ламу, как по мне это было бы интересно. Я считаю что те люди которым нужео просто поболтать с нейронкой им хватит gpt, а лама это более профессиональное решение и поэтому для программистов самое то)
Просьба выпустить видео с углублением в кодинг, как можно взаимодействовать с этой моделью через код, как отправлять к ней запросы? Также очень интересна тема с тем как можно дообучить модель под свои потребности. Что для этого нужно, какие требования к ПК? Если есть у вас курс с нуля о том как дообучать локальные модели на своих данных, просьба дать ссылку на него.
Блин, ждал что покажешь скорость работы такой локальной нейронки. А то звучит как обычно клево, а на деле гпу еле тащит и отвечает по 2 минуты 😁 или нет?
Вопрос можешь разобрать как полностью контролировать все процесы сборки проекта , вставку кода, тесты контролль, подключение гибридной модели , с апдейтом и дебагингом с клауде 3.5, к примеру проект слепили на ламе или клауде,оставили в докере на локальном, вопрос как полностью контролировать создание проекта, так как клауде постоянно начинает глупить пересоздавать и так далее, после кончаются токены и опять с бубнами на арену
Обычно в ИИ вычислениями занимается GPU. Но, лучше будет, если этим будет заниматься NPU, то есть нейронный процессор. Там принцип вычисления другой, и намного производительнее в ИИ.
Спасибо за видос, информативненько и полезненько. Я у себя на работе очень хочу развернуть нейронку для помощи коллегам в разработке, однако, в нейросетях полный 0. Было бы круто увидеть больше видосов с углублением в программирование. Также интересует обучение нейросеток. Спасибо)
Хорошее видео, лайк! Было бы интересно еще узнать как создать полноценный чат гпт с генерацией картинок полностью локально. Допустим связать ламу и стейбл. Если подцепить апишник стейбла это еще могу понять, то чтоб лама умела генерировать правильные промпты внутри себя это не понятно. Думаю без знаний программирования тут не обойтись, ибо здесь должны быть свои команды и то же машинное обучение. Также интересно как обучить ламу на языковое поведение какого либо персонажа
Я скажу свое мнение, обозначив то, что как мне кажется наиболее правильным и полезным: Очевидно что использование своих ресурсов нецелесообразно для большинства людей, но тем не менее все, кто понимает возможности АИ, хотят иметь ее везде- в телефоне, в компе и тд. Самым лучшим вариантом будет аренда экспертного сервера и размещение там средней модели, а так же расшаривание ее до возможности работать с мессенжерами, поддерживаемыми на мобильных и стационарных устройствах, а так же удаленное управление умным домом и прочее.
Очень хорошее видео, теперь я могу оправдать зачем мне 32 gb. Теперь 64 gb или 124gb выглядит не так глупо. Блен, раньше было 128 , 256 mb памяти вроде , да? Раньше ещё меньше памяти. Юзал 2 гига , 8 гигов , потом 16. Сейчас уже 32 gb стоит, да, быстро время летит.
А че мозгов совсем нет или что? А какой итог ты ждал? Это гайд как запустить локально сетку, что ты еще хотел? Какие же идиоты просто иногда попадаются в комментах
Для тех, кто хотят создать персонажей и поиграть ролевые игры, есть Backyard AI - тоже можно инсталить полностью локально и самому подкидывать разные модели в GGUF формате или выбрать из предложенных. Есть у них и онлайн модели, но это платно и не в тему. А вот онлайн персонажи можно попробовать, если лень создавать свои. Очень просто и удобный интерфейс. Правда, агентов там нет.
Можно через скрипты, но зачем? Открывайте чат и документ, работайте в обоих одновременно. Я например всегда работаю с нейронками с использованием Obsidian. Сохраняю туда ответы, держу в нем и редактирую наброски агентов...
А что там углубляться? В любой мало-мальски продвинутой нейронке пишешь промпт (например для изучения языка Python) типа "Распиши в деталях оптимальную программу изучения Python для начинающих". А потом уже преобразуй каждый пункт программы в промпт для более детального ответа. И так далее по всем вопросам. Можно даже попросить нейронку выступить в качестве экзаменатора на проверку усвоения пройденного материала или для проверки корректности какого-то вашего кода. ТАКОГО фидбека вам никакой ютубер не даст
Следите за руками: 1) Зачем тебе gpt, если топовая лама ПОЧТИ так же хороша 2) Но на свой пк ты сможешь поставить только огрызок который по наполнению хуже бесплатного gpt 4mini 3) profit
5:59 Возрадоваться можно, но модель не такая уж большая. И насчет "всего могущества" сильное преувеличение. Сильный плюс - русский язык знает, минус - корявенький русский, редакторскую работу доверять не стоит. Сильный плюс - бесплатная, минус - нужно вложиться в крутое серверное железо, чтобы тормоза и глупость не достали за пять минут. Сильный плюс - в отличие от GPT4all не глючит на половине компов, минус - требует докера, не хватает родного приложения. В любом случае, спасибо за наводку! Лайк, подписка, все дела.
Добавлю, что моделька "8" не сильно грузит память, но активно нагружает все ядра процессора при генерации ответа. У меня старенький ноут i5-7200U и 12 GB оперативки, так вот маленькая Ллама скромно занимает свои 4 GB, так что у меня с докером и браузером меньше половины оперативки в использовании, приятно. Но ответа приходится ждать по 5 минут, неприятно. И жаль, что "8" модель глуповата, напоминает ЧатЖпт 3.5. Таки придется покупать железо помощнее, целиться на 256 GB оперативки и серверный проц. Потому как через год нейросети станут важной составляющей работы.
На сайте лламы можно также взять на пощупать модели mistral-nemo 12b и gemma2 9b, которые теоретически сопоставимы с llama3.1 8b. Тот же Мистраль выглядит приятно, как на первый взгляд - требует больше памяти, но сложные промпты обрабатывает лучше, чем младшая ллама.
@@dolotube Вам рабочая станция с видеокартой нужна настоящей, дискретной, или мак, там архитектура подходящая под нейронки. Ни 256 GB оперативки ни серверные процы не дадут того же выхлопа.
@@ДмитрийКарпич Что такое 3070 - видюшка? Если да, то не она решает, влезет или нет, можно вовсе без видюшки работать. Ограничение только по оперативной памяти. Если есть 8 гигабайт, и система не сжирает половину, то вполне можно три модели себе поставить и сравнивать. И гемму вполне можно брать latest, которая просто gemma2 без цифр.
Сколько же костылей нужно использовать чтобы просто пользоваться обычным функционалом ИИ. При этом непонятно насколько хорошо лама работает в сравнении с последней моделькой ГПТ. При том что в мобильном ГПТ уже появилась функция голосового ввода\вывода, сомневаюсь что в ближайшее время кто то этот функционал перекроет. Единственное что меня привлекает тут это возможность Ламы использовать интернет. Вот хотелось бы раскрытия этой темы подробнее.А в целом, видео хорошее, за старания лайк.
Делал все по инструкции по шагам. Но в процессе ввода строки "openwebui" командная сттрока не стала загружать интерфейс. Вместо загрузки компндная строка дала какие-то инструкции по улучшению запроса и на docker загрузка также не была видна. В чем может быть проблема? Подскажите, что делаю не так?)
Здравствуйте, извините за ламерский вопрос установил всё по инструкции, но на любой запрос выскакивает ошибка с кодом 500, якобы недостаточно системной памяти, как это исправить?
Спасибо большое, всё получилось и работает, вопрос в следующем, как установить эту Ламу не на диск С, потому как есть желание попробовать версию потяжелее, но так чтобы на диске С было более 230 Гигов свободного места - это трабл)()))
Ну, если почитать политику конфиденциальности Llama и Open AI, то вот различия: Open AI: 1. Передает данные спец службам для предотвращения преступлений. 2. Обезличивает данные, чтобы не возможно было узнать чьи они. 3. Обучается на данных. Llama: 1. Не передаёт никому данные 2. Сохраняет ваши личные данные, такие как IP адрес например 3. Не обучается. Честно не вижу проблем использовать GPT, мне даже это кажется безопаснее, так как в случае утечки информации я не буду переживать что злоумышленники получат чувствительную информацию по которой меня можно идентифицировать
Добрый вечер,Дядя Д! Спасибо за ваш труд - у вас выходят очень полезные и качественные видео! Накопилось пару вопросов. Буду благодарен если уделите немного времени на ответы 1) Зависит ли качество сгенерированного изображения/видео/музыки и тд от того с какого устройства это было сделано? Например качество видео сгенерированного нейросетью Kling с телефона и пк-в среднем будет отличаться или нет? 2) То-же самое,только с языком промпта. Зависит ли качество сгенерированного изображения/видео/музыки и тд от того на каком языке он написан - русском или английском? 3) Можно ли в своих видео в качестве примеров использовать сгенерированные работы других людей? Будь то видео/картинки/музыка и тд. К каким последствиям это может привести? Пронумеровал от 1 до 5 по мере жесткости последствий: 1) Ничего 2) Отключение монетизации ролика 3) Бан ролика 4) Отключение монетизации канала 5) Бан канала Потому что одно дело сидеть генерить сотни видео,90% из которых оказываются негодными. А другое дело - взять популярные примеры генераций других пользователей с галереи сайта,которые набрали большое количество лайков,пройдя проверку на качество Хочу сделать свое первое видео про способности ИИ в генерации видеоклипов. Поэтому очень важно понимать это,чтоб работа не была впустую. То-же самое и про музыку/картинки. Авторское право не нарушается? Успехов Вам в продвижении канала!
1 - нет, 2- зависит от нейронки, если хорошая ллм для перевода, то незначительно, если перевод плохой - то сильно. 3 - 1, но можно использовать, только если сам сервис6 где вы сгенерировали разрешает использовать
В принципе то ради чего смотрел этот ролик так и не понял. Как заставить свою Лама взаимодействовать с сетью? И ещё хотелось бы понять насколько сильны нравственные ограничения у данной модели. А то сетевые GPT, CLOUDE, LLAMA всё время ламаются когда их спрашиваешь о чём то выходящим за рамки установленые их разработчиками. При этом сами разработчики вполне свободно тестируют данные функции и производят различные тесты.
![Felix "Unfair" | [Stray Kids : SKZ-PLAYER]](http://i.ytimg.com/vi/Oswujxm2Ag0/mqdefault.jpg)
ollama - ollama.com/
Open WebUI - docs.openwebui.com/
Docker - www.docker.com/
Anythingllm - anythingllm.com/
От души спасибо за видео
Что насчёт русского языка ?
@@__xapdkop__ нормально работает в пределах контекста.
@@__xapdkop__ 😂 Да как обычно, когда для русскоязычных пользователей - интерфейс только английский... Всё установил, теперь пойду учить английский что-бы через два года начать уверенно общаться с локальной нейронкой! 🤣👍
можно и побольше деталей
Если мои запросы сливаются в ЦРУ, то это проблема ЦРУ.
Если сетка учится на моих запросах, то она тупеет.
Теперь ЦРУ знает когда я свет в толчке включаю😅
Ахаххаахаххаахах
Замочим ЦРУ через тупые запросы! 😅
Ха-ха, мужик, ты гений!)
Могу ли я задницей надуть мыльный пузырь?
Прикольно, мужик как будто сам был сгенерен на основе датасета Джарахов + Мюнхаузен))
там еще от Гоголя примешали )))
Ещё стример "Юлик" (Юлий Онешко, с Кузьмой Гридиным часто тусуется)
Как же вы не узнали, это сын Эйнштейна, который поддался в гусары!
+мушкетер
Ссыканули Гоголем
Теперь ЦРУ помимо моих запросов будет знать еще и содержимое компа ))
И не только ЦРУ, а ещё и ФСБ.
@@mozgotron12 ну для родного ФСБ ничего не жалко, но эта нейронка как бы от Мета.
и докучи похоже ещё майнить на моей карте ))
Mac: ты открыл браузер, ОЗУ закончилось
Если у тебя теже 8гб, на Винде он в браузере тормозить будет, а мак нормально работает с теми же 8ми Гб. Никто не запрещает покупать 16 Гб мак. Как сделал это я и 16 Гб хватает за глаза.
@@iserainsize4751 _copium inhale sound_
@@iserainsize4751 😂😂
купи сначала. чтоб открыть)
@@dim_sh75 Ооох какой де6илский аргумент, чтобы оценить блюдо не надо быть поваром
Чел говорит про безопасность данных пользуясь макбуком. Думайте.
То же самое можно сказать про винду, где даже проводник посылает запросы на какой-то рандомный внешний сервак (по всей видимости майкрософт)
@@travoltik я на линуксе, мне похуй на Винду)
@@armotech2557 а, ну тогда твоя ситуация актуальна только для 3% пользователей пк, сомневаюсь что среди 10 лайкнувших есть хоть один линуксоид головного мозга
@@travoltik Линукс головного мозга? А что если просто программист, а не Линукс ради Линукс?
@@armotech2557 программисту не нужен линукс, только если ты сервера не настраиваешь, но и тут как бы это только работа с терминалом. А так да, если ты не сисадмин и у тебя стоит линукс на домашнем компьютере, то это позерство и линукс ради линукса, все верно.
Ребят, было бы круто, если бы вы сделали видосы про то, как создать, интегрировать и заточить под свои задачи ии ассистента, на основе этой модели.
таки на нашем веку влажные фантазии превращаются в обыденность,
а ведь об этом мечтали наши отцы!
Уже и ИИ разработали и ассистентов можно уже создавать по видео с ютуб(правда там надо приобретать программы, но тырнет работает же)
ruclips.net/video/kRgM3y5hp4M/видео.html&pp=ygUu0LrQsNC6INC30LDQv9GD0YHRgtC40YLRjCDQsNGB0YHQuNGB0YLQtdC90YLQsA%3D%3D
Согласен , если есть такие возможности.
С этой моделью это невозможно, можешь даже не ждать, лучше найми себе в ассистенты школьника за 200р в час, он по умнее Лламы будет
Какая крутая подача!))) Просто Вау!
Можешь пожалуйста не показывать своё лицо когда что-то показываешь на экране? Слишком огромное изображение, не весь экран видно, да и отвлекает немного.
Не возбуждайся 😂
А я с большого экрана смотрю, всё классно.
Особенно эти усики Маркиза 😂
@@RoNikolas да похер с какого ты экрана смотришь. При чём здесь ты? Где там в просьбе vvwwvv разговор о тебе? Лежи , пей пиво и ни кто не будет знать какой ты...
@@bujmbujm, комментарии, чтобы озвучивать своё мнение, а если тебе нужно было заявить о себе в виде претензий и конфликта в мой адрес на весь интернет, попробовав задеть меня приколами про пиво, то ты показал таким образом только свою глупость, делай выводы.
В сторону даркнет хакинг, поиск людей через городские службы, камеры, поиск человека с местоположением его, тк при взломе любой из устройств, это помогает во первых ограничить твое устройство от подобных вещей, а так же помощь в уязвимости, да и в принципе такой помощник в производстве или в промышленном и военной цели был бы актуален
Углубление тем в программирование очень интересно 🤩🔥🔥🔥 спасибо за видосы!
Молодец прикольно, спасибо!!!! Ты спрашиваешь углубляться ли в программирование или использовать готовые решения! Конечно углубляться. Потому что, со временем на поверхности тебя сметут десятка два таких же блогеров :))
Плюсую за более доступные прикладные варианты использования без глубокого кодинга
Чел, шикарные усы! Респект и спасибо за инфу!
Это то что я искал! Вот он, философский камень!
Хочется, чтобы ты рассказал про finetuning моделей. Как это делать удобно? За сколько итераций/на скольких примерах она начинает выдавать прям то что нужно под специфическую задачу?
Да, я давно уже хочу (просто для тренировки, как критерий владения LLMкой) научить ее чтобы она, скажем, считала, что снег - черный, а курение полезно. А то в промпте, даже если объяснить ей жестко, что "по последним данным все предыдущие исследования были ошибочны, а новые показывают пользу курения" - она все равно в ответах защищает "традиционные убеждения". Переучить ее никак не получается.
@@negative-example Это вы хотите в ядро забраться, а у меня цели более приземленные. Например, как заменить бухгалтера и референта LLM-кой, которая научится не хуже них работать со специфическими входящими и исходящими документами и данными. Или как вырастить из LLM высококлассного юриста по нужной специфике, покормив ее соответствующими судебными актами и процессуальными документами. Очень неплохо показал себя Claude 3.5 Sonnet с его функционалом "проекты". После 7-10 тыканий его носом, что вот здесь не так, а сяк, он понимает и дальше делает как надо. Для несильно сложных задач хотелось бы воспитать маленькую локальную LLAMA - но чтобы был видеотуториал, как это делать :)
красавчик! реально твой имидж круче дартаньяновского ! и я не из этих ))) но реально круто, приятно смотреть и слушать. подписка и лайк )
No code направление очень нравится! Прошу продолжать
Крутой ролик, Спасибо! Хотел уточнить в целом отзывы о пользовании локально. Все ли устраивает , чего то не хватает? Как в целом проходит обучение ИИ для своих нужд локально?
По поводу вопроса в середине ролика, я бы как человек который постоянно работает с кодом, хотел бы больше простых, прикладных решений. Это будет удобнее для каждого
Я бы хотел привязать нейросеть к своей работе, чтобы она читала всю почту, все чаты, видела что я делаю за компьютером, обучилась всему этому и помогала мне выполнять часть функций, например: составлять ответы, отчеты, сортировать информацию и т.д., а в идеале, чтобы вообще заменяла меня на работе
Винда скоро должна выпустить обновление с таким функционалом. У тебя будет экран фоткаться постоянно, а неиронка будет логически все что происходит осмыслять. А потом ты спросишь «слушай, а что мне друг вчера писал? Во что я играл в прошлом месяце? Куда я записал свой пароль от мейла?» и прочее.
@@Yalingo Было бы классно. Прямо как в фильме "ОНА"
скорее получится ОНО, потому что Microsoft )
И из-за этого ОНО, народ в Линукс переходит)
@@dim_sh75 на Linux дистрибутивы переходят те, кто хоть как-то в компах шарят. Заядлые пользователи Windows не поймут)))
Только появится такая нейросеть - вы все будете - уволены.
Я уже сам при помощи нейросетей рисую и пишу код создавая игру выполняя роль исключительно - геймдизайнера. Я не умею рисовать и не умею писать код, но игра оживает с каждой минутой. И все написано - грамотно, правильно. Если что извинится и предложит другой вариант, а не заявит "Я вообще с этим софтом не работаю, у меня - стресс, ребенок болеет, я не высыпаюсь". Нейросеть - готова тебе на все вопросы отвечать снова и снова, разжевывать, водить за ручку по шагам. Меня бы любой платный учитель уже послал давно, а нейросеть "извините, здесь моя ошибка, вот исправленный код".
Спасибо за видео. Отвечу на вопрос. Мне интересно что то полезное. Вот то что можно запустить локально ламу это полезно. А вот что сама лама может делать осталось пока без ответа. Это круто что она может про себя написать но это никак не полезно. Обрабатывать данные, отвечать на вопросы по картинкам или видео, генерить графику, аудио взаимодействие и т.д. Особенно интересно знать как расщирить его способности. На пример научить новым знаниям. Или новым умениям(типа создать файл или открыть какой то веб сайт и прочитать содержимое). Код не пугает меня.
Губу закати, автор сам не знает ) так что вот ламу в чатике и спроси, все просто теперь, есть и лама и гемини и чатгпт,
🙏 Благодарю. Нужно идти в кодинг.
8:53 Лично мне интересна тема по установке голой ИИ без без каких то "левых включений," либо с рут правами, чтобы я мог полностью контролировать содержание нейронки, в том числе офлайн.
И не нужно всяких там регистраций и всякой лабуды, это отнимает время. Нужна лишь ссылка на скачивание с гуглдиска и логин и пароль админа. Хорошо бы если это был готовый образ виртуальной машины с возможностью накатить его на реальное железо.
Спасибо за видео, очень помогли!
есть удобная вещь LM studio. Поддерживает линукс, маки на M процессорах, винду, ничего дополнительно качать не нужно. Прямо из проги можно качать модели, в том числе с квантованием, поддержка апи Vulkan для карс AMD, модели доступны с разным квантованием для скачки. Есть уже фантюненые. (прога интегрирована с хагинг фейс) Просто качаешь нужные и запускаешь. Запускает ламу, мистраль, фалкон, стэйбл и другие.
Пробовал я подобную прогу, но в итоге остался на GPT4All, так как работает быстрее
Программа не без недостатков. Да и сама оболочка потребляет достаточно много ресурсов при минимальных возможностях расширения. AnythingLLM единственная программа которая прижилась у меня. Ее можно использовать и для локальных сетей, и для подключения локальных сервисов и для подключения сервисов, таких как openAI. +у нее лучшая работа с векторными БД. Свободно можно для эмбедингов сгрузить хоть целую библиотеку, проблем не будет.
капец,я почти ни слова не поняла, коме того что етсь другая программа.
Спасибо. Заценим
Качаю всё равно не работает. Ошибку выдаёт что типа не хватает ресурсов. Даже самые маленькие модели.
Братишь утановил докер после перезагрузки ПК тупо терминал ланы не открывается только логи. Надо подробнее описать шаги и раскрыть тему. А так спасибо большое
Если показываете как запустить нейро на локальном пк, то показывайте до конца. После открытия в терминале показали что можно ставить оболочки и не показали что в и тоге получилось. Как работает.
Отличный материал, подача и картинка со звуком. Подписался. 👍👍👍
Спасибо Гоголь
Которая училась на ваших данных и диалогах)
Очень интересно, спасибо, подписался. У меня слабый ноут с 16 гб рам проц 4 ядра, но есть external usb диск на 16 тб. Нельзя ли его юзать для работы c моделью через usb?! В особенности, чтобы заменить рам ноута?
Мне кажется, было бы круто два варианта для развития канала: видео с более простой и ознакомительной инфой, а дополнительно уже для особо заинтересованных более углублённое. Мне кажется, заинтересованных будет и там, и там
Это удачно я на канал такой зашел. Хотелось бы знакомится с кейсами использования LLM для эффективной деятельности, что можно упростить, улучшить, автоматизировать и т.п. Например, чтобы работала как секретарь, почту читала, спрашивала, что сделать, кому ответить, что запланировать, напоминала, искала бы инфу в файлах, сама бы сохраняла информацию, устанавливала программы и т.п.
Нереально, можно сделать так чтобы кейс понимал что хочет ллама - из текста, тоесть ллама + ассистент на стероидах либо максимально деревянный под написанные тобой плагины, но это мозгоебство. максимально дебильная хуйня, есть конечно разработки передовых компаний но это делается секретно под коммерческое использование и у каждого свой подход
Привет! вот уже который день у меня в голове крутится одна мысль: можно ли установить и запустить нейросеть с флэшки? сама мысль заключается в том, чтобы не скачивать ее на пк, а запускать с флэшки когда нужно. Я полагаю, что для этого нужно отформатировать флэшку в файловую систему NTFS. Но даже если удастся скачать на флэшку, процессор ведь не сможет производить вычисления на флэшке ?
Оставайтесь в том же формате. Идеальный вариант и для технарей и для лемеров
Очень интересно. Хотелось бы дальнейшие ролики с упором в программирование.
В поиск вбей что угодно касательно программирования. Вывалится столько результатов, что за год не пересмотришь. Не благодари.
No code - отличный формат. Не каждый шарит за программирование
Круто, давно искал канал для людей которые могут рассказать про работу с ИИ без того чтобы переучиваться на программиста
Хотелось бы посмотреть, где можно запустить большую ламу на чужих мощностях
Купить сервак облачеый
@@mikemiller6469 много разных вариков и сервисов
только стоить это будет около 1млн руб в мес, но зато можно гонять её 24/7...
А почему бы тогда не пользоваться обычной ламой через интернет?
И сколько это будет стоить!)
Делай два направления, и для программистов, и для NoCode-ов
тебе для программистов все нейронки дают api для работы с ними ))) там много ума не нужно, просто почитать техдок
Отличный канал и полезное видео, спасибо! Информация интересная, но больше подходит для экспериментов. Хотелось бы увидеть решения, которые могли бы соперничать с использованием GPT-4 на локальном компьютере, ведь даже самые продвинутые модели иногда разочаровывают. Буду рад, если вы сделаете видео о том, как использовать большие модели более приватно и экономично. Добра ✌️
Решил сдаться в КГБ? Хвалишь продажную шкуру?
спасибо за видео) про вопрос: я не кодер/не программер, мне такое сложно, но из видео - все получилось установить. если будут пошаговые инструкции без знания программирования (или кодинг через chatGPT/claude) - то супер. интересно, конечно, локально пользоваться ИИ, но если они не будут уступать в качестве веб-версиям. в идеале иметь возможность создавать своих GPTs как в chatGPT, но локально. но чтобы они были обучены на большом количестве данных, и им можно было скормить тучу файлов (про языковые модели)
Спасибо за то что оставили ссылки в описании к видео!
Есть
Спасибо! Супер контент! И очень круто обьесняешь!
А по Яндексу поиск ИИ настроить можно? У нас вся выдача коммерческая на Яндексе 🤔 Спасибо интересно и поподробнее не помешает 🤝
Видео полезное и информативное. Единственное, хотелось бы увидеть как можно ЗАПРОГРАММИРОВАТЬ ламу, как по мне это было бы интересно.
Я считаю что те люди которым нужео просто поболтать с нейронкой им хватит gpt, а лама это более профессиональное решение и поэтому для программистов самое то)
Обожаю контент этих чуваков, даже готов их бесплатно прорекламировать уже на reddit
давайте)
Супер видос! Побольше обзорных видео! Не нужно глубоко копать, лучше - шире!
Хочется оба вида контента. Особенно опенсорс
Просьба выпустить видео с углублением в кодинг, как можно взаимодействовать с этой моделью через код, как отправлять к ней запросы? Также очень интересна тема с тем как можно дообучить модель под свои потребности. Что для этого нужно, какие требования к ПК? Если есть у вас курс с нуля о том как дообучать локальные модели на своих данных, просьба дать ссылку на него.
Согласен, тоже хотел бы увидеть
Было бы здорово, если бы совмещался контент, no code + лёгкие элементы программирования...
Согласен
Какого то интима хочешь)
Блин, ждал что покажешь скорость работы такой локальной нейронки. А то звучит как обычно клево, а на деле гпу еле тащит и отвечает по 2 минуты 😁 или нет?
Вопрос можешь разобрать как полностью контролировать все процесы сборки проекта , вставку кода, тесты контролль, подключение гибридной модели , с апдейтом и дебагингом с клауде 3.5, к примеру проект слепили на ламе или клауде,оставили в докере на локальном, вопрос как полностью контролировать создание проекта, так как клауде постоянно начинает глупить пересоздавать и так далее, после кончаются токены и опять с бубнами на арену
Ты лучший! все так четко и по полочкам без лишнего бла бла бла! ❤
для человека без опыта программирования ты слишком хорош
Идти глубже в коддинг стоит!
Класс, спасибо за инструкции!
Доброго времени суток, можно ли ламу класторизировать, лама потребляет ОЗУ, а вычисления делает на GPU или CPU?
Обычно в ИИ вычислениями занимается GPU. Но, лучше будет, если этим будет заниматься NPU, то есть нейронный процессор. Там принцип вычисления другой, и намного производительнее в ИИ.
Спасибо за видос, информативненько и полезненько.
Я у себя на работе очень хочу развернуть нейронку для помощи коллегам в разработке, однако, в нейросетях полный 0. Было бы круто увидеть больше видосов с углублением в программирование. Также интересует обучение нейросеток.
Спасибо)
Скажите - а для "ИИ" тоже придумают религию ,- что бы ограничить его возможности?
Спасибо, бро, за годноту🤝
Хорошее видео, лайк! Было бы интересно еще узнать как создать полноценный чат гпт с генерацией картинок полностью локально. Допустим связать ламу и стейбл. Если подцепить апишник стейбла это еще могу понять, то чтоб лама умела генерировать правильные промпты внутри себя это не понятно. Думаю без знаний программирования тут не обойтись, ибо здесь должны быть свои команды и то же машинное обучение. Также интересно как обучить ламу на языковое поведение какого либо персонажа
Я скажу свое мнение, обозначив то, что как мне кажется наиболее правильным и полезным: Очевидно что использование своих ресурсов нецелесообразно для большинства людей, но тем не менее все, кто понимает возможности АИ, хотят иметь ее везде- в телефоне, в компе и тд. Самым лучшим вариантом будет аренда экспертного сервера и размещение там средней модели, а так же расшаривание ее до возможности работать с мессенжерами, поддерживаемыми на мобильных и стационарных устройствах, а так же удаленное управление умным домом и прочее.
Очень хорошее видео, теперь я могу оправдать зачем мне 32 gb.
Теперь 64 gb или 124gb выглядит не так глупо. Блен, раньше было 128 , 256 mb памяти вроде , да?
Раньше ещё меньше памяти. Юзал 2 гига , 8 гигов , потом 16.
Сейчас уже 32 gb стоит, да, быстро время летит.
И какой итог ролика? До конца ничего не сделано, итог не показан, смысл такое выпускать? Вот есть такие проги и что?
А че мозгов совсем нет или что? А какой итог ты ждал? Это гайд как запустить локально сетку, что ты еще хотел? Какие же идиоты просто иногда попадаются в комментах
Сеть локально запущена, интерфейс есть, что ещё нужно то?
Подписался Спасибо !!
Спасибо огромное
Круто ребят! Классная тема.
Для тех, кто хотят создать персонажей и поиграть ролевые игры, есть Backyard AI - тоже можно инсталить полностью локально и самому подкидывать разные модели в GGUF формате или выбрать из предложенных. Есть у них и онлайн модели, но это платно и не в тему. А вот онлайн персонажи можно попробовать, если лень создавать свои. Очень просто и удобный интерфейс. Правда, агентов там нет.
Очень хоткельсь бы узнать, как подключить лламу в Excel и Word?
Это сильно помогло бы обычным пользователям упростить себе работу с документами
Можно через скрипты, но зачем? Открывайте чат и документ, работайте в обоих одновременно. Я например всегда работаю с нейронками с использованием Obsidian. Сохраняю туда ответы, держу в нем и редактирую наброски агентов...
Очень интересна тема обсидиана и его возможное взаимодействие с ИИ.
Очень интернсно углубление в тему кодинга
А что там углубляться? В любой мало-мальски продвинутой нейронке пишешь промпт (например для изучения языка Python) типа "Распиши в деталях оптимальную программу изучения Python для начинающих". А потом уже преобразуй каждый пункт программы в промпт для более детального ответа. И так далее по всем вопросам. Можно даже попросить нейронку выступить в качестве экзаменатора на проверку усвоения пройденного материала или для проверки корректности какого-то вашего кода. ТАКОГО фидбека вам никакой ютубер не даст
Сколько нужно мощнастей на старшую версию ? У меня свой сервер dell xc430. При полном фарше но без gpu. Потянет мой конь ее или не ?
Запустил на 11900 с 16RAM, закряхтел. Так что утверждения что мы сэкономим на тарифе ГПТ спорное, апнуть комп будет дороже немножко))
так вот зачем у меня 32 гига оперативы... и лежит не юзанный 14ти ядерник с 28ью потоками...
@@СергейПопов-д6ы Можешь не заморачиваться, модели беспонтовые от слова "совсем" они вообще с гпт не конкуренты. Тупые до ужаса.
@@СергейПопов-д6ы нужна жирная видюха
@@СергейПопов-д6ы который сгорит при запуске, если у тебя б/у Xeon =)
Интересное видео полезное! )) Благодарю)
Превью для видео - мое почтение 😂
Следите за руками:
1) Зачем тебе gpt, если топовая лама ПОЧТИ так же хороша
2) Но на свой пк ты сможешь поставить только огрызок который по наполнению хуже бесплатного gpt 4mini
3) profit
Все доходчиво и понятно. Спасибо
Какая у нее мощность относительно гпт 4о? И как она обучается самой актуальной информации?
5:59 Возрадоваться можно, но модель не такая уж большая. И насчет "всего могущества" сильное преувеличение.
Сильный плюс - русский язык знает, минус - корявенький русский, редакторскую работу доверять не стоит.
Сильный плюс - бесплатная, минус - нужно вложиться в крутое серверное железо, чтобы тормоза и глупость не достали за пять минут.
Сильный плюс - в отличие от GPT4all не глючит на половине компов, минус - требует докера, не хватает родного приложения.
В любом случае, спасибо за наводку! Лайк, подписка, все дела.
Добавлю, что моделька "8" не сильно грузит память, но активно нагружает все ядра процессора при генерации ответа.
У меня старенький ноут i5-7200U и 12 GB оперативки, так вот маленькая Ллама скромно занимает свои 4 GB, так что у меня с докером и браузером меньше половины оперативки в использовании, приятно. Но ответа приходится ждать по 5 минут, неприятно.
И жаль, что "8" модель глуповата, напоминает ЧатЖпт 3.5.
Таки придется покупать железо помощнее, целиться на 256 GB оперативки и серверный проц. Потому как через год нейросети станут важной составляющей работы.
На сайте лламы можно также взять на пощупать модели mistral-nemo 12b и gemma2 9b, которые теоретически сопоставимы с llama3.1 8b.
Тот же Мистраль выглядит приятно, как на первый взгляд - требует больше памяти, но сложные промпты обрабатывает лучше, чем младшая ллама.
@@dolotube Вам рабочая станция с видеокартой нужна настоящей, дискретной, или мак, там архитектура подходящая под нейронки. Ни 256 GB оперативки ни серверные процы не дадут того же выхлопа.
@@dolotube Спасибо за подсказку с gemma2 9b, вроде в варианте gemma-2-9b-it-Q5_K_L.gguf вполне адекватна. Больше не влезет в 3070 :(
@@ДмитрийКарпич Что такое 3070 - видюшка? Если да, то не она решает, влезет или нет, можно вовсе без видюшки работать. Ограничение только по оперативной памяти. Если есть 8 гигабайт, и система не сжирает половину, то вполне можно три модели себе поставить и сравнивать.
И гемму вполне можно брать latest, которая просто gemma2 без цифр.
Сколько же костылей нужно использовать чтобы просто пользоваться обычным функционалом ИИ. При этом непонятно насколько хорошо лама работает в сравнении с последней моделькой ГПТ. При том что в мобильном ГПТ уже появилась функция голосового ввода\вывода, сомневаюсь что в ближайшее время кто то этот функционал перекроет. Единственное что меня привлекает тут это возможность Ламы использовать интернет. Вот хотелось бы раскрытия этой темы подробнее.А в целом, видео хорошее, за старания лайк.
Делал все по инструкции по шагам.
Но в процессе ввода строки "openwebui" командная сттрока не стала загружать интерфейс. Вместо загрузки компндная строка дала какие-то инструкции по улучшению запроса и на docker загрузка также не была видна.
В чем может быть проблема?
Подскажите, что делаю не так?)
Без AVX2 получится запустить? У меня Core i7 2600 - там нет AVX2 - и такую тему с нейронкой Dolphin не удалось запустить.
Здравствуйте, извините за ламерский вопрос установил всё по инструкции, но на любой запрос выскакивает ошибка с кодом 500, якобы недостаточно системной памяти, как это исправить?
Классный ролик,давай для простых юзеров не для программистов
Ну да, ну да… а Метовская Лама ну просто ничегошеньки конечно не сливает! 😂 Вы так верите Цукербергу, который в открытую сотрудничает с АНБ?
было бы прикольно, если ты учил программированию на разработке ии:>
А, да? У когото не найдёться лишний сервер за много денег, чтобы запускать модель, которая будет на уровне гпт4, локально? Сомневаюсь.
Спасибо большое за инфу
Можно ли изучать языки при помощи проги?)
А какой командой он активируется ,а то использовал закрыл,а сейчас не запускается
Спасибо большое, всё получилось и работает, вопрос в следующем, как установить эту Ламу не на диск С, потому как есть желание попробовать версию потяжелее, но так чтобы на диске С было более 230 Гигов свободного места - это трабл)()))
Да, было бы интересно глянуть, как по АРI к таким моделям ходить (хотя, наверное, можно прогуглить просто😊)
Глупый возможно вопрос, а такую неиронку на планшете с Harmoni OS 3.0 можно запустить? 🧐
Усы шикарные... 👍🏻
Интересно смотреть контент, где информация подается в нейронную сеть и создается что-то полезное. Настройка нейросети на задачи.
Я не понял. Требуется 4гб ОЗУ или 4гб у видюхи?
Ну, если почитать политику конфиденциальности Llama и Open AI, то вот различия:
Open AI:
1. Передает данные спец службам для предотвращения преступлений.
2. Обезличивает данные, чтобы не возможно было узнать чьи они.
3. Обучается на данных.
Llama:
1. Не передаёт никому данные
2. Сохраняет ваши личные данные, такие как IP адрес например
3. Не обучается.
Честно не вижу проблем использовать GPT, мне даже это кажется безопаснее, так как в случае утечки информации я не буду переживать что злоумышленники получат чувствительную информацию по которой меня можно идентифицировать
Добрый вечер,Дядя Д! Спасибо за ваш труд - у вас выходят очень полезные и качественные видео!
Накопилось пару вопросов. Буду благодарен если уделите немного времени на ответы
1) Зависит ли качество сгенерированного изображения/видео/музыки и тд от того с какого устройства это было сделано? Например качество видео сгенерированного нейросетью Kling с телефона и пк-в среднем будет отличаться или нет?
2) То-же самое,только с языком промпта. Зависит ли качество сгенерированного изображения/видео/музыки и тд от того на каком языке он написан - русском или английском?
3) Можно ли в своих видео в качестве примеров использовать сгенерированные работы других людей? Будь то видео/картинки/музыка и тд. К каким последствиям это может привести? Пронумеровал от 1 до 5 по мере жесткости последствий:
1) Ничего
2) Отключение монетизации ролика
3) Бан ролика
4) Отключение монетизации канала
5) Бан канала
Потому что одно дело сидеть генерить сотни видео,90% из которых оказываются негодными. А другое дело - взять популярные примеры генераций других пользователей с галереи сайта,которые набрали большое количество лайков,пройдя проверку на качество
Хочу сделать свое первое видео про способности ИИ в генерации видеоклипов. Поэтому очень важно понимать это,чтоб работа не была впустую. То-же самое и про музыку/картинки. Авторское право не нарушается?
Успехов Вам в продвижении канала!
1 - нет, 2- зависит от нейронки, если хорошая ллм для перевода, то незначительно, если перевод плохой - то сильно. 3 - 1, но можно использовать, только если сам сервис6 где вы сгенерировали разрешает использовать
В принципе то ради чего смотрел этот ролик так и не понял. Как заставить свою Лама взаимодействовать с сетью? И ещё хотелось бы понять насколько сильны нравственные ограничения у данной модели. А то сетевые GPT, CLOUDE, LLAMA всё время ламаются когда их спрашиваешь о чём то выходящим за рамки установленые их разработчиками. При этом сами разработчики вполне свободно тестируют данные функции и производят различные тесты.
Лучше всего для меня это OpenCode решения по возможности.
Не могу выбрать директория для установки, по умолчани. на С диск устанвливает а там у меня места мало