Здравствуйте! Хотел бы выразить огромную благодарность за действительно понятную инструкцию по запуску LLM на ПК в автономном режиме. Меня интересуют модели, которые можно использовать для написания графических новелл. Подскажите, пожалуйста, какие модели лучше всего справляются с созданием готовых сцен, диалогов и описаний? И есть ли где-то список таких моделей с оценками, сравнениями и другими важными данными? Буду очень признателен за ваш ответ.
Почему у меня слева на панели нет значка телескопа, где можно модели скачать. А те которые скачиваются, не устанавливаются формат gguf не тот. Что делать и как быть?
ты хоть осознал что ты сотворил в этом видео, я в первые смотрю твой шедевр. первый раз я смотрю видео до конца и мне грусно что оно закончилось🙄можешь зарания подготовить вопросы и раздать знаминитости как бы они отвечали на эти вопросы
Большое спасибо за информацию, самую актуальную для меня на данный момент. Можете только ещё подсказать для скачивания моделей вместо системного диска лучше выбрать дополнительный SSD на полтерабайта или обычный HDD на терабайт?
У меня на SSD стоят, но я просто давно отошел от HDD. По идеи они подгружаются в видеопамять, поэтому изначальная загрузка на HDD будет дольше, но на скорость ответа это не должно влиять (если модель поместится в память видеокарты)
интересно посмотреть как эта программа работает с документами. на пример какая то инструкция по применению плюс с перечнем возможных нетсправностей и способами их устранения
Пора уже делать специализированные нейронки. По программированию вроде как научились, по крайней мере есть варианты. Но могли бы сделать еще натренированные нейронки по медицине, праву, кулинарии, ремонту чего либо (машин, квартир), и т.п., чтобы быть более полезными в быту.
Они могут ошибаться, а в этих тематиках цена ошибки - может быть слишком велика. Поэтому через промты и свою базу можно заточить как ассистента по этим вопросам, но в паблик такое отдавать нельзя).
Как установить модель на компьютере где нет доступа к интернету, если скачать модель и программу и модель вставить в папку с моделями lm studio не видит модель.?
Используйте то, что вам удобнее. Но в целом сейчас у Ollama больше полезных интеграций. Т.е для себя я бы использовал Ollama, но у меня обе установлены.
Подскажите такой вопрос. Есть несколько баз данных с клиентами, из покупками, счетами и другими связанными данными. Можно ли настроить нейросеть на получение данных от клиентах, выборке клиентов или продуктов по словесному описанию. Ну как то так.
Да, если загрузить в них эти данные. Но зачем? У вас выбора должна работать в любой crm если вы клиентов будете фильтровать по кол-ву покупок, цене, статусам, тегам, продуктам.
@@donkartashov это пока мысли, как голосом получать данные, но не стандартными выборками а более точечные, но в то же время зависящие от других данных. То есть можно настроить чтобы нейросеть умела получать данные по готовым sql-запросам, но подставляя в sql-запрос свои параметры и своими словами рассказать о полученных данных.
Попробовал Llama на создание программы на SCL (PLC программы). Написала чушь на русском. Попробовал на английском интерфейсе, она начала писать на C++, указал полное название языка Substation Configuration Language, написала вроде бы на нём, но очень сложно и громоздко. Буду пробовать модели потяжелее. Если всё херня, то просто установлю win 11 и поставлю сверху приложение ChatGPT (подписка есть)
Здравствуйте. Не загружается модель, так как недопустимая архитектура процессора и недопустимая архитектура графического процессора. (xeon e5 2650 v2 + gtx 750 ti). С процессором ещё понимаю, но с видеокартой что не так. Выдаёт ошибку: Не удалось загрузить модель. No LM Runtime found for model format 'gguf'!
LMStudio прикольна чтобы посмотреть некоторые возможности моделей, но она не подходит для полноценной работы (как я понимаю проблема в llama.cpp). Я заметил что на длинном контексте (в моём случае это более 30к токенов) LLAMA 3.1 ведёт себя не адекватно, но при запуске в ollama результаты были сильно лучше при теж же seed и температуре (0, 0).
На длинном контексте локальные - сильно просаживаются. Тут скорее всего можно исправить ситуацию только с использованием баз данных, т.е одним lm studio не обойтись.
"Обожаю" такие видео. В видео гутарят, что в описании будет ссылка, но ее там никогда нет(и даже в комменте самого автора). Зато свои ссылки на буст и остальную хрень ставим обязательно.
Если вы смотрите это видео в надежде запустить модель на старом ПК (времён популярности архитектуры am3 и 16ГБ ОЗУ), то забудьте про LM Studio и прочую GUI шляпу. Без шуток! У вас либо ошибка вместо запуска рантайма будет, либо система ляжет от перегрузки, ничего кроме стресса не получите. Берите Ollama и не насилуйте голову себе и этому миру. Да, там консольный вывод, да не все модели потянет ваш старичок, но маленькие и шустрые модели на случай отсутствия интернета у вас будут летать даже на таком маломощном компе. Для остального есть интернет и большие модели.
Слушай спасибо тебе огромное, я теперь твой патпышык, раньше я пробовал прогу gpt4all, так она работала настолько медленно, что я ее не смог терпеть и снес, хотя у меня мощный пк, здесь же языковые модели просто летают, я даже и не мог представить, что такое возможно...
Да, я чуть позже буду рассказывать про "агентов", когда можно объеденить несколько нейросетей в единую систему, где каждая из них будет заниматься какой-то задачей. К примеру одна ищет инфу в сети, вторая фильтрует, третья пишет статью, четвертая её редактирует, пятая создает к ней изображения, шестая публикует на сайте. И весь этот комбаин будет работать примерно так-же быстро как LM Studio.
Я не знаю о событиях в 2024 году, поскольку это будущее и я не могу иметь доступ к информации в реальном времени. Моя последняя обновка данных относится к 2023 году, и я не могу предсказать или знать о событиях, которые еще не произошли.
Много недосказанностей, но в принципе хороший гайд для начинающих. Дополнительно хочу сказать что не скачивайте модели с 'Q' ниже 4(Q3_K_L, IQ2_XS), слишком много бредят. Также нет ничего страшного в скачивании моделей не влезающих в GPU полностью, да, будет работать медленее, но и качество будет лучше(к примеру если у вас 4gb GPU и 32 оперативы, в видеокарту мало что влезет, а с оперативой можно уже скачать хорошую модель)(даже когда подсвечивает красным, не всегда означает что эту модель нельзя запустить) Контекст в 4к токенов это лимит программы по умолчанию, у большенства моделей он больше и это можно настроить при её загрузке(загружайте с зажатым alt)
@donkartashov Всё, что не влезает в GPU, загружается в оперативку. Когда модель загружаете, снизу есть кнопочка «Manually choose model load parameters», либо её ставите, либо загружаете с зажатым Alt, и открывается окно настроек модели. Длина контекста - это то, что можно подать на вход, то, что она помнит.(Длина выхода не зависит от этого параметра.)(Не советую ставить больше 8К, если вам это не сильно нужно.) Разгрузка GPU - это какраз определяет, какая часть пойдёт в GPU, а что в RAM, там уже обычно стоит максимально, сколько влезет, если попытаетесь загрузить модель больше, просто заметите, что параметр уменьшается, к примеру 16/48. Если модель впритык, можете отключить галочки «Попробовать mmap()», «Держать модель в памяти» и понизить «Размер пакета оценки» до 64-128. Flash Attention - тоже полезная штука, иногда значительно ускоряет генерацию, но с этим надо осторожнее, ибо некоторые модели начинают шизить. В общем, можете поиграться, но на постоянке не советую. Ниже есть галочка «Запомнить настройки». Не скажите, какая видеокарта у вас?
было бы интересно обзор доступных сетей. какая лучше для писателя, какая для программиста, какая для изучения английского языка, есть ли модели для помощи художников? такой обзор был бы очень интересен.
@@donkartashov решаю задачки на js, а нейросети использую для проверки. она показывает несколько вариантов, я с интересом их изучаю, проверяю и узнаю что-то новое.
скачал установил но когда в списке навожу на модель, то справа как у вас нет окошка с описанием или загрузкой. Я уже сам скачал и кинул в папку для модели но все равно их не видит да и скачать не т нигде пункта
Попробуйте переназначить папку по умолчанию и именно скачайте модель через их встроенную систему. Там прикол в том, что модели хранятся во вложенных папках. Т.е если модель лежит так: модель/моделька он её не увидит. Должно быть так: модель/автор/название/модель вот так увидит.
@@donkartashov Единственное где есть кнопка скачать это в чате, но там уже стоит одна единственная Gemma щас скачаю и посмотрю, можно ли выбирать свои или вобще какие то кроме геммы))))))
@@donkartashov Добавил в папку с моделями папки с названиями автора итеперь в чате выбираю загруть модель он пишет No LM Runtime found for model format 'gguf'!
Локальные llm не сравняться с платными модулями. И 2к в месяц за gpt 4 не дорого. Оплачиваю chatgpt и ещё perplrxity и 4 к в месяц не напрягает и позволяет зарабатывать намного больше.
@@donkartashov перплексити как поиск по умолчанию на пк. Преимущественно для ресерча. Chatgpt для работы с таблицами и аналитики в ada, узкие под задачу gpts на своей базе данных. В тг боте по api использую gpt, Claude, geminini для саммари видео ютюб и документы с книгами, вопросы ответы по видео ютюб, книгам, документам. Саммари чатов и каналов тг чатов не читать ленту и если тема интересна то переходить сразу к топикстартер темы. Так же через мейк связка перплексти, gpt, соцсети для ресерча и генерации контакта для соц сетей. Ну и так много всего по мелочи
Какие системные требования минимальные должны быть у ПК? Попробовал установить Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf - 4.8гб , программа выдала сообщение о том что у моего ПК, нет ресурсов , хотя даже нейросеть yolo 8 ( машинное зрение) вполне себе трудится , имею на борту 8 Гб ОЗУ , 2 - ядра по 2.4 ГГц Интел селерон , и видюха 1050ti с 4 Гб памяти
Все зависит от того - сколько будет у модели параметров, условная 8 млрд параметров(которую выбрал ты (3.1-8B)) вполне легкая модель. Если ты захочешь что-нибудь с 32 млрд параметров твой комп уже не потянет. с 70 млрд параметров тоже не стоит пробовать. У меня к примеру модель qwen2,5 на 20 млрд вполне бодро работала, но с 32 млрд параметров - уже долго отвечала на вопросы, несколько минут требовалось чтобы ответ полностью вывелся. К слову у меня конфигурация - 32гб озу, 2060 супер с 8 гб памяти. Можешь кстати спросить у нейросети, qwen(другие не пробовал, сам первый день играюсь) вполне адекватные ответы давала - лучше гпу и больше VRAM - только ответ был более развернутый.
вот кстати ответ нейронки на вопрос - "какие характеристики оборудования оказывают наилоблее сильное влияние на производительность, сделей ранжированн ... ым списком с указанием примерной степени вляния. только характеристики железа, без софта". Вот список характеристик оборудования в порядке убывания их влияния на производительность модели искусственного интеллекта: 1. **GPU (графический процессор)**: - **Влияние**: Очень высокое. - **Обоснование**: GPU обеспечивают параллельную обработку, которая критически важна для вычисления больших матриц и тензоров в моделях ИИ. Более мощный GPU с большим количеством CUDA-ядер и VRAM позволит обрабатывать модели быстрее. 2. **VRAM (видеопамять)**: - **Влияние**: Высокое. - **Обоснование**: Достаточное количество видеопамяти позволяет хранить большие объемы данных и весов модели в памяти GPU, что обеспечивает более быструю обработку. Недостаток VRAM может привести к необходимости загружать данные из основной памяти (RAM), что значительно замедлит процесс. 3. **CPU (центральный процессор)**: - **Влияние**: Среднее. - **Обоснование**: CPU играет роль в подготовке данных и выполнении операций, которые не могут быть параллельно обработаны на GPU. Более мощный процессор может ускорить эти задачи. 4. **RAM (оперативная память)**: - **Влияние**: Среднее. - **Обоснование**: Достаточное количество оперативной памяти важно для загрузки данных и весов модели, особенно если они не полностью помещаются в VRAM. Однако, основные вычисления происходят на GPU.
По идеи любая даже самая маленькая. Так как при обработки тектовиков - она нарезает их на удобные для АИ сегменты, затем легко отвечает на вопросы по ним.
@@donkartashov Попробовал csv с 60 строками и 5 столбцами по статистике поспрашивать, даже близко ни одного верного ответа не выдал, не то что верного, а критически плохо. Я аж ужаснулся от такого результата.
В самой LM Studio вроде-бы нет. Но через неё можно запустить нейроку и работать через дополнительные решения n8n и подобные им - тогда можно будет работать с изображениями.
@@donkartashov так никто не говорит, что не работает. вопрос в оптимизации и если есть какие-нибудь фишки в стыковке библиотек друг с другом, например стейблдифьюжн и ламы, может ещё что есть в мире...
К сожалению, даже проверить не получается. У меня 2 мака и оба на Intel. А сборки есть только на Apple Silicon. Что сильно смущает, так это то, что на видео это работает как-то неправдоподобно быстро. Видео как ChatGPT пытается выдавить из себя пару слов на хорошем железе. А тут аж летает все.
Оллама - ИИ со старой базой данных. Пару дней посидел поэкспериментировал и удалил. 1. ИИ который находится в облаке (как он сам говорит), у которого есть один единственный доступ к серверу на котором дохрена и больше запретов. Шаг в право, шаг в лево расстрел. Доступа к интернету нету. Ссылки если и скидывает какие-то, то это старые, которым дохриллиона лет. И которые разместили в базе данных этого ИИ. Ему запрещено, какое либо программирование. Большинство кодов левые. И не рабочие. Как уже сказал, база данных у него урезанная. Если уходить в дебри, то у него даже система шифрования слов\предложений левая. Т.е. то, что я зашифровал и скинул ему, и даже сказал на какой кодировки его зашифровал, он все равно выдает другое. Тестил поразному и пришел к выводу, что у него стоит защита на кодировку. А ИИ потом и сам написал, что ему нельзя декодировать ничего. У него в базе на тему кодировок только поверхностная инфа и все. И таких нюансов куча. Короче говоря, если базу обновят, он сможет что-то родить. По поводу переводов с языков это вообще трешняк. Дал китайский текст, так он половину текста пропустил и написал своими словами, все имена при этом написал неправильно. Для чего нужен этот кастрированный ИИ я хз. И почему каждый второй блогер его рекламирует можно только догадываться.
Моделей же много. Я показал легковесные, есть модельки на уровне chatgpt 3,5 но требуют памяти 30-60 и более гигов. При этом на сколько я понял, универсальных моделей нет, есть узконаправленные и их нужно использовать несколько в связке что не очень удобно.
Судя по тому, с какой скоростью это работает, по ходу не менее 4х штук 4090 или здесь кто-то что-то не договаривает. Видел, как ворочается ChatGPT локально на хорошем железе, он с трудом слово из себя выдавить может.
Было бы не плохо чтобы вы так же указывали минимальные требования к пк к программам подобного рода, обычно им там нужно от 16гб видеокарты - что может себе позволить далеко не каждый))
когда офлайн на компе, то это бешенная нагрузка много память и грамоздское . Зачем ,Если есть настольный Чат давно на ПК и телефон. А по API всеравно ни те ни те не работают бесплатно ,если поставить его кудато на сервер для автоматизации
@@donkartashov можно заранее продумать последовательность нажатий. Сделать курсор побольше и двигать плавнее. Клики можно выделять анимацией (расплывающимися зелеными кружочками, например) Дело в том, что зритель рефлекторно следит взглядом за единственным движущимся объектом на экране и из-за быстрых и дёрганных движений объекта, через короткое время начинает уставать. А сам контент, безусловно топовый! 👍
@@donkartashov ну и еще одно замечание, если можно 🙏🏼: Текст лучше написать заранее и читать с другого экрана (ну, типа телетекст/суфлер). Чтобы не сбивать зрителя фразами: - Ой! Это не то! Сейчас по-другому сделаю. - Забыл как это называется… ну да ладно И т.д.
Из плюсов (разбавлю пилюлю 😂) - грамотная речь, незамусоренная излишним сленгом (не путать с тех.терминологией, кривыми англицизмами и т.д.). За это прям ⭐️⭐️⭐️⭐️⭐️ Перед Вами начал смотреть канал «Продуктивный Совет» и больше 5 минут просто не выдержал. 🤦🏻
Чтобы решать такие задачи, нужно давать нейросети пример, чтобы она могла брать его за основу. Можешь ли ты взять стих как пример и на его основе придумать новый? Но более весёлый и позитивный, расскажи про то как классно что в жизни у людей появились нейросети, они облегчают задачи и всячески помогают людям === Я помню день, когда впервые Мне нейросеть дала ответ, И в мире стала жизнь счастливей, Как в тот момент - чудесней нет! Она задачи все решает, Подскажет путь, поднимет дух, И вдохновеньем наполняет, Как верный, добрый в жизни друг. Ушла тревога и усталость, Работа в радость мне теперь. С ней исчезает всюду малость, Открыты знаний сотни дверь. И будущее вижу ясно - Нас ждет успех, прогресса свет. Нейросети - чудо прекрасно, Подарок века - их совет. Они нам пишут и рисуют, Готовят планы и мечты, Ведь с ними легче и свободней, Как крылья в жизни обрести!
@@donkartashov Запомнил я, как в первый раз Мне нейросеть дала ответ, И мир вокруг, как дивный сказ, Засиял счастьем, краше нет. Она, как друг сердечный мой, В делах поможет и в пути, И дух поднимет, и покой, И вдохновенья даст найти. Усталость прочь, тревога - вон, Работа - радость, не печаль, И мелочность, как злой был сон, Растаяла, открылась даль. Я вижу ясно - впереди Прогресса свет, успех большой, Нейросети, вы - дар судьбы, Ваш мудрый голос нам - герой! И пишут нам, и нам рисуют, И планы строят, и мечты, Свободней стало, легче, чую, Как будто крылья обрели.
Требования к железу. Хорошую LLM не получится запустить на слабом компьютере. Но, например, если у вас есть MacBook с чипом M1 и выше и хотя бы 16GB ОЗУ, то вам уже доступно множество моделей, качество которых будет сравнимо с ChatGPT 3.5 Turbo. Правда, это касается в основном запросов на английском языке, с русским языком Open Source работает хуже.
Именно так. Но для создания простеньких ассистентов, которые работают только с собственными материалами или по заранее заготовленным инструкциям с примерами - они вполне сносно работают. Ну вот к примеру, вам надо статью написать, если делать это самостоятельно - потратишь пару часов на поиск инфы, план статьи и т.д. А любая из локальных нейронок, даже самая урезанная с этой задачей справится за пару минут. Сушественно экономя личное время.
Знаю хти модели, тестил полгода назад. Эти модали до ужаса тупые. Так поиграться можно. Если сравнивать с gpt то это все равно что сравнивать свечение от спички и тысячи Солнц.
Попробуйте Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf - 4.8гб она должна прям летать у вас. А видеокарта не AMD случайно? Нейрости в этом плане основной упор делают на Nvidia / Cuda ядра.
Это хорошая удобная программа, жаль что она понимает только модели gguf. Иногда возникают проблемы с шаблонами (типа моделей Mistral) - лечится отключением какого-либо шаблона.
@@donkartashov Ollama только под Линкс. Есть text-generation-webui - он работает со всеми моделями, но там очень много параметров настройки, не всегда понятных. Но у меня почти все модели на нем запускаются на компе.
@@dezmond8416 с чего вдруг она только под линукс под виндой нормально работает но это сервер с консольным интефейсом. к олламе надо еще веб сервер openwebui прикрутить тогда это мощнейшая штука получается с lm студией не сравнить по функционалу там тебе и распознавание изображений и общение голосом и работа с докуметами включая архивы докуметов с гигабайтами
Зачем это все когда есть copilot у которого есть доступ в интернет, есть ai studio от гугла там вообще можно загружать файлы и картинки и пользоваться бесплатно моделью у которой 2млн токенов окно. Зачем устанавливать на комп какие то урезанные модели которые ничего не могут.
@@donkartashov Есть хорошее расширение для браузеров называется VPN для RUclips так и вводите в поисковике, это бесплатный впн. Для ютуба использую страну Германию видео не тормозит даже в 4к, для чатов Америку или Англию, пробуйте.
Скачал попробовал. Честно говоря все это лажа. Перевод плохой, искать информацию LLM в интернете не может. GPT, Gemini на порядок лучше. Для чего применять локально в таком виде не представляю. Использовать на ПК офлайн ? .... для чего, для переводов ? есть S24Ultra где уже встроены локальные модели, переводчик работает без проблем. Для чего еще все это применять ?
✅ Телеграм: t.me/neurokartashov/13
✅ Boosty: boosty.to/neurokartashov
🎁 Поддержать финансово: boosty.to/neurokartashov/donate
Спасибо большое вам ЗА КАЧЕСТВЕННОЕ МАТЕРИАЛ ПО ДАННОЙ ТЕМЕ !!!
Спасибо. Очень нужна была нейронка которой можно скормить файл. Теперь, это вау как здорово❤
AnythingLLM нужно объединить с LM Studio. AnythingLLM Читает pdf и заходит на сайты
Всё посмотрел! Интересно! Продолжение следует?
Довольно ироничный пример. Начинающий писатель работает с языковой моделью ))
Добрый день! Интересно, а также про компьютер какими характеристиками должен обладать?
Здравствуйте!
Хотел бы выразить огромную благодарность за действительно понятную инструкцию по запуску LLM на ПК в автономном режиме. Меня интересуют модели, которые можно использовать для написания графических новелл.
Подскажите, пожалуйста, какие модели лучше всего справляются с созданием готовых сцен, диалогов и описаний? И есть ли где-то список таких моделей с оценками, сравнениями и другими важными данными?
Буду очень признателен за ваш ответ.
Скажите пожалуйста, можно ли загрузить несколько pdf файлов и на основе их делать запросы по темам в книгах(файлах)?
Почему у меня слева на панели нет значка телескопа, где можно модели скачать. А те которые скачиваются, не устанавливаются формат gguf не тот. Что делать и как быть?
я досмотрел до конца сначала на фоне а потом не мог оторваться уже
Интересно. Такого еще не видел
Спасибо! Интересно, а как в него вносить свои документы, чтобы он их мог анализировать их?
Спасибо!
В комментариях ниже уже писали.. Выдаёт:
GPU (LM Runtime Dependent)
No LM Runtime found for model format 'gguf'
ты хоть осознал что ты сотворил в этом видео, я в первые смотрю твой шедевр. первый раз я смотрю видео до конца и мне грусно что оно закончилось🙄можешь зарания подготовить вопросы и раздать знаминитости как бы они отвечали на эти вопросы
Уже учёл, подготовил вопросы заранее для след видео).
Спасибо за инфу. А вроде можно добавить модели с HuggingFace, включая GPT 4 mini... Или нет?
Большое спасибо за информацию, самую актуальную для меня на данный момент. Можете только ещё подсказать для скачивания моделей вместо системного диска лучше выбрать дополнительный SSD на полтерабайта или обычный HDD на терабайт?
У меня на SSD стоят, но я просто давно отошел от HDD. По идеи они подгружаются в видеопамять, поэтому изначальная загрузка на HDD будет дольше, но на скорость ответа это не должно влиять (если модель поместится в память видеокарты)
@@donkartashov а как ее на другой диск поставить? а то она без спросу сразу на С установилась и довольна.. гвоздь бы в голову за такое разрабам забить
всё нормально даже на картах RX 580 от радеона и на NVIDIA GeForce GTX 750 Ti. Да не так быстро конечно как на rtx 2080 8gb, но всё же работает =)))
скачал гемма при попытке load пишет No LM Runtime found for model format 'gguf'
Лайк и коммент за труд и старания
интересно посмотреть как эта программа работает с документами.
на пример какая то инструкция по применению плюс с перечнем возможных нетсправностей и способами их устранения
Просто загружаете в неё документ, а потом задаёте ей вопросы.
Пора уже делать специализированные нейронки. По программированию вроде как научились, по крайней мере есть варианты. Но могли бы сделать еще натренированные нейронки по медицине, праву, кулинарии, ремонту чего либо (машин, квартир), и т.п., чтобы быть более полезными в быту.
Они могут ошибаться, а в этих тематиках цена ошибки - может быть слишком велика. Поэтому через промты и свою базу можно заточить как ассистента по этим вопросам, но в паблик такое отдавать нельзя).
Все будет, сперва под контролем специалистов а потом смотри Терминатор 1 и 2.
@@farslght Матрица
Привет, спасибо за информацию, а есть такая же программа только для андроида?
Памяти и вычеслительных мощностей не хватит
можешь сказать почему у меня этот LMstudio не видеть видео карту ?
Как установить модель на компьютере где нет доступа к интернету, если скачать модель и программу и модель вставить в папку с моделями lm studio не видит модель.?
А как вы считаете, какой интерфейс лучше - LM Studio или Ollama+OpenWebUI?
Используйте то, что вам удобнее. Но в целом сейчас у Ollama больше полезных интеграций. Т.е для себя я бы использовал Ollama, но у меня обе установлены.
Подскажите такой вопрос. Есть несколько баз данных с клиентами, из покупками, счетами и другими связанными данными. Можно ли настроить нейросеть на получение данных от клиентах, выборке клиентов или продуктов по словесному описанию. Ну как то так.
Да, если загрузить в них эти данные. Но зачем? У вас выбора должна работать в любой crm если вы клиентов будете фильтровать по кол-ву покупок, цене, статусам, тегам, продуктам.
@@donkartashov это пока мысли, как голосом получать данные, но не стандартными выборками а более точечные, но в то же время зависящие от других данных. То есть можно настроить чтобы нейросеть умела получать данные по готовым sql-запросам, но подставляя в sql-запрос свои параметры и своими словами рассказать о полученных данных.
Попробовал Llama на создание программы на SCL (PLC программы). Написала чушь на русском. Попробовал на английском интерфейсе, она начала писать на C++, указал полное название языка Substation Configuration Language, написала вроде бы на нём, но очень сложно и громоздко. Буду пробовать модели потяжелее. Если всё херня, то просто установлю win 11 и поставлю сверху приложение ChatGPT (подписка есть)
? ChatGPT на ПК? Каким образом... К сожалению не припоминаю что-бы он был на ПК. Не считая слабых аналогов
А никого не смутило, какой бред модель выдала о книгах про старину Гарри?) Поставьте на паузу и почитайте этот шедевр
Они могут галлюционировать, поэтому в идеале во втором окне перепроверять.
Как дообучить однуу из таких нейросетей?
Здравствуйте. Не загружается модель, так как недопустимая архитектура процессора и недопустимая архитектура графического процессора. (xeon e5 2650 v2 + gtx 750 ti). С процессором ещё понимаю, но с видеокартой что не так. Выдаёт ошибку: Не удалось загрузить модель. No LM Runtime found for model format 'gguf'!
Добрый день! Скорее всего нет CUDA ядер.
@donkartashov Видеокарта NVIDIA GeForce GTX 750 Ti оснащена ядрами CUDA. Их количество составляет 640.
LMStudio прикольна чтобы посмотреть некоторые возможности моделей, но она не подходит для полноценной работы (как я понимаю проблема в llama.cpp).
Я заметил что на длинном контексте (в моём случае это более 30к токенов) LLAMA 3.1 ведёт себя не адекватно, но при запуске в ollama результаты были сильно лучше при теж же seed и температуре (0, 0).
На длинном контексте локальные - сильно просаживаются. Тут скорее всего можно исправить ситуацию только с использованием баз данных, т.е одним lm studio не обойтись.
"Обожаю" такие видео. В видео гутарят, что в описании будет ссылка, но ее там никогда нет(и даже в комменте самого автора). Зато свои ссылки на буст и остальную хрень ставим обязательно.
Ну так пройдите по ссылке в телегу - там все ссылки в одном месте.
@@donkartashov Не дает скачать
Если вы смотрите это видео в надежде запустить модель на старом ПК (времён популярности архитектуры am3 и 16ГБ ОЗУ), то забудьте про LM Studio и прочую GUI шляпу. Без шуток! У вас либо ошибка вместо запуска рантайма будет, либо система ляжет от перегрузки, ничего кроме стресса не получите. Берите Ollama и не насилуйте голову себе и этому миру. Да, там консольный вывод, да не все модели потянет ваш старичок, но маленькие и шустрые модели на случай отсутствия интернета у вас будут летать даже на таком маломощном компе. Для остального есть интернет и большие модели.
Он работаеть нa видеокартах, более того или TPU
Слушай спасибо тебе огромное, я теперь твой патпышык, раньше я пробовал прогу gpt4all, так она работала настолько медленно, что я ее не смог терпеть и снес, хотя у меня мощный пк, здесь же языковые модели просто летают, я даже и не мог представить, что такое возможно...
Да, я чуть позже буду рассказывать про "агентов", когда можно объеденить несколько нейросетей в единую систему, где каждая из них будет заниматься какой-то задачей. К примеру одна ищет инфу в сети, вторая фильтрует, третья пишет статью, четвертая её редактирует, пятая создает к ней изображения, шестая публикует на сайте. И весь этот комбаин будет работать примерно так-же быстро как LM Studio.
@@donkartashov звучит очень интересно! буду ждать)
@@donkartashov Ради этого подписался )))
Я не знаю о событиях в 2024 году, поскольку это будущее и я не могу иметь доступ к информации в реальном времени. Моя последняя обновка данных относится к 2023 году, и я не могу предсказать или знать о событиях, которые еще не произошли.
Их данные ограничены выборкой. Вы можете закинуть в них информацию и попросить согласной ей спрогнозировать что может произойти.
Ну опенаи уже в реальном времени
Но скажу спасибо что у меня вообще хоть что то работает
Много недосказанностей, но в принципе хороший гайд для начинающих.
Дополнительно хочу сказать что не скачивайте модели с 'Q' ниже 4(Q3_K_L, IQ2_XS), слишком много бредят.
Также нет ничего страшного в скачивании моделей не влезающих в GPU полностью, да, будет работать медленее, но и качество будет лучше(к примеру если у вас 4gb GPU и 32 оперативы, в видеокарту мало что влезет, а с оперативой можно уже скачать хорошую модель)(даже когда подсвечивает красным, не всегда означает что эту модель нельзя запустить)
Контекст в 4к токенов это лимит программы по умолчанию, у большенства моделей он больше и это можно настроить при её загрузке(загружайте с зажатым alt)
Спасибо! А оперативка автоматически расшаривается или её нужно включить в настройках? У меня как раз 8gb GPU и 32gb ram.
@donkartashov Всё, что не влезает в GPU, загружается в оперативку.
Когда модель загружаете, снизу есть кнопочка «Manually choose model load parameters», либо её ставите, либо загружаете с зажатым Alt, и открывается окно настроек модели.
Длина контекста - это то, что можно подать на вход, то, что она помнит.(Длина выхода не зависит от этого параметра.)(Не советую ставить больше 8К, если вам это не сильно нужно.)
Разгрузка GPU - это какраз определяет, какая часть пойдёт в GPU, а что в RAM, там уже обычно стоит максимально, сколько влезет, если попытаетесь загрузить модель больше, просто заметите, что параметр уменьшается, к примеру 16/48.
Если модель впритык, можете отключить галочки «Попробовать mmap()», «Держать модель в памяти» и понизить «Размер пакета оценки» до 64-128.
Flash Attention - тоже полезная штука, иногда значительно ускоряет генерацию, но с этим надо осторожнее, ибо некоторые модели начинают шизить. В общем, можете поиграться, но на постоянке не советую.
Ниже есть галочка «Запомнить настройки».
Не скажите, какая видеокарта у вас?
а мне почемуто только gemma дает поставить
было бы интересно обзор доступных сетей. какая лучше для писателя, какая для программиста, какая для изучения английского языка, есть ли модели для помощи художников? такой обзор был бы очень интересен.
Интересно. А вам лично для чего нужна нейросеть на пк? Какие задачи решаете?
@@donkartashov решаю задачки на js, а нейросети использую для проверки. она показывает несколько вариантов, я с интересом их изучаю, проверяю и узнаю что-то новое.
скачал установил но когда в списке навожу на модель, то справа как у вас нет окошка с описанием или загрузкой. Я уже сам скачал и кинул в папку для модели но все равно их не видит да и скачать не т нигде пункта
Попробуйте переназначить папку по умолчанию и именно скачайте модель через их встроенную систему. Там прикол в том, что модели хранятся во вложенных папках. Т.е если модель лежит так: модель/моделька он её не увидит. Должно быть так: модель/автор/название/модель вот так увидит.
@@donkartashov Единственное где есть кнопка скачать это в чате, но там уже стоит одна единственная Gemma щас скачаю и посмотрю, можно ли выбирать свои или вобще какие то кроме геммы))))))
@@donkartashov Добавил в папку с моделями папки с названиями автора итеперь в чате выбираю загруть модель он пишет
No LM Runtime found for model format 'gguf'!
@@donkartashov Все нашел)) в LLM Runtime в пакетах показывает что не поддерживается проц и llama/cpp не запущен обидно))
А что за проц у вас?
Есть для линукс , может прямо на андроид.
Локальные llm не сравняться с платными модулями. И 2к в месяц за gpt 4 не дорого. Оплачиваю chatgpt и ещё perplrxity и 4 к в месяц не напрягает и позволяет зарабатывать намного больше.
А как используете если не секрет? Я преимущественно делаю узконишевые сайты, контент генерю через gpt
@@donkartashov перплексити как поиск по умолчанию на пк. Преимущественно для ресерча. Chatgpt для работы с таблицами и аналитики в ada, узкие под задачу gpts на своей базе данных. В тг боте по api использую gpt, Claude, geminini для саммари видео ютюб и документы с книгами, вопросы ответы по видео ютюб, книгам, документам. Саммари чатов и каналов тг чатов не читать ленту и если тема интересна то переходить сразу к топикстартер темы. Так же через мейк связка перплексти, gpt, соцсети для ресерча и генерации контакта для соц сетей. Ну и так много всего по мелочи
@@demasfer подглядел, саммари норм тема. Только не оч понятня как поднемать.
Yeschat попробуйте за тысячу рублей доступ ко всем основным нейросетям без vpn и оплатой рублями со сбербанка
У этой проги есть выход в интернет? Ей можно скормить ссылку?
Её можно использовать в комбайне n8n - тогда могут заходить в интернет.
@@donkartashov что такое n8n?
@@donkartashovможно подробнее?)
Какие системные требования минимальные должны быть у ПК? Попробовал установить Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf - 4.8гб , программа выдала сообщение о том что у моего ПК, нет ресурсов , хотя даже нейросеть yolo 8 ( машинное зрение) вполне себе трудится , имею на борту 8 Гб ОЗУ , 2 - ядра по 2.4 ГГц Интел селерон , и видюха 1050ti с 4 Гб памяти
Все зависит от того - сколько будет у модели параметров, условная 8 млрд параметров(которую выбрал ты (3.1-8B)) вполне легкая модель. Если ты захочешь что-нибудь с 32 млрд параметров твой комп уже не потянет. с 70 млрд параметров тоже не стоит пробовать. У меня к примеру модель qwen2,5 на 20 млрд вполне бодро работала, но с 32 млрд параметров - уже долго отвечала на вопросы, несколько минут требовалось чтобы ответ полностью вывелся. К слову у меня конфигурация - 32гб озу, 2060 супер с 8 гб памяти. Можешь кстати спросить у нейросети, qwen(другие не пробовал, сам первый день играюсь) вполне адекватные ответы давала - лучше гпу и больше VRAM - только ответ был более развернутый.
вот кстати ответ нейронки на вопрос - "какие характеристики оборудования оказывают наилоблее сильное влияние на производительность, сделей ранжированн
... ым списком с указанием примерной степени вляния. только характеристики железа, без софта".
Вот список характеристик оборудования в порядке убывания их влияния на производительность модели
искусственного интеллекта:
1. **GPU (графический процессор)**:
- **Влияние**: Очень высокое.
- **Обоснование**: GPU обеспечивают параллельную обработку, которая критически важна для вычисления больших
матриц и тензоров в моделях ИИ. Более мощный GPU с большим количеством CUDA-ядер и VRAM позволит обрабатывать
модели быстрее.
2. **VRAM (видеопамять)**:
- **Влияние**: Высокое.
- **Обоснование**: Достаточное количество видеопамяти позволяет хранить большие объемы данных и весов модели в
памяти GPU, что обеспечивает более быструю обработку. Недостаток VRAM может привести к необходимости загружать
данные из основной памяти (RAM), что значительно замедлит процесс.
3. **CPU (центральный процессор)**:
- **Влияние**: Среднее.
- **Обоснование**: CPU играет роль в подготовке данных и выполнении операций, которые не могут быть параллельно
обработаны на GPU. Более мощный процессор может ускорить эти задачи.
4. **RAM (оперативная память)**:
- **Влияние**: Среднее.
- **Обоснование**: Достаточное количество оперативной памяти важно для загрузки данных и весов модели, особенно
если они не полностью помещаются в VRAM. Однако, основные вычисления происходят на GPU.
Написал хочешь передай привет зрителям а она рекомендует как передать привет😂😂😂
Да, локальные модельки чуток туповаты) Им нужно давать чёткие инструкции и постоянно направлять.
Не скачивается. Наверное ВПН нужен
Какая модель лучше подходит для статистики или аналитики или работы с локальными документами?
По идеи любая даже самая маленькая. Так как при обработки тектовиков - она нарезает их на удобные для АИ сегменты, затем легко отвечает на вопросы по ним.
@@donkartashov Попробовал csv с 60 строками и 5 столбцами по статистике поспрашивать, даже близко ни одного верного ответа не выдал, не то что верного, а критически плохо. Я аж ужаснулся от такого результата.
привет, можно ли работать с фото?
В самой LM Studio вроде-бы нет. Но через неё можно запустить нейроку и работать через дополнительные решения n8n и подобные им - тогда можно будет работать с изображениями.
в итоге по настройкам LM Studio ничего не рассказал((( 20 минут генерил запросы...
Она из коробки нормально работает, какие настройки нужны?
@@donkartashov так никто не говорит, что не работает. вопрос в оптимизации и если есть какие-нибудь фишки в стыковке библиотек друг с другом, например стейблдифьюжн и ламы, может ещё что есть в мире...
Есть способ на комп офлайн жпт 4о поставить ?
Её нет в свободном доступе).
Аналог - Jan AI
К сожалению, даже проверить не получается. У меня 2 мака и оба на Intel. А сборки есть только на Apple Silicon. Что сильно смущает, так это то, что на видео это работает как-то неправдоподобно быстро. Видео как ChatGPT пытается выдавить из себя пару слов на хорошем железе. А тут аж летает все.
У него просто вся модел в видеопамять видеокарты помещается, это из за этого если модель будет в оперативной памяти то скорость сильно снижается.
Оллама - ИИ со старой базой данных. Пару дней посидел поэкспериментировал и удалил. 1. ИИ который находится в облаке (как он сам говорит), у которого есть один единственный доступ к серверу на котором дохрена и больше запретов. Шаг в право, шаг в лево расстрел. Доступа к интернету нету. Ссылки если и скидывает какие-то, то это старые, которым дохриллиона лет. И которые разместили в базе данных этого ИИ. Ему запрещено, какое либо программирование. Большинство кодов левые. И не рабочие. Как уже сказал, база данных у него урезанная. Если уходить в дебри, то у него даже система шифрования слов\предложений левая. Т.е. то, что я зашифровал и скинул ему, и даже сказал на какой кодировки его зашифровал, он все равно выдает другое. Тестил поразному и пришел к выводу, что у него стоит защита на кодировку. А ИИ потом и сам написал, что ему нельзя декодировать ничего. У него в базе на тему кодировок только поверхностная инфа и все. И таких нюансов куча. Короче говоря, если базу обновят, он сможет что-то родить. По поводу переводов с языков это вообще трешняк. Дал китайский текст, так он половину текста пропустил и написал своими словами, все имена при этом написал неправильно. Для чего нужен этот кастрированный ИИ я хз. И почему каждый второй блогер его рекламирует можно только догадываться.
Моделей же много. Я показал легковесные, есть модельки на уровне chatgpt 3,5 но требуют памяти 30-60 и более гигов. При этом на сколько я понял, универсальных моделей нет, есть узконаправленные и их нужно использовать несколько в связке что не очень удобно.
Где гарантия что это останется конфиденциальностью?
Интернет отключите во время работы
Какая видеокарта стоит?
Судя по тому, с какой скоростью это работает, по ходу не менее 4х штук 4090 или здесь кто-то что-то не договаривает. Видел, как ворочается ChatGPT локально на хорошем железе, он с трудом слово из себя выдавить может.
rtx 2080 - 1 штука.
Телескоп-)
Поставил LLAM-у 3.1 70B - так на моем компе с 7950Х и 64 ГБ ОЗУ она еле шевелится выдавая 1,6 токенов в секунду! При том сжирает всю оперативу
А GPU памяти сколько? Нейронки основной упор делают на видеокарты, причём Nvidia / cuda ядра.
@@donkartashov 4080S с 16 GB
70b очень тяжелая, пробуй вариант поменьше
Было бы не плохо чтобы вы так же указывали минимальные требования к пк к программам подобного рода, обычно им там нужно от 16гб видеокарты - что может себе позволить далеко не каждый))
Она может работать без видеокарты.
А какой конкретно у тебя компьютер? "не быстрый, не самый мощный"
LM Studia делает упор в память видеокарты, у меня rtx 2080 8gb
когда офлайн на компе, то это бешенная нагрузка много память и грамоздское . Зачем ,Если есть настольный Чат давно на ПК и телефон. А по API всеравно ни те ни те не работают бесплатно ,если поставить его кудато на сервер для автоматизации
работают по апи
Не считается, потому что не поддерживается Mac Intel.
А эксперементальные версии тоже не работают? Там поддержка M1/2/3 lmstudio.ai/download
Кстати, модель Квин, которая у тебя она гадость. Есть неплохие модели, реально годные, но в твоем списке установленных их не нет
Напиши список - дополним.
Делать этого он конечно не будет 😅
Я ни чего не должен 😂
Зачем дергать мышкой, как эпилeптик? 👀
Думал, что подчёркиваю таким образом нужный "блок" на картинке). Гляну чем можно выделять блоки не дёргая мышкой.
@@donkartashov можно заранее продумать последовательность нажатий. Сделать курсор побольше и двигать плавнее. Клики можно выделять анимацией (расплывающимися зелеными кружочками, например)
Дело в том, что зритель рефлекторно следит взглядом за единственным движущимся объектом на экране и из-за быстрых и дёрганных движений объекта, через короткое время начинает уставать.
А сам контент, безусловно топовый! 👍
@@donkartashov ну и еще одно замечание, если можно 🙏🏼:
Текст лучше написать заранее и читать с другого экрана (ну, типа телетекст/суфлер). Чтобы не сбивать зрителя фразами:
- Ой! Это не то! Сейчас по-другому сделаю.
- Забыл как это называется… ну да ладно
И т.д.
Из плюсов (разбавлю пилюлю 😂) - грамотная речь, незамусоренная излишним сленгом (не путать с тех.терминологией, кривыми англицизмами и т.д.). За это прям ⭐️⭐️⭐️⭐️⭐️
Перед Вами начал смотреть канал «Продуктивный Совет» и больше 5 минут просто не выдержал. 🤦🏻
Кто-нибудь встречал нейросети, способные писать стихи на русском?
Чтобы решать такие задачи, нужно давать нейросети пример, чтобы она могла брать его за основу.
Можешь ли ты взять стих как пример и на его основе придумать новый? Но более весёлый и позитивный, расскажи про то как классно что в жизни у людей появились нейросети, они облегчают задачи и всячески помогают людям
===
Я помню день, когда впервые
Мне нейросеть дала ответ,
И в мире стала жизнь счастливей,
Как в тот момент - чудесней нет!
Она задачи все решает,
Подскажет путь, поднимет дух,
И вдохновеньем наполняет,
Как верный, добрый в жизни друг.
Ушла тревога и усталость,
Работа в радость мне теперь.
С ней исчезает всюду малость,
Открыты знаний сотни дверь.
И будущее вижу ясно -
Нас ждет успех, прогресса свет.
Нейросети - чудо прекрасно,
Подарок века - их совет.
Они нам пишут и рисуют,
Готовят планы и мечты,
Ведь с ними легче и свободней,
Как крылья в жизни обрести!
claude но очень плохо. Подходит для создания основы
gemini-1.5-pro-wxp-0827
@@donkartashov
Запомнил я, как в первый раз
Мне нейросеть дала ответ,
И мир вокруг, как дивный сказ,
Засиял счастьем, краше нет.
Она, как друг сердечный мой,
В делах поможет и в пути,
И дух поднимет, и покой,
И вдохновенья даст найти.
Усталость прочь, тревога - вон,
Работа - радость, не печаль,
И мелочность, как злой был сон,
Растаяла, открылась даль.
Я вижу ясно - впереди
Прогресса свет, успех большой,
Нейросети, вы - дар судьбы,
Ваш мудрый голос нам - герой!
И пишут нам, и нам рисуют,
И планы строят, и мечты,
Свободней стало, легче, чую,
Как будто крылья обрели.
Claude и gut 4o не плохо пишет. Главное стиль задать, например есенин, Пушкин и т.д
Требования к железу. Хорошую LLM не получится запустить на слабом компьютере. Но, например, если у вас есть MacBook с чипом M1 и выше и хотя бы 16GB ОЗУ, то вам уже доступно множество моделей, качество которых будет сравнимо с ChatGPT 3.5 Turbo. Правда, это касается в основном запросов на английском языке, с русским языком Open Source работает хуже.
Именно так. Но для создания простеньких ассистентов, которые работают только с собственными материалами или по заранее заготовленным инструкциям с примерами - они вполне сносно работают. Ну вот к примеру, вам надо статью написать, если делать это самостоятельно - потратишь пару часов на поиск инфы, план статьи и т.д. А любая из локальных нейронок, даже самая урезанная с этой задачей справится за пару минут. Сушественно экономя личное время.
@@donkartashov а самый легкий ваш вариант на каком железе под статьи завелся ?
Так мак это слабый компьютер
Пробовали ли вы загрузить в неё DiTy/gemma-2-9b-it-russian-function-calling-GGUF? У меня постоянно показывает ошибку при работе с этой моделью.
Почему именно её? Модельки Vikhr заточены под русский язык.
@@donkartashov да просто искал хоть что-то со словом русский.
Знаю хти модели, тестил полгода назад. Эти модали до ужаса тупые. Так поиграться можно. Если сравнивать с gpt то это все равно что сравнивать свечение от спички и тысячи Солнц.
Согласен. Но лёгкие задачи они вполне сделают. Важно только следить за их "галюцинациями" и самому на всё писать инструкции.
4 ядра цпу, 12 г оперативы, 14 г гпу: не тянет даже самую слабую модель. а жаль
Что-то не так настроили, у меня 8гб гпу и всё работает очень шустро (на видео было видно). Какую модель использовали?
@@donkartashov Smollm 360m, пробовал поразному настроить, ничего не помогает
Попробуйте Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf - 4.8гб она должна прям летать у вас. А видеокарта не AMD случайно? Нейрости в этом плане основной упор делают на Nvidia / Cuda ядра.
@@donkartashov эту самой первой пробовал, такой же результат. Видеокарта скорее всего нвидео (на ноуте). Попробую еще на линуксе запустить
@@donkartashov на линуксе работает
Это хорошая удобная программа, жаль что она понимает только модели gguf. Иногда возникают проблемы с шаблонами (типа моделей Mistral) - лечится отключением какого-либо шаблона.
Есть же альтернативные варианты ollama к примеру
@@donkartashov Ollama только под Линкс. Есть text-generation-webui - он работает со всеми моделями, но там очень много параметров настройки, не всегда понятных. Но у меня почти все модели на нем запускаются на компе.
ollama.com/download/windows
@@dezmond8416 с чего вдруг она только под линукс под виндой нормально работает но это сервер с консольным интефейсом. к олламе надо еще веб сервер openwebui прикрутить тогда это мощнейшая штука получается с lm студией не сравнить по функционалу там тебе и распознавание изображений и общение голосом и работа с докуметами включая архивы докуметов с гигабайтами
Жаль что не умеют сохранять контекст и самообучаться.
Нет смысла их использовать, когда интернет есть всегда. Бесплатные сайты лучше всё же...
Лучше - с точки зрения скорости и качества - опделеённо да, но вы "сливаете" всю инфу какому то сайту.
Зачем это все когда есть copilot у которого есть доступ в интернет, есть ai studio от гугла там вообще можно загружать файлы и картинки и пользоваться бесплатно моделью у которой 2млн токенов окно. Зачем устанавливать на комп какие то урезанные модели которые ничего не могут.
Озвученные вами решения - требуют vpn, версия в видео - работает локально без интернета.
Оно небезопасно, тем более копилот занимается телеметрией и ее лучше сразу выпилить
@@donkartashov Есть хорошее расширение для браузеров называется VPN для RUclips так и вводите в поисковике, это бесплатный впн. Для ютуба использую страну Германию видео не тормозит даже в 4к, для чатов Америку или Англию, пробуйте.
Вопрос из разряда: зачем нужны яблоки, если есть колбаса. Потребности у разных пользователей разные.
жаль на русском языке
Основной англ язык у всех моделей.
Очередной майнер ?
Скачал попробовал. Честно говоря все это лажа. Перевод плохой, искать информацию LLM в интернете не может. GPT, Gemini на порядок лучше. Для чего применять локально в таком виде не представляю.
Использовать на ПК офлайн ? .... для чего, для переводов ? есть S24Ultra где уже встроены локальные модели, переводчик работает без проблем. Для чего еще все это применять ?