"Бесплатно" гонять киловаты получится только, если мамка оплачивает счета на электричество и покупает сам комп. Нет бесплатных вычислений такого уровня - просто пути оплаты выглядят иначе, включая потраченое время на установку и отладку. Тема скорее должна вертеться вокруг конфиденциальности - в локалке или на чужих серверах с цензурой и большим братом.
Если современный мощный компьютер и интернет достаточно быстрый, всё очень просто скачать и настроить, только в моделях самих сложно разобраться там, сделали бы отдельное видео про их сравнение, что бы не качать все подряд и самому сравнивать слишком долго.
@@Жизньврассказах-ъ8ш macOS Чип: Apple Silicon (M1/M2/M3/M4). Требуется macOS 13.4 или более поздняя версия. Для моделей MLX требуется macOS 14.0 или более поздняя версия. Рекомендуется 16 ГБ+ ОЗУ. Вы по-прежнему сможете использовать LM Studio на 8 ГБ Mac, но придерживайтесь меньших моделей и скромных размеров контекста. В настоящее время Mac на базе Intel не поддерживаются. Отзовитесь здесь, если вам это интересно. Windows LM Studio поддерживается как в системах на базе x64, так и ARM (Snapdragon X Elite). ЦП: требуется поддержка набора инструкций AVX2 (для x64) ОЗУ: LLM могут потреблять много ОЗУ. Рекомендуется не менее 16 ГБ ОЗУ. Linux LM Studio для Linux распространяется как AppImage. Требуется Ubuntu 20.04 или более поздняя версия только x64, aarch64 пока не поддерживается Версии Ubuntu новее 22 не прошли тщательное тестирование. Сообщите нам, если у вас возникли проблемы, открыв сообщение об ошибке здесь.
Есть возможность прикрепить документ. Этот процесс не совсем можно назвать дообучением. Предположим, что прикрепленный документ состоит из 10,000 символов. Он разбивается на так называемые "чанки" по 1,000 символов, которые затем сохраняются в векторной базе данных. При выполнении запроса осуществляется поиск по векторной базе, и возвращаются наиболее релевантные чанки текста. Эти чанки затем вставляются в основной промт.
@@Marat_Mazitov Сложновато но общий смысл я думаю понял спасибо. Это более продвинутая версия выводов и резюме? Часто нейросети в диалогах их тоже любят делать даже когда их не просишь.
Халява это хорошо, а видео, конечно, информативное, но мне не совсем понравилось, как ты объяснял процесс. Некоторые моменты были неясными, и я потерялся на середине. Возможно, стоит добавить больше деталей или примеров, чтобы сделать материал более доступным. Надеюсь, в будущем ты учтёшь это
10:30 Цитата: "Вам не понравилась программа и Вы решили её удалить". Марат, ну зачем так говорить? Нет бы честно сказал: "Лично мне программа не понравилась и я удалил к ху... собачьим))"
@@sergeygoryachyov Хахах) на самом деле с программой знаком с лета этого года. Она у меня сейчас установлена. Сейчас разрабатывают вторую версию проги для управления компьютером с помощью ИИ (на канале есть первая версия). Так вот с помощью этой проги (LM studio) хочу локальную LLM настроить, для тех кто не хочет тратиться на токены.
Обе модели относятся к классу трансформеров и способны выполнять схожие задачи. Если бы я упомянул полное название Llama (Large Language Model Meta AI), большинству это было бы непонятно.
Не понимаю, зачем выпускать видео, если сам не разобрался, как что и почему работает. Только лишь догадки, основанные на надписях к пунктам и настройкам программы, которые пользователь и так может сам прочитать. Но самое удивительное - это наглядно показать, что программа бесполезна для конечного пользователя из-за артефактов в тексте. Когда на самом деле их можно убрать, используя от 7b модели от qwen и Gemma, которые хорошо пишут на русском. Llama же не обучается на русском контенте и поэтому не знает его в достаточной мере, вследствие непригодна для обычного использования на русском.
В начале видео четко сказано, где скачать программу, как ее настроить и как ею пользоваться. Однако стоит отметить, что видео не претендует на полное обучение. Кроме того, 7b модели могут не запуститься у большинства зрителей. То, что вам знаком интерфейс программы, не означает, что он будет понятен всем. Что касается наглядной демонстрации артефактов - важно, чтобы зрители осознавали, что в этом «меде» есть и ложка дегтя, чтобы избежать разочарования у пользователей.
"Бесплатно" гонять киловаты получится только, если мамка оплачивает счета на электричество и покупает сам комп. Нет бесплатных вычислений такого уровня - просто пути оплаты выглядят иначе, включая потраченое время на установку и отладку. Тема скорее должна вертеться вокруг конфиденциальности - в локалке или на чужих серверах с цензурой и большим братом.
Да, бесплатные вычисления - это как бесплатный Wi-Fi в кафе: всегда есть свои условия!
Если современный мощный компьютер и интернет достаточно быстрый, всё очень просто скачать и настроить, только в моделях самих сложно разобраться там, сделали бы отдельное видео про их сравнение, что бы не качать все подряд и самому сравнивать слишком долго.
Могут ли какие-то модели обрабатывать изображения, чтобы, например, загрузив их, они выполняли задания на основе этих изображений?
@@ront4551 Да, такие модели есть. В поиске вбить "vision" и выйдет список актуальных LLM
Почему никто не говорит про технические характеристики компьютеров? Скачал, начал устанавливать выдает ошибки, железо не соответствует требованием!
@@Жизньврассказах-ъ8ш Рекомендуют 16 Гб, но у меня запускалась и на 8 Гб, но при условии если лишние проги отключены.
@@Жизньврассказах-ъ8ш macOS
Чип: Apple Silicon (M1/M2/M3/M4).
Требуется macOS 13.4 или более поздняя версия.
Для моделей MLX требуется macOS 14.0 или более поздняя версия.
Рекомендуется 16 ГБ+ ОЗУ.
Вы по-прежнему сможете использовать LM Studio на 8 ГБ Mac, но придерживайтесь меньших моделей и скромных размеров контекста.
В настоящее время Mac на базе Intel не поддерживаются. Отзовитесь здесь, если вам это интересно.
Windows
LM Studio поддерживается как в системах на базе x64, так и ARM (Snapdragon X Elite).
ЦП: требуется поддержка набора инструкций AVX2 (для x64)
ОЗУ: LLM могут потреблять много ОЗУ. Рекомендуется не менее 16 ГБ ОЗУ.
Linux
LM Studio для Linux распространяется как AppImage.
Требуется Ubuntu 20.04 или более поздняя версия
только x64, aarch64 пока не поддерживается
Версии Ubuntu новее 22 не прошли тщательное тестирование. Сообщите нам, если у вас возникли проблемы, открыв сообщение об ошибке здесь.
Интересное видео. Однозначно лайк. У меня тоже всё никак Руки не доходят. Ещё бы можно было дообучать на своих данных. Или там можно где-то?
Есть возможность прикрепить документ. Этот процесс не совсем можно назвать дообучением. Предположим, что прикрепленный документ состоит из 10,000 символов. Он разбивается на так называемые "чанки" по 1,000 символов, которые затем сохраняются в векторной базе данных. При выполнении запроса осуществляется поиск по векторной базе, и возвращаются наиболее релевантные чанки текста. Эти чанки затем вставляются в основной промт.
@@Marat_Mazitov Сложновато но общий смысл я думаю понял спасибо. Это более продвинутая версия выводов и резюме? Часто нейросети в диалогах их тоже любят делать даже когда их не просишь.
@@romanbolgar Работал как-то с векторной базой данных, ухх.. ну и шлаак.
Халява это хорошо, а видео, конечно, информативное, но мне не совсем понравилось, как ты объяснял процесс. Некоторые моменты были неясными, и я потерялся на середине. Возможно, стоит добавить больше деталей или примеров, чтобы сделать материал более доступным. Надеюсь, в будущем ты учтёшь это
На середине это когда я скачивал LLM или рассказывал про управление компьютером с помощью ИИ?
10:30 Цитата: "Вам не понравилась программа и Вы решили её удалить". Марат, ну зачем так говорить? Нет бы честно сказал: "Лично мне программа не понравилась и я удалил к ху... собачьим))"
@@sergeygoryachyov Хахах) на самом деле с программой знаком с лета этого года. Она у меня сейчас установлена. Сейчас разрабатывают вторую версию проги для управления компьютером с помощью ИИ (на канале есть первая версия). Так вот с помощью этой проги (LM studio) хочу локальную LLM настроить, для тех кто не хочет тратиться на токены.
Скрлько стоит железо? 3 млн )))
@@3ampolit нет, Ноутбук MSI GF76 Katana 11UCX-892XRU. 70 000 руб)
ничего не работает как понял токени просит зря качал
@@gardiniusbro какой ещё токен просит? Напишите подробнее
Написано gpt, а на видео лама
Обе модели относятся к классу трансформеров и способны выполнять схожие задачи. Если бы я упомянул полное название Llama (Large Language Model Meta AI), большинству это было бы непонятно.
простыми словами гпт это вид ии моделей а не чатгпт лол))).
Нас наебали, расходимся
Не понимаю, зачем выпускать видео, если сам не разобрался, как что и почему работает. Только лишь догадки, основанные на надписях к пунктам и настройкам программы, которые пользователь и так может сам прочитать. Но самое удивительное - это наглядно показать, что программа бесполезна для конечного пользователя из-за артефактов в тексте. Когда на самом деле их можно убрать, используя от 7b модели от qwen и Gemma, которые хорошо пишут на русском. Llama же не обучается на русском контенте и поэтому не знает его в достаточной мере, вследствие непригодна для обычного использования на русском.
В начале видео четко сказано, где скачать программу, как ее настроить и как ею пользоваться. Однако стоит отметить, что видео не претендует на полное обучение. Кроме того, 7b модели могут не запуститься у большинства зрителей. То, что вам знаком интерфейс программы, не означает, что он будет понятен всем. Что касается наглядной демонстрации артефактов - важно, чтобы зрители осознавали, что в этом «меде» есть и ложка дегтя, чтобы избежать разочарования у пользователей.
@@Marat_Mazitov Я почему-то уверен, что ты ответы генеришь через ГПТ