Я запустил свою нейросеть-аналог ChatGPT на ноутбуке
HTML-код
- Опубликовано: 26 июн 2024
- Не всем могут и не все хотят пользоваться ChatGPT. А кому-то, как мне запрещают на работе. Все связано с сохранностью секретной информации. Зато наверняка можно пользоваться генеративными нейросетями если они запущены локально. Поэтому я покажу вам, как запустить две разных нейросети локально у себя на компьютере
Нейросеть GPT4ALL gpt4all.io/index.html
Нейросеть Llama github.com/cornelk/llama-go и обертка для запуска github.com/ggerganov/llama.cpp
Таймкоды:
00:00 Начало
00:54 Про что видео
01:29 Нейросеть GPT4ALL
04:16 Нейросеть LLaMA от Meta
07:35 Зачем свой нейросеть, если подписка на ChatGPT дешевле?
08:55 Конец
НЕТ ВОЙНЕ!
Выразить благодарность
ko-fi.com/larchanka
boosty.to/larchanka
BTC: 127J5x79L9bb7T4jiYJ2U7jHNDLXEx4kT3
USDT (TRC20): TWRQit8o1JJGWjAph3DZFysygUxSwqiq9Q
TON: UQBDiFGDTLpp1zWLefv0LnH9TbEeUIcPSoO5uDNwhzktKP33
Как я стал программистом
• КАК Я СТАЛ ПРОГРАММИСТОМ
Как я переехал в Европу
• Как я переехал в Европу
Стрим: Карьера программиста
• Карьера программиста: ...
VPN, который я использую
surfshark.club/friend/fUXc3NQd
➡️ Сайт: i.mobila.name/xT
➡️ Instagram: i.mobila.name/yp
➡️ Twitter: i.mobila.name/Ua
➡️ Telegram: i.mobila.name/b7d
👉🏻 Больше влогов здесь:
#larchankavlog #larchanka
👉🏻 Ежедневные влоги:
#larchankadaily
👉🏻 Чем я снимаю:
➡️ iPhone 14 Pro
➡️ Камера: Canon EOS 200D ya.cc/Ps7fY
➡️ Широкоугольный объектив: Canon EF-S 10-18
➡️ Еще одна камера: DJi Osmo Action
➡️ Еще одна камера: Sony DSC-WX500
➡️ И еще одна: SJCam SJ6 Legend
➡️ Микрофон: Rode Video Mic
➡️ Штатив: Joby Gorillapod ya.cc/Ps7iP
Музыка:
Power - Cushy
Я та к понял, чем сильнее GPT запрещают, тем сильнее желание Михаила всякие GPT у себя напозапускать😎😎😎
Михаил панк и жесткий чел
Так отлично же- это двигатель прогресса. У каждого своя кнопка запуска. Супер.
у меня аналогичное желание.🤣 LlaMA 70b огонь огненный.😁
Благодарю за данное видео, а также прикрепленные ссылки. Вопрос о локальных чат-ботах стоял ещё с момента первого знакомства с умными чат-ботами.
Спасибо! То что нужно, а то уже хотел сам разбираться
она не работает на винде,скачиваешь патчи а окно с закачкой не убрать
Михаил, можно ли регулировать размер контекста в GPT4ALL ?
Наконец-то, а то уже сам хотел писать свою. нейронку)
Спасибо за видео
запустил GPT4ALL и скачал одну из больших моделей. но там актуальность данных на конец 2021 года. можно ли как-то обновить модель локально что-то ей скормив или какую модель качать чтобы получить качественные ответы с актуальными хотя бы на конец 2023 года данными? у меня комп хоть и старый, но памяти больше 16гб. скорость ответа по одному символу.
Большое спасибо.
на винде10 работает?
@@marvinheemeyer7027 вопрос не ко мне, а к Мише. Я пока что "ученик". Я загорелся идеей создать, собственную, не зависимую от других нейро сеть, точнее, независимого от кого-либо (в том числе и от меня) робота с Искусственным Интеллектом ( электронный клон моей личности😄), который будет делать лишь добрые дела и помогать человечеству развиваться БЕСПЛАТНО, благодаря встроенному в его "мозгу" алгоритмов Морального, Гуманного, Социального, познавательного поведения (эта идея ничего общего не имеет с попытками тех современных психически ненормальных людей, которые хотят создать и вживить в человеческий мозг чипы, чтобы под предлогом помощи больным людям и вроде бы с целью профилактики болезней, управлять людьми, удовлетворить своё патологическое желание властвовать над другими.
Мой тысячный лайк :D
Привет! Подскажи пожалуйста, что это за автокомплит/т9 у тебя в терминале на 6:53?
Это tabnine
@@larchanka GPT4All2.4.4 не работает на винде,скачиваешь патчи 4 или7 гигов а окно с закачкой не убрать,я нажимаю мимо окна как у тебя на видео а оно не убирается
привет а что думаешь про yandex gpt
Планирую познакомится поближе. Надеюсь хорошая модель
Для меня приватность не проблема. Мне утаивать нечего Логины и пароли естественно вводить в нейросеть не собираюсь. Ну вот другое преимущество Это не зависит от интернета и разработчиков. Возможность настроить под себя Обучить на каких-то определённых интересных мне данных. Вот про это бы поподробнее. Пока к сожалению такого нет Но надежда Microsoft Вроде бы уже изобрле какой-то аналог Copilot . На данный момент пользуюсь простенькой утилитой Laitis В которой можно настроить голосовые команды. этот текст наговариваю тоже с помощью неё. Очень странно что до сих пор голосовые помощники не объединят с интеллектуальными чатами. До сих пор какой-то интерфейс в консоли. Они что не могут говорить как в фильме "Она"? Впрочем, уже естьсторонние расширения которые дают им возможность говорите а не просто писать текст И не только говорить но и слушать.
Можно примеры таких расширений?
Спасибо. Жаль у меня не достаточно мощное железо, всего лишь 16Гб оперативки. Как доставлю еще 32Гб - попробую. Но не знаю сможет ли оно работать на встроенной AMD радеон с 3Гб оперативки видеокартой, так как рисование картинок не заработало как раз из за недостатка оперативки на видеокарте. Но все же очень интересно и познавательно
Здравствуйте. Скажите, пожалуйста, оригинальный чат gpt кем-то модерируется? Я слышала, что там нет ответов по религии.
Миш, как ты думаешь. Ситуация такая, раньше я сам писал код, учился на ютубе, делал небольшие пет проекты, сейчас сильно обленился и все делаю через чат gpt, он сам полностью пишет весь код, я прописываю то что мне нужно, сейчас поймал себя на мысли, что я теперь не настоящий программист, учусь как раз на аналитика и машиное обучение и подобное, можешь сказать мне я правильную мысль поймал или нет
Мы все деградируем за полгода, разучимся писать. Вот я без калькулятора уже не смогу что-то посчитать например
У всех эта проблема началась с начала года. Я уже подумаю что будет дальше. Код перестал писать как раньше.
Это ждёт всех. Но знаешь, если тебе будет легче, могу сказать, что в своё время было немало критики в сторону windows, типа это игрушка а не os
@@Andrew-7324 не все! повторю хочется нейросеть создай и обучи
Интересна интеграция ai в чат боты сайтов, например е-коммерции. Аля онлайн консультант, но в рамках товаров конкретного сайта.
А какая комплектация нужна для нормальной работы генеративной модели?
A100
Как по мне, так из бесплатных пока vicuna хоть что-то может. Но 13B уж больно урезанный вариант параметров, GPT-3 имел в 13 раз больше, поэтому если её будут развивать в дальнейшем, то было бы интересно глянуть, насколько она дотягивает до нынешнего ChatGPT.
Ну, есть опенсорс модели типо BLOOM 175B и OPT 175B, но такое ни один обычный комп не потянет(там надо минимум 250гб видео памяти вроде
@@atommax_1676 есть версии GGML, они все, вплоть до 65B запускаются на малом количестве ОЗУ, другое дело, что если процессор слабый, то ждать придётся очень долго, довольствоваться парочкой букв в минуту.
@@artyombevsubdiv интересно. Спасибо за информацию
Вообще странно, что сейчас, на huggingface, до сих пор выкладываются языковые модели с параметрами меньше, чем 13B. Ведь 7B уже не может кодить нормально, 3B тем более.
подскажите какую модель выбрать для русского языка? я попробовал пару моделей - они только на английском отвечать могут
Учианглийский очень полезно будет именно вот так учить
@@PythonDevelopment не всегда английский нужен. Нужны текста на русском изначально без танцев с бубном.
Запрашивай текста на англ и переводи через DeepL
@@user-qt4ww4tt3c так и делаю ) а потом редактирую тексты с помощью AI ))
слабый пк это конечно плохо но иногда можно решить проблему например Упрощение архитектуры: Используйте более легкие и простые модели нейросети, которые требуют меньше вычислительных ресурсов. Например, вы можете использовать сверточные сети с меньшим количеством слоев или с меньшим числом фильтров.
Компрессия модели: Применение методов сжатия, таких как квантизация или обрезка весов, может уменьшить размер модели и снизить требования к памяти и вычислительной мощности.
Пакетная обработка (Batch processing): Обрабатывайте данные небольшими пакетами, а не по отдельности. Это может сократить нагрузку на вычисления и увеличить эффективность использования ресурсов.
Использование предобученных моделей: Вместо обучения модели с нуля, вы можете использовать предобученные модели, которые уже обучены на больших наборах данных. Затем вы можете дообучить модель на вашем наборе данных, что может сократить время обучения и использование ресурсов.
Использование аппаратного ускорения: Если ваш ПК поддерживает аппаратное ускорение, такое как графический процессор (GPU) или специализированный процессор (TPU), использование их может значительно ускорить работу нейросети.
Альтернативы:
1) LM Studio
2) Jan
3) Faraday
Gpt4All не работает на Windows 7. Перечисленные выше альтернативы - работают (предварительно требуется установить VxKex и включить его для основного exe файла программы).
20 лет нужно было, с однослойной нейронки начать высчитывать ошибки многослойной сети и это стало революцией. Лично я считаю, что произойдет еще одна революция, когда аналоговая сеть будет превозойдена бинарной нейросетью, которая в много раз быстрее. Непонятно сколько лет на это нужно.
скачал первый патч нва 4 гб и ничего не произошло,прога предлагаеи скачать ещё раз
А почему нельзя ее на сервак поставить? Что б комп не нагружать?
Какой компьютер необходим для комфортного запуска своей нейросети?
Нужна видеокарта с озвученным количеством памяти, зависит от модели, но по моему опыту, все что меньше 30млрд параметров выдает так себе ответы, следовательно что бы получить хоть что то полезное надо от 30Гб видеопамяти (лучше около 80), что бы просто побаловаться позапускать 13млрд сеточки хватит 3090 или 4090rtx.
На процессоре запускать не советую, потому что даже на самом топовом будешь получать максимум 1-2 слова в секунду (на видеокарте примерно 10-20 слов в секунду)
Наиболее оптимально сейчас это последние 13b-4bit модели (типа vicuna) на 3060 12гб.
@@vovam6565 Зачем? Есть же GGML квантизация.
@@sovenok-hacker Так я про квантованные и говорю. Условная 30B модель в 4бит квантизации требует 24Гб видеопамяти, 60B модель - 42Гб (если на CPU то 32Гб и 64Гб оперативки соответственно).
Большинство моделей сейчас 7B или 13B, не идут ни в какое сравнение даже с GPT3.5 не говоря уже про GPT4.
Все эти громкие слова, типо наша очередная модель достигает качества 97% от chatGPT часто умалчивают, что это на узком диапазоне задач (под которые ее конкретно дообучили) но никто не говорит, что на остальных задачах она теряет даже тот уровень который был изначально. Это при том, что они не заявляют как они превзошли GPT а говорят как они только приближаются к ней.
И это я про английский язык, все эти любительские модели в 99% случаев дообучают исключительно на английском, в следствии чего изначально мультиязычная модель вроде LLAMA теряет способность адекватно общаться на любом языке кроме английского.
Описанные недостатки хоть немного сглаживаются с ростом моделей, и уже от 30-60B выглядят ну хоть немного адекватней, и хотя бы заметна небольшая конкуренция с chatGPT.
Поэтому я и написал такие требования к видеокарте, ну а про скорость генерации я уже писал, на видеокарте она минимум в 5-10 раз быстрее чем на процессоре, ждать по 10-15 минут на ответ такое себе удовольствие.
давно я в этой области мне это очень интересно эти нейросети непонятно какого года вотв общем мой подход оговорюсь я пишу коды на чистом питоне и с++ Создание начальной популяции:
В начале алгоритма создается случайная популяция нейросетей. Это делается путем случайной генерации весов и архитектуры нейросетей. Каждая нейросеть в популяции представляет собой набор узлов (нейронов) и связей между ними.
Оценка производительности:
Для каждой нейросети в популяции вычисляется ее производительность на заданной функции приспособленности. Эта функция определяет, насколько хорошо нейросеть выполняет поставленную задачу. Например, в задаче классификации изображений функция приспособленности может оценивать точность классификации.
Естественный отбор:
Нейросети с лучшей производительностью (высокой оценкой функции приспособленности) имеют больше шансов выжить и передать свои гены следующему поколению. Они могут быть выбраны с использованием различных стратегий отбора, таких как пропорциональный отбор или турнирный отбор.
Скрещивание и мутация:
Следующий шаг - создание новой популяции путем скрещивания и мутации существующих нейросетей. Скрещивание происходит путем комбинирования генов (весов и архитектуры) из двух родительских нейросетей, чтобы создать потомка. Мутация случайным образом изменяет некоторые гены в потомке для разнообразия и исследования новых вариантов.
Итерации:
Шаги 2-4 повторяются в цикле несколько раз, образуя новые поколения нейросетей. В каждом поколении лучшие нейросети сохраняются, а остальные исключаются. Алгоритм продолжает выполняться до достижения заданного критерия остановки, такого как достижение определенного значения функции приспособленности или максимальное число итераций.
Примеры функций для понимания этой темы:
Функция приспособленности: В задаче оптимизации, где нужно найти значения переменных, максимизирующие или минимизирующие функцию, функцией приспособленности может быть сама оптимизируемая функция.
Отбор: Функция отбора выбирает нейросети для скрещивания на основе их производительности. Примером может быть выбор нейросетей с наивысшими значениями функции приспособленности.
Скрещивание: В функции скрещивания можно использовать различные методы комбинирования генов из родительских нейросетей. Например, можно случайным образом выбрать точку раздела и обменять части весов или архитектуры между родителями.
Мутация: Функция мутации случайным образом изменяет некоторые гены в потомке. Например, можно изменить веса нейронов на небольшую случайную величину или добавить или удалить случайные связи между нейронами.
Генетический алгоритм отличается тем, что позволяет нейросетям эволюционировать и адаптироваться к поставленной задаче, улучшая свою производительность в каждом поколении. Этот подход может быть особенно полезен в задачах, где нет явного решения или требуется поиск оптимальных параметров. 😊🧬
Создание начальной популяции:
import random
def create_individual(length):
return [random.randint(0, 1) for _ in range(length)]
def create_population(size, length):
return [create_individual(length) for _ in range(size)]
Оценка производительности:
def fitness(individual):
x = decode_individual(individual) # Декодирование особи,
return x**2 # Возврат значения функции приспособленности
Естественный отбор (пропорциональный отбор):
def selection(population, fitness):
total_fitness = sum(fitness(individual) for individual in population)
probabilities = [fitness(individual) / total_fitness for individual in population]
return random.choices(population, probabilities)
Скрещивание и мутация (одноточечное скрещивание и инверсия бита):
def crossover(parent1, parent2):
length = len(parent1)
crossover_point = random.randint(1, length - 1)
child1 = parent1[:crossover_point] + parent2[crossover_point:]
child2 = parent2[:crossover_point] + parent1[crossover_point:]
return child1, child2
def mutation(individual, probability):
for i in range(len(individual)):
if random.random() < probability:
individual[i] = 1 - individual[i] # Инверсия бита
Приведенный выше код демонстрирует основные шаги генетического алгоритма, но он может быть дополнен дополнительными функциями, такими как элитизм (сохранение лучших особей), методы отбора и параметры конфигурации."""""""""""приведенный код является упрощенным и не является полной реализацией генетического алгоритма. Он лишь демонстрирует основные концепции и шаги алгоритма. Реальная реализация может варьироваться в зависимости от конкретной задачи и требований. 😊🧬""""""""""
Все следили за ногами на дальнем плане слева в кадре?）
😂😂 не надо за моими ногами следить.
Меня тоже раздрожает что то сделанное кем то что ограничено и подчиняется настройкам разроботчика, я хочу свою нейросеть которая будет делать ВСЕ что я прошу.
Если Маск с его Нейрлинк засунет в голову GPT модель, то представьте как быстро станет развиваться человечество... за считаные дни решатся очень много проблем и сложностей, но конечно и создадутся новые.
Скорее деградировать
На Виндовс 10 не работает. Скачалась версия и программа перезапустилась. При ее запуске она сразу выключается. В общем видно уже не работает этот сервис
Именно запускается и сразу вылетает после того как установится одна из версий офлайн чата. И кеш чистил и переставлял программу все равно не запускается
у меня тоже,не убирается окно с закачками
@@marvinheemeyer7027 окно убирается все ок. Просто когда ща пускаешь приложение оно появляется и закрывается вот и вся его работа. Не работает в общем
Тыкаю gtp4. И вопросы по кодингу не особо лучше обрабатывает чем гпт3.5
суть не в качестве ответов, а в количестве токенов и контексте. ГПТ4 лучше в этом
Та ладно, разница как небо и земля
Я бы сказал, что основное отличие в том, что модель GPT4 позволяет на вход в 4-5 раз больше токенов принимать. А это принципиально для нее, тк по незнакомым темам она вообще или ничего не генерирует или начинает фантазировать.
Надо понимать, что GPT это именно языковая модель. Исключительно хорошая модель. Но далеко не экспертная система. Чтобы она выдавала на выходе что-то отличающееся от статьи обычного журналиста, ее надо обучать экспертным знаниям в конкретных областях. А для этого, например, общедоступная GPT3 не подходит, тк принимает всего 2500 токенов информации на вход. Причем в обычном тексте плотность информации очень мала. Нужно готовить текст в специальном виде.
@@bikeonoor4006 да, но например моя работа не требует уникальной экспертности, как и работа большинства людей на планете
Максимум, что она может это сказать привет в ответ. Остальное все не внятное, вместо экономии времени, получаешь затягивание решения задачи. Т.ч. чисто поиграться.
Теперь запускай свой поисковик-аналог Google на своем ноуте
2:36 имеется ввиду API ключ? Даже если нет, то не понимаю почему создателям бы не встроить возможность вставить именно API ключ, который, после регистрации аккаунта ChatGPT, можно получить бесплатно. Я вот в VS Code использую такую же фичу БЕСПЛАТНО. (имеется ввиду не 4 платная версия, но автор упомянул версии не только версию 4, но и 3.5)
там пробный период на аккаунт дается в виде 25$.
@@hikeri-one$ даётся, а не 25, четвертая версия мне мигом их утилизирована до того, как изменили тарификацию
Только что зашёл в раздел /account/usage, перед написанием комментария. 5$ черным по белому.
@@hikeri-one Нет, для api от 3.5 я пользуюсь бесплатно
@@_v._.s._.c_ Api GPT 3.5 тоже платное. Посмотри тарификацию в документации.
Как вариант ChatAll на гхабе
ne ustanavlivaetsya na Mac do konca, prishlos udalit
Хотя использование искусственного интеллекта в сфере здравоохранения выглядит многообещающе, он также способен серьёзно навредить физическому и психическому здоровью человека» (журнал BMJ Global Health, 9 мая 2023 года). Люди не могут гарантировать, что новые технические достижения будут использоваться только во благо. Даже если у людей хорошие намерения, они не всегда могут предугадать, к каким негативным последствиям приведут их действия. И Библия объясняет почему: «Есть путь, который кажется человеку правильным, но в конце этого пути - смерть» (Притчи 14:12).
А причем здесь библия ?
охота нейросеть под себя сделай сам
У меня на i3 работает в ~x15 раз быстрее, я тут недавно дообучил LLaMA, у меня есть своя модель.
Что значит "дообучил"? Как?
@@chonme Значит обучил, но не с нуля, а уже с готовой модели. Написал для этого колаб блокнотик, если интересно могу скинуть ссылочку.
@@sovenok-hacker Да, если не сложно. Заранее спасибо!
Компьютер за огромную сумму денег стоит столько же как средний macbook pro
Тоже верно.
Запрещают нейросети неудачники у которых нет своих нейросетей
Надо объяснить на примерах с заработанными рублями или там с восстановленным здоровьем зачем нам эти прибамбасы. Проходили мы в 2000 году массовый треп-обман, и тут он снова начинается.
+
А где создал то, в ютубе? Или это популярное ключевое слово для раскрутки роликов.
Запустить то не сложно. А вот сможет ваша сетка матом ругаться?) Я вот пока не нашел решения как свою сетку тренировать.
мне кажется, или автор не просто так издателя EvE упомянул?)
кажется )
А есть нормальный Видос? Я бы хотел знать: какие есть платформы где я могу запустить нейросеть (типа Ламы). Как ее обучить под свои задачи?
Есть несколько платформ и инструментов, которые позволяют запускать и обучать нейронные сети. Вот некоторые из них:
1. TensorFlow: TensorFlow - это библиотека с открытым исходным кодом для глубокого обучения, разработанная компанией Google. Она предоставляет мощные инструменты для создания, обучения и запуска нейронных сетей на различных платформах.
2. PyTorch: PyTorch - это ещё одна популярная библиотека глубокого обучения с открытым исходным кодом. Она также предлагает широкие возможности для обучения и запуска нейронных сетей, а также простую и интуитивно понятную среду разработки.
3. Keras: Keras - это высокоуровневый интерфейс для создания и обучения нейронных сетей. Он позволяет легко создавать модели нейронных сетей и обучать их на разных платформах, включая TensorFlow и другие фреймворки глубокого обучения.
4. Microsoft Azure: Microsoft Azure предлагает облачные сервисы для разработки, обучения и развертывания нейронных сетей. Вы можете использовать их готовые инструменты и инфраструктуру для эффективного тренировки моделей и масштабируемого запуска.
5. Amazon AWS: Amazon Web Services (AWS) предоставляет множество сервисов для глубокого обучения, включая Amazon SageMaker, который упрощает обучение моделей и их масштабирование.
6. Google Cloud Platform: Google Cloud Platform (GCP) также предлагает облачные услуги для разработки и обучения нейронных сетей, такие как Google Cloud AI Platform и TPU (Tensor Processing Unit) для ускоренного выполнения глубокого обучения.
Чтобы обучить нейросеть для своих задач, вам необходимо определить архитектуру модели, выбрать подходящий набор данных для обучения, настроить параметры обучения и запустить процесс обучения, используя выбранную платформу или инструмент. Каждая платформа предоставляет подробную документацию и примеры кода, которые помогут вам начать и достичь желаемых результатов.
Не забудьте также, что обучение нейросети требует значительных вычислительных ресурсов, поэтому убедитесь, что ваш ПК или выбранная вами платформа имеет достаточно мощности для обучения модели. 🧠💻
Зачем устанавливать на ноутбук фронтент оболочку на много гигов, если можно пользоваться чатом буквально в телеграмме?
Я же сказал зачем в самом начале, чтобы то что ты боту отправляешь не уходило на серверы сторонних компаний, именно поэтому Эпл и Самсунг например запретили своим работникам использовать генеративные нейросети
@@larchanka Хорошо, но всё равно это не даёт гарантий, что после установки локально, что в коде нет скрытого функционала по отправки твоих запросов с клавиатуры) получается если человек ищет приватности, то этот способ тоже сомнительный)
затем что через апи в телеграмме урезан контекст что ваще не удобно и тем более в телеге не удобно этим пользоваться. У меня самого бот в телеге на этом апи и все равно это не удобно жесть. Я писал на Реакте себе оболочку, но все равно через АПИ контекст ограничен что плохо!
@@internetnickname8923 это опенсурс проект
@@internetnickname8923 если человек ищет приватности и не умеет рулить трафиком, то ему лучше сменить род деятельности )))
мог просто LM studio скачать, а забыл для Mac его поддержка прекращена, лол
Даже Сергей Шнуров занялся программированием, а ты до сих пор сомневаешься?
Интересно это всё, только притворный "нет войнизм" и шнуровский "похизм немного всё портит
Объясните почему запрещают пользоваться chatGpt в компаниях, это же будущее
Данные передаются третьим лицам
Потому что внутренний код компании отправляется на сервера майкрософт, что не безопасно.
Он же сказал в конце.
@@Bejfusа я только первую минуту посмотрел, ии на на ноуте для меня неинтересная тема
@@user-ry4gk1kb1h ясно. У меня тоже ноут. Погугли мой ник. Узнаешь мой интерес. 😇
Тогда не понятно как сотни миллионов пользователей пользуются чат gpt и в них не тормозит.. Какая мощность при обработке у компании ?)
Сотни миллионов не пользуются им все и одновременно. Большая часть из них - это разовые пользователи. Типа, зарегился, пару промптов ввел и все. Активных пользователей - на порядки меньше
Жаль, у железа всего 16Ггб.
На винде есть компьютер в который можно 32 или даже 64 установить. Уже даже задумался.
@@larchanka Да, как раз две линейки пустуют. А вообще комп староват. Уже лет 7 как юзаю. Ещё SSD терабайтник вылетел, так я сгоряча купил ноут HUAWEI, но в него уж ничего не засунуть.
А вообще хотел поиграться с чатом по части инъяза. Живу в Германии и сделал на UE4 речевой тренажёр, чтобы свой немецкий продвигать. Пару лет назад уже понимал, что ИИ скоро выпорхнет и начнёт на пятки нажимать. Только у меня прожка говорит настоящими немецкими голосами. Ещё не придумали таких качественных движков, чтобы заменить человеческий голос. А генерить его облаком долго и дорого.
так это не СВОЯ, это скачанная
Свою устанешь сам обучать
Ну так она моя личная, но на чужой модели :)
@@Andrew-7324 Я обучил, 3 часа училась
@@sovenok-hacker Расскажи как, плз)
llama принадлежит meta, и они сами не публиковали модель, ее слили, так что использование llama считается пиратством (речь про коммерческое использование преимущественно)
Сама модель llama открытая, официально лежит на гите, а вот обученную модель слили (веса модели) незаконно. Но уже есть много обученных с нуля моделей llama которые вполне себе открытой лицензии и можно использовать, в том числе коммерчески.
@@vovam6565 Спасибо, полезно
Хеоны очень подешевели на али экспрес, за 25 - 30 к можно купить 20 ядер 40 потоков 128 гигов, и будет тебе счастье
Тут скорее видеокарты очень нужны.
+64 гига оперативы, и LLaMA 65B полетит даже
У меня как раз 36 ядерный 2 процессорный Ксюша есть, 128 Гб памяти и карта на 24 Гб памяти. Кушает в покое 300 Вт. Похоже пробил его час, а то не использовал для программирования столько не нужно было..
@@Aziz108привет, пробовал запускать текстовые нейросети на этой машине?
@@xristalrus привет, пока не дошло дело еще, в планах... Пока думаю как миллионы заработать)
Любая маленькая модель - очень тупая. Не райтесь её быстрое. Максимум где вы с можете её использовать так это для тегких текстовых задач - не более... Сказать, посоветовать из списка чего либо и тд. Никаких деферамбов она вам не сможет создать. Для запуска по настоящему мощных моделей требуется мощное железо, которое само собой есть не у всех...
Пиратим? )
Обязательно
пхах, хороший развод, купить ключь от гпт4 что сидеть с левой программы общаясь с гпт4, смысл? я так могу сказать гпт4 написать примитивную чатпрограмму и тож пользоваться гпт4
тупо ЛАЙК за НЕТ ВОЙНЕ
да неройнкам
Чел, ну ты ж ничего толком не рассказал (
ну какая-же она твоя? тот факт, что ты ее скачал, не делает ее твоей
Миш, как ты думаешь. Ситуация такая, раньше я сам писал код, учился на ютубе, делал небольшие пет проекты, сейчас сильно обленился и все делаю через чат gpt, он сам полностью пишет весь код, я прописываю то что мне нужно, сейчас поймал себя на мысли, что я теперь не настоящий программист, учусь как раз на аналитика и машиное обучение и подобное, можешь сказать мне я правильную мысль поймал или нет
Я что-то свое тоже так пишу. Чтобы быстрее было. Но работу сам делаю.
Вообще думаю что так и должно в итоге стать. Но, как ты наверное заметил, не так просто написать сложный код даже с чатом
@@larchanka да, ошибки постоянно, приходится исправлять, но 90% делает он и от этого как то стыдно иногда становится внутри что ты говоришь другим, вот ты проект делаешь, крутая идея, все сам а по факту нифига, как-то самооценка сильно снизилась
@@Pro-tk5nw Ну, по вашей логике, разрабу должно быть стыдно, что он не в Блокноте код пишет, а, например, в WebStorm с кучей плагинов, сниппетов. Так что твоя самооценка должна быть спокойна. Главное, чтобы твой код был рабочим и не глючным. А какой инструментарий ты использовал для его генерации - это дело десятое