Лучший бесплатный аналог чат GPT. Ollama - обзор, установка в виндовс, анализ фото мультимодалкой
HTML-код
- Опубликовано: 1 июн 2024
- Интерфейс, функции, возможности, как у чата GPT только бесплатно.
Ollama + Open WebUI это:
Простая установка: легко устанавливается с помощью одной команды или установочного файла.
Интуитивный интерфейс: похож на ChatGPT, обеспечивая удобство использования.
Подсветка синтаксиса кода: улучшает читаемость кода.
Полная поддержка Markdown и LaTeX: улучшает взаимодействие с помощью обогащенного форматирования.
Локальная интеграция RAG: позволяет легко взаимодействовать с документами в чате.
Возможность просмотра веб-страниц: позволяет включать веб-контент в чат.
Загрузка / удаление моделей: позволяет легко управлять моделями прямо из веб-интерфейса.
Создание файловой модели GGUF: позволяет легко создавать модели Ollama, загружая файлы GGUF.
Поддержка нескольких моделей: позволяет переключаться между различными моделями чатов.
Мультимодальная поддержка.
Конструктор файлов моделей: позволяет легко создавать файлы моделей Ollama через веб-интерфейс.
Беседы со многими моделями: позволяет взаимодействовать с несколькими моделями одновременно.
Чат для совместной работы: позволяет использовать коллективный интеллект нескольких моделей.
Интеграция с OpenAI API: позволяет легко интегрировать OpenAI-совместимое API для универсальных диалогов.
Поддержка голосового ввода: позволяет взаимодействовать с моделью с помощью голосового ввода.
Содержание:
0:00 - обзор проекта Ollama
2:17 - обзор интерфейса openWebUI
8:51 - установка Ollama сервера
10:23 - тест сервера Ollama
12:31 - установка openWebUI интерфейса (докер)
13:23 - установка openWebUI без докер
17:13 - первый запуск интерфейса
17:55 - тест микстраль 8х
23:05 - тест мультимодальной модели
28:50 - выводы
Телеграм канал: codokot
или смотри ссылку в комментариях
все ссылки на ресурсы по теме видео здесь:
shorturl.at/adIJL
а зачем это? как с оламой заработать деньги?
Контент - огонь!
Спасибо! Установил всё работает.
Привет, помоги наладить вроде всё по инструкции, но не получается.
Интересно, спасибо
интересно, мощьно, долго правда ставится, настраивается, смотрел я у вас предыдущие пару роликов...там всё попроще было, - поигрался удалил...будет время, попробую эту модель, но для неё реально нужно время и желание поставить
Хороший обзор! Сделайте обзор на речевые способности модели. И можно ли её подключить к ip-телефонии и разговаривать с ней по телефону?
Хорошее видео. А можете сделать сопоставление и обзор разных вариантов иИ в одном видео
Видео зачет. Качество болят глаза. Было бы хорошо если захват экрана был получше качества.
Ваше оптимально
Вопрос как и всегда один и тот же, как дообучить модель для каких-то своих целей? Может есть какие-то туторы или готовые проги?
За видео однозначно лайк!
Интересно
очень помогли, спасибо. Подскажите как можно изменить путь установки модели если на основном диске места нет?
Отличное видео, как раз запускал недавно. И более подробно интересно посмотреть. Но просьба. не нужно эхо в голосе но комфортно.
специально эхо не накладывал точно)
интересная нейросетка, возьмём на заметку
она ахинею несет
Отлично!. Если не сложно можете проконсультировать по вопросу: база данных из различных текстовых заметок, объём базы до 10 млн символов , чтобы потом в ней искать ответ, а запрос будет писаться обычными словами и для оптимального поиска и ответа нужно использовать ИИ. Как лучше все организовать для локального использования без интернета.
на тему RAG следующее видео
Спасибо за видео. МОжешь подробнее рассказать как работать с документами, чтобы их чтение было полноценным. Особенно интересует работа с файлами в которых есть код. И например я хочу сделать какую то копию плагина к примеру для кмс, как мне заставить нейронку в мультимодальном режиме выполнить это ? Как заставить брать документы (если их много) одним за одним и анализировать, выдавая ответ в конце с возможным результатом, а возможно готовым файлом ? Это было бы мега интересно. Общие обзоры тоже круто, но конкретные примеры будет топ контентом !
чуть позже об этом будет видео
@@codedd3280 Прекрасно! Спасибо, буду ждать )
Хороший ролик, спасибо! По возможности по-короче бы, минут на 10-15. Ролик про интерфейс, но много времени на примеры самих моделей.
Глупый вопрос, этот интерфейс работает без интернета (если модели через него не качать, а работать со скаченными)?
И хотелось бы отдельно ролик по сравнению разных моделей в разных задачах. Баловался с дельфином Q8/фи2/нексусревен/мистрали разные... как по мне, все они не то что до бесплатного gpt3.5, даже до гигачата не дотягивают ((
делал обзор по выбору модели, там есть все ресурсы, где попробовать более топовые бесплатные модели
бро, контент нормас - но в телеге у тебя нет возможность твои посты комментировать / добавь комменты
Соглашусь с вами, нет связи, на канале нет возможности комментировать, автор канала оставьте свой телеграмм или емайл.
как в open webui устанавливать другие модели с сайта huggingface? или только с ollama сайта?
Ничего не понятно,там нажал тут нажал,а что и как она умеет делать не показано.😢
Спасибо! Хотелось бы видео: с реализацией лайков, чтобы собирать датасет, а также переаод интерфейса на русский.
Также хотелось бы подробнее про РАГ, который здесь реализован.
Установка и тест SD.
да, постепенно освоим. По интерфейсу меня, если честно, всегда удивляет, что сложного пользоватся набором десятка стандартных интерфейсных терминов на английском. Они же везде, и постоянно повторяются, каждый раз считать это проблемой?
@@codedd3280 для меня лично не проблема :) думал, как идея для всех. Не сложно сделать и видео будет:)
Gemini 1.5 studio android будет ?
Есть ли хоть какой-то практический смысл у этой системы?
Вот я админ большой конторы, у меня есть определённые серверные мощности, где я могу применить эту байду?
Она может быть секретарем на Астериске, или CRM-системой, или сможет перегрузить заглючивший маршрутизатор? Может она может искать по камерам воришек?
ну как минимум писать скрипты по автоматизации массы задач
И за пивом бегать не умеет, и корабли космические построить не может чтоб собрать всех таких как вы и вывести с планеты, ну все гнилой продукт расходимся....
Я вижу ваши слова как-то так....
Если под ваши хотелки она пока что не подходит то что теперь все нужно хоронить проект? ведь прогресс он имеет зарождение развитие и т.д. у вас сразу хочу и точка да?
скрипт напишет веб версии. Правильный вопрос Выше. когда закрыт контур как можно это применить для офиса, секретарь, помощник для работников по какой то локальной базе вопрос-ответ (можно ли скормить оф доки компании не боясь что уйдет куда то) и тд, но я думаю это не к автору видео вопрос уже@@codedd3280
Жаль в гуи нельзя выбрать место, пришлось переносить из пользовательского каталога на нужный ресурс и делать жесткую ссылку, а так забивает диск С. По видео нормально все, недавно подписан - очень нравяться обзоры. Вот бы еще в ha запихать и научить разговаривать, с обучением на хозяина :-) Спасибо Вам!!!
через переменную окружения OLLAMA_MODELS=путь\до\папки. По крайней мере модели в олламе занимают больше всего места
Спасибо за интересный контент. Хотелось бы попросить вас сделать отдельный гайд под винду. Попробовал, не получилось. Веб интерфейс так и не удалось запустить...
в общем на винду и ставилось. Или из под докера не получилось? инструкцию из телеграм пробовали?
@@codedd3280 Спасибо, разобрался. Через докер не смог, пришлось через питон. Сижу изучаю !
а можно как то общаться с моделями через этот интерфейс
скачивал даже недавно обновленные модели но в них данные минимум годовалой давности. а нужные мне данные вышли в конце прошлого года. как узнать примерное время накомления данных их актуальность?
есть видос про выбор модели
@@codedd3280 спасибо, поищу
а какой конфиг нужен для шустрой работы этого всего дела? хочу домашний сервер сделать с нейросетью
Уймись! Ты же не Гений а простой обыватель.
И не требуй того, что не в сфере твоего понимания)
Картинка с воробьем .
Эта модель может подключаться к интенету ?
да, или без него
Почему не показал как она работает с кодом программирования например питоно, как пишет скрипты?
это будет отдельно, видео 30+ минут. По Олламе продолжение следует
У меня выдало такую ошибку, не подскажите кто-нибудь как пофиксить. PS C:\Users\User\Desktop\ollama-ui\open-webui\backend> pip install -r requirements.txt -U
pip : Имя "pip" не распознано как имя командлета, функции, файла сценария или выполняемой программы. Проверьте правильн
ость написания имени, а также наличие и правильность пути, после чего повторите попытку.
строка:1 знак:1
+ pip install -r requirements.txt -U
+ ~~~
+ CategoryInfo : ObjectNotFound: (pip:String) [], CommandNotFoundException
+ FullyQualifiedErrorId : CommandNotFoundException
А LM studio? Попроще а суть та же.
суть да, кому что нравится. Мне нравится, когда есть много возможностей
+
День добрый. Как можно с вами связаться по почте или ещё как. Не смог погрузить образ по не понятным причинам пишет не могу загрузить. Это происходит после загрузки образа в шеле. На этапе когда образ нужно уже загрузить на сам сервер.
см видео про выбор нейронок и телеграм - там есть про загрузку
Всё делаю согласно инструкции описанной в тг. Но увы смотрю логи и там пишет error loading model c: и путь к образу. И в логах ещё пишет failed to load dynamic library c: temp CPU_avx2 . Хотя процессор свежий и должен поддерживать данные инструкции. Прошу помощи! Почитал на сайте у многих такие проблемы возможно вы мне локально сможете подсказать где я туплю. Уже голову сломал.
В общем пройду остаток по установке а далее отпишусь
Рапортую, батник тоже не запустился. I need help 😅
В тг нет возможности написать так что буду тут писать
При первом включении проходит регистрация, но она не работает как и вход. Как решить?
возможно одна регистрация прошла, и мешает повторному входу, так как последующие требует подтверждения от админа.
какие системные требования?
Зависит от выбранной модели. про это отдельное видео
ruclips.net/video/0uXqeI_ZMhw/видео.html
@@codedd3280 спасибо
Как установить это счастье не по умолчанию ?
через докер можно в контейнере запустить, это пока максимальная степень контроля или в отдельную виртуалку
@@codedd3280 Попробовала вчера, хороший чат. Понравился. Но, к сожалению, проработал всего пол дня. После перезагрузки компьютера перестал запускаться из-за проблемы с 8080 портом. Устанавливала не через докер. Найти решения не удалось, потому что их много , а позволить себе убить пару дней на поиск не могу. В их дискорде спросила совета, но там все тихо. Попытался помочь один человек, но он плохо знает винду. Я так поняла что и разработчики так же. Так что проект интересный , но как всегда для людей которые неплохо разбираются в программировании и кого есть время возиться с этим самостоятельно исправляя ошибки. Так что поползла в LM студию )
могут быть проблемы, если запускаете скрипт повторно если он уже работает, так как он пытается открыть интефейс на том же порту, который уже используется. Попробуйте запустить '"start_windows.bat'. Как вариант переустановить, но использовать окружение conda - это поможет исключить ошибки связанные с python. Идеально конечно через докер, но докер под виндовс, это та еще история)
так вместо карты метро была по сути схема с белибердой
вот если запустить все это дело на orange pi
когда архитектуру моделей оптимизируют, будет иметь смысл
@@codedd3280 llama.cpp с llama-2-7b 3.5 токена на 16 оперативки. И это без перекомпиляции ядла для opencl ускорения.
Контент хороший но слышно тебя!
Я бы предпочёл хоть платную, но без цензуры и этики-шмэтики.
как раз таки платные все с цензурой
"В этом случае, после того как новый участник установил свое присутствие посредством совершения убийства, количество убийц в комнате станет равным 5"😅
5 убийц осталось в комнате, правильно же ?)
да, это один из вариантов
Сначала идёт длительное описание интерфейса. Зачем мне смотреть описание неизвестно чего? Только потом показано что это вообще такое и как работает. Логично же всё это местами поменять и сначала представить предмет видео? Я видел другие видео с канала, а если бы не видел - выключил бы это видео с настройками какой то непонятной ерунды.
на мой взляд название и описание видео дает необходимый минимум инфо перед нажатием просмотра
@@codedd3280Есть ключевой момент у всех видео, когда человек решает стоит ли предмет просмотра. Человека можно понять, он не может посмотреть весь Ютуб. У вас этот момент сдвинут далеко от начала. Вы его не видите, потому что для вас этот вопрос решён и вы знаете, что описываемая вещь стоит и просмотра, и того, чтобы снять о ней видео. А раз вы его не видите, то вам стоит обращать внимание на сообщения от тех, кто видит. Это называется обратная связь и ею пользуются многие блогеры.
Про необходимый минимум, это да, это вы хорошо пошутили. Я уже представил себя аи, покупающим пельмени с необходимым минимумом начинки.
Надо, наверное, добавить, что у вас хорошие видео, были бы плохие - ничего бы писать не стал.
я принял к сведению Ваш комментарий по последовательности. Спасибо!
Просто в шоке. Ради окошка чата набивать комп адским мусором, да еще с такой сложной установкой. Ты сказал, ставил на чистую систему? У меня плохие новости - теперь у тебя грязная система.
Ты о чем вообще ? Все это для разработчиков. Сама модель ставится в два клика а докер сам тебя в мусорку закинет.
Короче геморрой тот ещё по установке, как и всё у этих офисных планктонщиков.
Это спичифичный инструмент, если тебе нужен чисто чат: скачал Бинг, включить ВПН и радуешься. Локальная модель полезна для работы команд разработки, у меня в компании очень обрадовались возможности иметь нейронку без необходимости отправлять данные на чужие сервера.