Как вывод- чувак с Ютуба 1) Уже исправил ситуацию с 3 рукой которая есть у вр шлема за 800к. 2) делает стереозрение которые НЕ реализовано на коммерческих моделях вр 3) Полностью открытый код для доработок Красавчик 🎉
андроид это тот же linux можно на android поставить чистый linux для arm с дравами под устройство. Драйвера устанавливаются легко, их можно взять из android прошивки телефона
Я сейчас занимаюсь чем то схожим но по части дизайна я связал себе ремешок для вр как у apple vision и как найду резинку я распечатаю механизм затягивания.Я 3д моделирование занимаюсь 3 года и вязать умею более менее.Сам ремешок уже готов
+ [00:00:00]**Проект Vision Pro** * Пятая серия разработки AR очков * Обновления по железу и софту * Оптимизация для работы под 30 FPS + [00:02:34]**Операционные системы и код** * Переход на родную ОС бортового компьютера * Код работает как обычный Python код * Добавлена поддержка разных камер + [00:04:24]**Разработка приложений** * Сложности с созданием приложения на телефон * Использование веб-сервера на Flask * Планы по созданию базового интерфейса + [00:06:28] **Оптимизация и исправления** * Оптимизация кода и исправление ошибок * Ускорение метода наложения изображений * Планы по дальнейшей оптимизации до 30 FPS
Бро, проект очень крутой, но я думаю нужно быть прагматиком и понимать что это не уровень питона, т.к. чем больше у тебя будет натива тем быстрее всё будет работать. Как прототип на питоне это классно, но когда вы будете переходить к реальным продуктам или хотя бы к бете я бы советовал что то низкоуровневое и нативное, например c++ и c, c# сюда не относится т.к. он конечно быстрее питона но опять же таки это та же виртуальная машина как на жабе. А так желаю удачи в вашем проекте! Очень классный, буду следить и возможно в будущем стану небольшим спонсором;)
Радует, что код улучшается! По поводу смены драйверов и настройки камер советую использовать такой паттерн, как стратегия. Это позволит сильно облегчить изменения в коде
1) Для того чтобы убрать рамки в браузере можно использовать режим киоска (Kiosk Mode); 2) Для увеличения fps используя opencv лучше убрать буферизацию кадров. Таким образом и уменьшится задержка между реальными движениями и изображением в шлеме.
Тааак. Нормальные советы подъехали, однако. 1) где этот режим включается? 2) буфферизация кадров это встроенная штука cv2, или это то, когда между операциями в коде мы сохраняем картинку в переменную?
1) Можна скачать прогу с Play Market 2) Буферизация в самой либе, если хочеш убрать задержку между операциями, тогда испульзуй асинхронное програмирование. Но лутше розбить все на потоки. В пайтоне есть GIL, но можна сделать псевдо потоки через либу. И еще можна через много задачность, прога тогда разабьотся на отдельние процеси і будет исполнятса в разних ядрах проца (но ето нужно настроить)
О новая часть, кстати мне тут недавно в голову пришла одна идея прикольная. А что если сделать преобразователь голоса в реальном мире. То есть что бы ты сам смог выбрать себе голос. И даже пришел в голову механизм устройства. Голос подается в микрофон, из микрофона в нейросеть, которая преобразовывает этот голос и выводит на динамик. В качестве носителя нейросети может выступать телефон, но у меня слишком мало денег что бы этот проект в реальность воссоздать. Поэтому на будущее если этот проект тебя заинтересовал можешь попробывать сделать
Android написан на Java, по этому можно очень просто написать приложение на java, в android studio есть все инструменты чтобы получить изображение с flack
8:20 ну ребят это же не серьезно, все спецификации давно естьв интернетах а вы пальцами тыкайте, очевидно что одна это только камера для цвета и картинки, остальные используются для глубиы, видно на этих кадрах что глубина есть и картинки из глаз отличаются
@@denatle да, так и есть, но он сделан для обычных пользователей, поэтому его решили сделать более закрытым, чтоб неопытный юзер не убил устройство в первый день пользования
пишу второй раз, замени телефон на lcd матрицу, на али их куча, 2к, 4к любое разрешение. Это будет более быстрее чем передавать изображение на смартфон, так же не надо будет писать приложение
Почему не хочешь расчертить пространство по секторам програмно по квадратам сделать накладку на палец с ик диодом и взаимодействовать с этой сеткой без скана пространства?
у меня был белый gear vr и samsung s6 edge. когда подключаешь его к вр, там появляется меню окулус с браузером, разными играми и т.д. И да, там есть функция просмотра с камеры, но ар нет (как я помню)
А что если сделать VR пространство но оно будет работать только в определенных местах и когда камера заметит стены, полки и т.д. тогда она будет их показывать.
Здравствуйте, а планируете дли вы сделать программу для трансляции VR по типу RiftCat это было бы супер, так как все существующие программы тормозят... (у меня Meizu mx5)
Слушай, как тебе идея, чтобы сделать модуль для питона, который использует ускоренные функции С++? То есть код будет писаться в питоне, но он будет реально компилироваться и исполняться на С++, что ускорит код во много раз. Так как тебе идея? В ближайшем хочу такое запилить
Так, я так понимаю уже запускаете мини вставку вопрос - ответ, поэтому хочу задать свои: Есть ли у тебя какое-то образование? Мб курсы? Канал на ютубе? Книга? Интересно было бы узнать твои рекомендации, тем кто хочет заниматься подобным Есть ли проекты после этого, какие-то идеи/наработки? Ну и участвовал ли ты когда-нибудь в геймджеме?
Привет! Отвечу здесь, если ты не против. Я ещё учусь. Был на курсах 1Т. Канал - моя вторая площадка после ВК, где я уже пару лет публикую техно-статьи. Рекомендации две - не сдавайтесь и ставьте всё более глобальные цели. Проекты были, есть и будут. Просто этот взлетел. Наработок море. В геймджемах не участвовал, как и в хакатонах.
@@zernovtech но все же рентабельность проекта ну никакая. Даже если предположить что ты сделал железо хотя опять же оно реально слабое что бы тянуло трекинг то oc написать ну вряд ли сможешь. Ибо тебе нужно будет брать ядро линукса подключать framework и потом еще оптимизировать под железо. Честно не думаю что проект подойдет к стадии завершения
Конечно у пико 4 будет одна камера, самый дешевый шлем на рынке, да и вообще он не под ар. Честно, не представляю, что выйдет из вашего проекта, ведь без трекинга в пространстве вообще как-то ни о чем, цели существования данного устройства не нахожу 30 fps - просто погибель для вестибуллярки НО Следить за вашим проектом реально интересно, ведь ничего подобного ещё не видел. Желаю вам удачи в развитии проекта.
Пико действительно не для AR. Из проекта выйдет лайтовая штука за десять тысяч, которая умеет показывать разные приложеньки. Трекинг в пространстве тут и не нужен, ибо комп не потянет 3Д. 30 fps - это максимальный фреймрейт камер Pico/oculus. Спасибо за обратную связь!
@@GangstaWair Ещё раз. Python высокоуровневый и медленный C# - виртуалка C++ - низкоуровневый и быстрый В чем мимо то? Не сказал бы, что C# более низкоуровневый чем питон, но он медленнее плюсов, потому что виртуалка. А плюсы быстрые и низкоуровневые, но жестокие с памятью
а что если переложить всё кроме передачи картинки на внешний сервер в виде пк? >очки подключатся к серверу >передают картинку с камер >получают картинку с сервера итого нет лимитов по мощности, не надо использовать дополнительные компьютеры на лице, и дольше живёт повербанк
Как вывод- чувак с Ютуба
1) Уже исправил ситуацию с 3 рукой которая есть у вр шлема за 800к.
2) делает стереозрение которые НЕ реализовано на коммерческих моделях вр
3) Полностью открытый код для доработок
Красавчик 🎉
вы бы разобрались с ситуацией 3 рук... это происходит если 1 из твоих ладоней пропадает из поля зрения камер
андроид это тот же linux
можно на android поставить чистый linux для arm с дравами под устройство. Драйвера устанавливаются легко, их можно взять из android прошивки телефона
@@user-izolbuj бред
@@user-izolbuj если андроид запускается на ядре лини кастомном, это не значит что андроид это линь
@@kampot_vkusna6761тем не менее бинарник пайтона под андроид завезли
я молодец 😎 такой вклад внёс, даже непривычно слышать себя на ютубе
Сигма
@@DezerQ Я не сигма, Я 🤫🧏🏿
🌂👎
Sigma👓
Это ты подарил флешку типо?
Удачи в развитии проекта
Я сейчас занимаюсь чем то схожим но по части дизайна я связал себе ремешок для вр как у apple vision и как найду резинку я распечатаю механизм затягивания.Я 3д моделирование занимаюсь 3 года и вязать умею более менее.Сам ремешок уже готов
+ [00:00:00]**Проект Vision Pro**
* Пятая серия разработки AR очков
* Обновления по железу и софту
* Оптимизация для работы под 30 FPS
+ [00:02:34]**Операционные системы и код**
* Переход на родную ОС бортового компьютера
* Код работает как обычный Python код
* Добавлена поддержка разных камер
+ [00:04:24]**Разработка приложений**
* Сложности с созданием приложения на телефон
* Использование веб-сервера на Flask
* Планы по созданию базового интерфейса
+ [00:06:28] **Оптимизация и исправления**
* Оптимизация кода и исправление ошибок
* Ускорение метода наложения изображений
* Планы по дальнейшей оптимизации до 30 FPS
ураураураура, новое видео от самого умного блогера)
Надо 100% Юнити использовать, там это не только проще сделать, так тебе и просто безграничные возможности по красивому интерфейсу
Привет! Я тут тоже что-то похожее делаю :D
Бро, проект очень крутой, но я думаю нужно быть прагматиком и понимать что это не уровень питона, т.к. чем больше у тебя будет натива тем быстрее всё будет работать. Как прототип на питоне это классно, но когда вы будете переходить к реальным продуктам или хотя бы к бете я бы советовал что то низкоуровневое и нативное, например c++ и c, c# сюда не относится т.к. он конечно быстрее питона но опять же таки это та же виртуальная машина как на жабе. А так желаю удачи в вашем проекте! Очень классный, буду следить и возможно в будущем стану небольшим спонсором;)
Радует, что код улучшается! По поводу смены драйверов и настройки камер советую использовать такой паттерн, как стратегия. Это позволит сильно облегчить изменения в коде
Успехов в проекте!
Если любишь меня,в следующем видео скажи «здравствуйте товарищи»
Чел реально харош желаю тебе добиться успехов
Ура я этот видос ждал как никогда!
Спасибо за проект
Удачи тебе в создании! Мы верим что ты справишься:>
*созДании
@@MozIx256 спасибо, я не заметила:)
Так держать, продолжай 👍👍
Афигеть ждал сильнее чем свой др
1) Для того чтобы убрать рамки в браузере можно использовать режим киоска (Kiosk Mode);
2) Для увеличения fps используя opencv лучше убрать буферизацию кадров. Таким образом и уменьшится задержка между реальными движениями и изображением в шлеме.
Тааак. Нормальные советы подъехали, однако.
1) где этот режим включается?
2) буфферизация кадров это встроенная штука cv2, или это то, когда между операциями в коде мы сохраняем картинку в переменную?
1) Можна скачать прогу с Play Market
2) Буферизация в самой либе, если хочеш убрать задержку между операциями, тогда испульзуй асинхронное програмирование. Но лутше розбить все на потоки. В пайтоне есть GIL, но можна сделать псевдо потоки через либу. И еще можна через много задачность, прога тогда разабьотся на отдельние процеси і будет исполнятса в разних ядрах проца (но ето нужно настроить)
Очень нравится эта рубрика😅
Приятно следить за ходом истории
Чаёк, пирожок и твое видео=❤
кааайф новое видео))) кста ты очень интересный тебя приятно смотреть
О новая часть, кстати мне тут недавно в голову пришла одна идея прикольная. А что если сделать преобразователь голоса в реальном мире. То есть что бы ты сам смог выбрать себе голос. И даже пришел в голову механизм устройства. Голос подается в микрофон, из микрофона в нейросеть, которая преобразовывает этот голос и выводит на динамик. В качестве носителя нейросети может выступать телефон, но у меня слишком мало денег что бы этот проект в реальность воссоздать. Поэтому на будущее если этот проект тебя заинтересовал можешь попробывать сделать
Как всегда интересно, удачи, жду новых видео
Для более лучшего трекинда рук, можно попробовать использовать leap motion, посути дела обычная вебка, но достаточно хорошо отслеживает руки
Надеюсь скоро сделайте!
Android написан на Java, по этому можно очень просто написать приложение на java, в android studio есть все инструменты чтобы получить изображение с flack
Напиши автору😊
8:20 ну ребят это же не серьезно, все спецификации давно естьв интернетах а вы пальцами тыкайте, очевидно что одна это только камера для цвета и картинки, остальные используются для глубиы, видно на этих кадрах что глубина есть и картинки из глаз отличаются
Нам это просто не нужно)
Это выяснили случайно. Остальные там не совсем для глубины, ИК камеры.
Уже очень скоро
Ура, новая серия
Обожаю этот канал
Блин, тебе бы на 3д принтере корпус распечатать
Урааааа
5 часть❤
Вспомнил, есть же линукс для телефонов, но он дико древний. Эх, если бы его можно было как-то освежить и работать уже на нём...
Разве андроид не базируется на линуксе? Или не то?
Окей, досмотрел видос. Есть открытый андройд. С рут правами тоже не хватит?
@@denatle да, так и есть, но он сделан для обычных пользователей, поэтому его решили сделать более закрытым, чтоб неопытный юзер не убил устройство в первый день пользования
@@denatle я не в курсе, не разбираюсь. Просто вспомнил о существовании других мобильных ос
пишу второй раз, замени телефон на lcd матрицу, на али их куча, 2к, 4к любое разрешение. Это будет более быстрее чем передавать изображение на смартфон, так же не надо будет писать приложение
Если честно я не нашёл. Скинь пожалуйста ссылку. Или код какой-нибудь.
@@zernovtech 3 попытка ответить комментарии с линком удаляются. Магазин называется wisecoco
Привет!,Можеш зделать мини видео разработка приложения для ваше Vision Pro )
Вк это конечно круто, но очень хотелось бы телеграм групу, более международную площадку
Все я поставил каментарий и написал лайк
Почему не хочешь расчертить пространство по секторам програмно по квадратам сделать накладку на палец с ик диодом и взаимодействовать с этой сеткой без скана пространства?
у меня был белый gear vr и samsung s6 edge. когда подключаешь его к вр, там появляется меню окулус с браузером, разными играми и т.д. И да, там есть функция просмотра с камеры, но ар нет (как я помню)
Люди:Купить мне apple vishion pro или нет ?
Zernov:сделаю свой apple vishion pro
Современные проблемы - современные решения )
Можно было использовать 6dof систему через arcore что бы отслеживалась голова
А что на счет jni и использования нативного с++ кода на ведроиде?
привет, а сходка в екб будет?
бро, может можно как то интегрировать в софт шлема что-то на подобии lossless scalling?
Возможно странное предложение но что если использовать к в вижен про два процессора один для трекинга и один для запуска программ.
А что если сделать VR пространство но оно будет работать только в определенных местах и когда камера заметит стены, полки и т.д. тогда она будет их показывать.
А че если для трекинга использовать еще одну камеру?
Здравствуйте, а планируете дли вы сделать программу для трансляции VR по типу RiftCat это было бы супер, так как все существующие программы тормозят... (у меня Meizu mx5)
обязательно надо будет использовать этот телефон?
Советую попробовть сервис ai2 та можно замусить видиопоток с сервера ну или с браузера
1 камера с линзой 0.5 разделить на 2 глаза
Слушай, как тебе идея, чтобы сделать модуль для питона, который использует ускоренные функции С++? То есть код будет писаться в питоне, но он будет реально компилироваться и исполняться на С++, что ускорит код во много раз. Так как тебе идея? В ближайшем хочу такое запилить
Идея суперкрутая, но мне такое не удалось. Если сможешь - дай знать
Можно ещё mojo попробовать он почти как питон только со скоростью c++
Может быть покажусь глупым, Но задам вопрос в 201-ый раз: почему нельзя накатить на Samsung s8 Linux и проводить вычисления на нем
Харош, проу только не выгори
Можно перепрошить телефон на Linux
Так, я так понимаю уже запускаете мини вставку вопрос - ответ, поэтому хочу задать свои:
Есть ли у тебя какое-то образование? Мб курсы? Канал на ютубе? Книга?
Интересно было бы узнать твои рекомендации, тем кто хочет заниматься подобным
Есть ли проекты после этого, какие-то идеи/наработки?
Ну и участвовал ли ты когда-нибудь в геймджеме?
Привет!
Отвечу здесь, если ты не против.
Я ещё учусь. Был на курсах 1Т. Канал - моя вторая площадка после ВК, где я уже пару лет публикую техно-статьи.
Рекомендации две - не сдавайтесь и ставьте всё более глобальные цели.
Проекты были, есть и будут. Просто этот взлетел. Наработок море.
В геймджемах не участвовал, как и в хакатонах.
@@zernovtech спасибо за ответ 🙃
Софт по геар вр уже был от самсунг
И есть приложение cardboard для телефона и кардборда
В теории можно же собрать кастомное ядро для телефона с поддержкой дров для камер и через рут получать доступ к этим девайсам 🤔
В теории. На практике на это уйдет больше времени (значительно больше), чем на линуксовый комп)
ура круто ура
Могу помочь в написании интерфейса или даже приложения на мобилу на python
Так вот кто делает российскую игровую консоль!)
мне кажется, что пайтон не совсем тот инструмент, который необходим для таких задач
Делаем вывод. Использовать программу для монтажа в браузере, не лучшая идея. И не ожидал под конец увидеть Unity. (Слова NAMEUwU)
Уаааа видео 🙃🙂 уаааааа
Братан можешь завершать разработку meta выпустила horizon OS в общий доступ. И теперь каждый может себе такой шлем сделать 😊
HOS выпустили в доступ для партнёров и под определённое железо :)
@@zernovtech но все же рентабельность проекта ну никакая. Даже если предположить что ты сделал железо хотя опять же оно реально слабое что бы тянуло трекинг то oc написать ну вряд ли сможешь. Ибо тебе нужно будет брать ядро линукса подключать framework и потом еще оптимизировать под железо. Честно не думаю что проект подойдет к стадии завершения
@@AlbertWow Спасибо за критику.
Конечно у пико 4 будет одна камера, самый дешевый шлем на рынке, да и вообще он не под ар.
Честно, не представляю, что выйдет из вашего проекта, ведь без трекинга в пространстве вообще как-то ни о чем, цели существования данного устройства не нахожу
30 fps - просто погибель для вестибуллярки
НО
Следить за вашим проектом реально интересно, ведь ничего подобного ещё не видел. Желаю вам удачи в развитии проекта.
Пико действительно не для AR.
Из проекта выйдет лайтовая штука за десять тысяч, которая умеет показывать разные приложеньки. Трекинг в пространстве тут и не нужен, ибо комп не потянет 3Д.
30 fps - это максимальный фреймрейт камер Pico/oculus.
Спасибо за обратную связь!
Привет
Лайк
Мужик... Кто ты есть...
10/10
Хехе, может на расте переписать?
Добыть бы на раст трекинг нормальный...
@@zernovtech медиапайп имеется
@@denatle Опа... Тяжело...
Может и перепишем. А оно сильно быстрее питона?
@@zernovtech хз, но процессинг имгов и тд будет гораздо быстрее. Я потом распишу тикет в дискорде по поводу, у меня много мыслей
урррррваакаааа видео
С каких пор С# ниже по уровню чем Python, ахаха, просто ладно😂
Да, кстати, ляпнул чушь
Сишка ваще со своей виртуалкой. Наверное я имел ввиду скорость.
Или перепутал с плюсами, сам хз.
@@zernovtech плюсы самый быстрый язык, пайтон тормознутый и медленный, поэтому и тут ты мимо)
@@GangstaWair Ещё раз.
Python высокоуровневый и медленный
C# - виртуалка
C++ - низкоуровневый и быстрый
В чем мимо то?
Не сказал бы, что C# более низкоуровневый чем питон, но он медленнее плюсов, потому что виртуалка. А плюсы быстрые и низкоуровневые, но жестокие с памятью
@@zernovtech во, это я тоже имел ввиду...Думал ты адепт Пайтона и прославляешь этот язык ( таких шизиков много )
Вообще, андроид - это дистрибутив Линукса
Да! Но более закрытый, потому что линукс - открытое ядро, а андройд - операционка под управлением Google :)
Там в андроид такая прослойка Java что не совсем дистрибутив линукса(
Ясненько
та скажи пусть тебе деньги на криозаморозку скинут, в 2080 закончишь проект
а ведь ты реально гений, рано или поздно тебе стоит открыть компанию которая будет разрабатывать вр приблуды ( у тебя правда талант )
Мне кажется мало демонстраций возможностей проека 🎉
Былоб больше - показал бы больше)
Пока на коде зациклены :(
@@zernovtech так, то что не сложно реализовать но интересно смотреть. Например вместе с калькулятором реализовать сапёра
Низкое качество картинки, маленький fov, дёрганый трекинг, плохое вырезание рук, низкий фпс
Продолжать стоит?
Не защищаю эпл, но это бред, а не замена
Привет! Спасибо за критику, мы ценим это!
а что если переложить всё кроме передачи картинки на внешний сервер в виде пк?
>очки подключатся к серверу
>передают картинку с камер
>получают картинку с сервера
итого нет лимитов по мощности, не надо использовать дополнительные компьютеры на лице, и дольше живёт повербанк
Ага, и огромные задержки :D