Создаём мозг для "змейки". Часть 2.
HTML-код
- Опубликовано: 27 авг 2018
- Создание простейшего мозга для змейки из классической игры.
В первой части было обучение змеек змеек вручную.
В этой части, обучение с помощью естественного отбора и выставление весов сети вручную.
Естественно с проведением чемпионатов.
Хотел бы сделать полноценную нейронную сеть для змейки, но пока не определился с оптимальной конфигурацией, так что, если есть идеи - пишите.
Исходники проекта(Pixilang)
yadi.sk/d/_fNxUIodLvT9Qw
Моя группа ВКонтакте electronics_nn
Выражаю благодарность тем, кто поддерживает меня финансами.
Реквизиты для финансовой поддержки можно найти в
/ foo52ru 
Наука
Теперь нужно научить змеек загонять врагов в ловушки :)
а может нейронка путем эволюции научиться загонять в ловушки?
@ZYEV а чем меньше врагов, тем больше еды, ловушки, или зажимы, самое то
Это дельное дополнение. Но пока что в коде(геноме) нет возможности анализировать не несколько ходов вперёд.
@@boriskopeykin3209 нет Гена отвечающего за это. Змейка принимает решение в последний момент, считай. Змейка не видит всего поля.
Сами научиться через 20 миллионов естественный отбором
дарвин вообще говоря был оптимизирован не под чемпионат, а под жизнь с размножением и прочим )
Всё верно. Но условия близки. Эта одна из причин, почему естественный отбор мало где можно применить на практике. Зато он завораживает. :)
Обучать боями нужно было :)
foo52ru, что значит мало где можно применить на практике ? по сути все нейронные сети и являются естественным отбором. только условие отбора меняется. всё остальное схоже - сформировать нейроны таким образом, чтобы было выбрано лучшее действие в меняющихся условиях не приводящее к провалу.
AS , вообще в видео афтор сказал, что ваш вариант - искусственный отбор, а почти свободная жизнь в клетке - естественный.
id13, разницы не вижу. есть цель, есть входные условия и есть условия провала. мне кажется, что в любом случае будет естественный отбор. можно, конечно, "искусственно" отбирать, но опять же, это получится, что мы всего лишь меняем условия отбора. так же, как это было с человеком.
Смотрю я на это шедевральное видео,
и с грустью понимаю что мы и есть эти "змейки"...
А я с гордостью. Если бы система хотела бы убить тебя, она бы убила. А это всего лишь препятствие в жизни, чтоб усовершенствовался = стал быстрее/умнее/сильнее.
у меня тоже такая мысля промелькнула. И ктото параметры выставляет, чтобы сильно не размножались, но и не вымерли совсем
С гордостью осознаю, что являюсь представителем углеводородной формы жизни на планете Земля =)
Мы можем пойти путем гуманизма, помогая друг другу, а не животной конкуренции без контроля разума.
Обожаю когда речь идет о каких-либо искусственных мозгах которые надо учить посредством эволюции, и не только эволюции. По-больше бы таких видео.
Заметил, что Адам убивался чаще, чем Дарвин. Если это за большое количество повторений не исчезает, значит выживаемость у Дарвина как-то реализована в его весах. Может он больше боится подходить к стенам, что статистически снижает запутывание? Жаль этот параметр в "небольшой статистике" не был представлен.
И поддержу идею, что Дарвин был заточен под выживание и размножение, а Адам только под обжорство.
"Адам" "был заточен" "под обжорство"
А ведь в змейке обычно в качестве еды делают яблоки. Получается, что Адам больше заточен на поедание яблок, т.е. грешить?
@FlyMaster гений конспирологии…
@@FoxSlyme но при этом Адам-змей... Змей_ка
@@FoxSlyme очень сложный культурно-мифологический концепт
@@user-qi6pv9jh7o а ведь точно
Как круто о.о
О, тришка! Я твой подписчик
Осторожно молодой человек вы играете в бога
Плз начни эволюцию с кода адама сможет ли естественный отбор усовершенствовать адама???
И Еву ему для полового отбора
он деградировал :(
Скажу по секрету, Бог поручил Адаму дать имена всем животным и определить их назначение. Как думаете мог Адам деградировать? Думаю вы деградируете. Библию надо читать а не слушать
@@user-fq3tf9uz8h во дурачьок
@@user-fq3tf9uz8h сам читай эту дрянь!
Огромное спасибо за труд !
Стиль подачи материала - огонь!
Удивительное видео! Спасибо! Физматы всегда умняшками были! :)
Ура, новое видео
Статистика классная! Интересно очень!
Отличный контент! Ждём не хуже)
Группа поддержки этих змеек - бомба! =)
Спасибо Вам, за Ваше видео, очень интересно и позновательно!
Отличное музыкальное сопровождение
Спасибо за отличное видео!
Качественно и интересно супер спасибо класс
12:43 Ну, добавление нелинейности позволяет сделать более сложную модель (линейный классификатор с любым количеством слоёв может быть "упрощён" до однослойного, а с нелинейными функциями это невозможно).Более сложная модель - не панацея. Гарантии никто не даст, что она сможет избежать самоубийства методом "сходить под себя" ^____^ Но чем сложнее модель, тем, теоретически, более сложному поведению она может обучиться. Как-то так.Скажем, если подавать на вход достаточное количество информации об окружающей среде, нейронка сможет предсказать на несколько шагов вперёд возможные ходы и их последствия... И чем больше слоёв/нейронов/входов, тем сложнее могут быть предсказания. Но, проблема в том, что обучение ест. отбором - это мееееедленно. Крайне медленно... Сейчас нейронки на практике так не обучают. Используют метод обратного распространения ошибки (градиентного спуска) и его усовершенствованные разновидности, которые быстрее сходятся. Ну а ест. отбор - это скорее удел вот таких вот исследовательско-развлекательных сред just for fun :)
ЗЫ: не пробовали тренировать амёб с помощью программы проекта amebas.ru/downloads/ ? Там используется несколько иной подход: исполнимое ДНК (executable DNA) вместо нейросети. Т.е. геном амёбы представляет собой некое подобие программы на своеобразном ассемблере. При выполнении некоторых условий срабатывают триггеры, которые вызывают на исполнение определенные участки генома, что заставляет амёбу совершать какие-то движения... А так, тоже естественный отбор с мутациями и половым размножением. Но проект, к сожалению, автором фактически заброшен. Раньше велись соревнования, была движуха на форуме, а сейчас тишина...
Спасибо, посмотрю
Это нечто совершенно новое для меня! Подпишусь на Вас!
Очень залипательно и интересно)))
Классный сериал. Смотрим Рэмбо-2.
Дарвин против Адама. победил компуктер
Опять интересно! И опять мне сложно уловить все налету. Но круто! Спасибо
Спасибо)
Буду ждать след видео и пытаться повторить что увидел
10:06 какой напряжённый бой!
(За музыку отдельный респект)
Спасибо за видео очень интересно и полезно
Как же охеренно интересно!
Ахха, я в восторге!
Нашел этот канал случайно, но очень заинтересовался. Заинтересовался так что тоже решил заняться изучением нейросетей. Что касается того можно ли считать Это нейросетью - думаю что да. Это не жесткий код, а гибкий и адаптирующийся, можно сказать самообучающийся для поставленной цели.
Благодаря этому каналу я начал немного разбираться в этой теме. Все доступно и понятно. Ну а дальше - время покажет.
Особо понравилось - подача материала и эмоциональное состояние автора. Так держать. Ждем продолжения. Даже спустя год от последней активности есть люди которым эта тема интересна. Тем более что все сводится к тому что за нейросетями будущее.
Потрясно!
Круто!!
Это гениально!
Хороший пример, иллюстрирующий, что сети это весело, но не эффективно. На обычных ифах с помощью десятка строк кода можно добиться лучших результатов, в том числе и что бы змейка себя в тупик не загоняла.
вау, ты реально нереально крут
можешь адам поставить в стимуляцию с мутациями как дарвина , но уже адама и он прокачается на макс посмотрим что получается (люди пролайкайте пост что бы он увидел этот комент, плиз)
Привет! Классные видео, очень мало такого контента в сети, делай больше) Хочу отметить что Дарвин тренировался в Мире - где оне не вырастает больше 16 и в этот момент отбрасывает хвост. А в Чемпионате он часто дох когда становился длинным, его естественный отбор к такому не готовил. Вторая мысль - попробуй запусти Адама в мир - и среди них отбери Креационисткого Дарвина)))
"Попа превращается в голову" хахахаха
Круто было бы увидеть эту программу, да и как ты программируешь
Думаю, что надо дать змейке осознание самой себя. Врезаются в основном из-за того, что голова не знает где находится тело. Сразу пропадут замкнутые спирали. Дарвиновские змейки учились выживать в других условиях и сравнивать с Адамом не совсем корректно. Пробовали выпускать адамов и дарвинов в те же условия и в том же количестве в которых обучались дарвиновские? Насколько я понял у дарвиновских слабая боязнь стенок из-за большого поля при самообучении.
Мне кажется, для змеек что другая змейка, что стена - одно и то же.
Всё верно, змейка "видит" препятствие, не разделяя их на тела или стены.
Я кайфую от этого:)
Ахренеть у Вас развлекуха!!!! Лайк )
Ну я реально ничего не понимаю, очень прикольно. Анимация огонь 🔥
Очень любопытно!!!
Спасибо
Твой алгоритм хорошо подойдет для игры в качестве врага, который видит препятствия, обходит и идет за игрокам. Да, есть поиски пути, но тут же он будет как живой, а точнее как тот, кто был его учителем)
Ой. Уже был фильм про то как, в детские игрушки по ошибке вставили военные чипы, способные к обучению. Ахах. Фантасты плохие идеи подают для реализации. Без них ученые тоже догадалась бы. У нас у всех мозги все же имеют много общего в мышлении.
Мужик ты голова!
Круть.
Вааау Обожаю змеек!
Лайк не глядя
Очень!!! Интересное видео, совершенно интересное направление, Автор ты только не оставь это
Первое правило чемпионата змеек - никому не рассказывай о чемпионате змеек, второе правило чемпионата змеек - никогда никому не рассказывай о чемпионате змеек, третье правило чемпионата змеек - в схватке участвуют только две команды... ))
Можно добавить "ощущение в пространстве" -- при равнозначном выборе направления двигаться в ту сторону, где меньший вес тела.
+ конечно просчитать хоть один ход вперед. Хотя бы такой: если в результате текущего хода следующий ход причинит смерть - то не двигаться туда ни в коем случае )
+ неплохо добавить несколько видов на дарвиновскую площадку. Например добавить Адама, но не изменять его,- чтобы Дарвин приспособился убивать Адамов ))))
Уважаемый автор, возможно, уже немного поздно комментировать, но я нашёл это видео только сейчас. То, как вы обучали самых первых змеек - это фактически современные методы обучения без учителя, которыми тренируют нейросетки для шахмат, старкрафта и прочих игр. Единственное отличие - там это делают автоматически следующим образом. Пока змейка жива, запоминаются все её ходы и все датчики, которые были активны на каждом ходу. Затем, если змейка подбирает еду, всем датчикам выдаётся "вознаграждение": их веса увеличиваются, а когда змейка умирает, датчики "наказываются" уменьшением весов. Можно хранить не все ходы, а лишь сколько-то последних, и чем дальше отстоит ход от текущего момента, тем меньше делать вознаграждение и наказание для его датчиков (например, для последнего хода +1, для предпоследнего +0.5, потом +0.25 и так далее). Таким образом, после множества циклов жизни змейки её мозг оптимизируется идти по пути с наибольшей наградой и наименьшим наказанием, то есть жить как можно дольше и есть как можно больше.
Кроме того, за смерть можно наказывать сильнее, чем награждать за яблоко. Например, награда +1, а наказание -10, тогда она будет стараться избегать смерти даже ценой потери яблока.
Можно алгоритм выхода из лабиринта прикрутить, по ближайшему пути - он простой. рекурсией. на колво шагов не меньше длины змейки, сможно даже учесть длину змейки и движение соперниц. Будет мега змейка!
Всегда появляется кто-то новый более сильный. Остановитесь, животные! Ни один "геном" вечно не протянет даже в одних и тех же природных условиях, если будет появляться новый вид. Ни один вид тогда навсегда не сможет остаться, даже мутируя или эволюционируя.
Эта конструкция - тупик. Всего не предусмотришь. Я считаю, что будет больше благополучия, если все, если не помогать, то хоть лишнее и чужое брать не будут, а еще перестанут пытаться выжить других. Если беда придет, только близкие помогут. Не надо только на себя рассчитывать. Если есть возможность помогать, то помогай. Чужого не бери ни силой, ни хитростью. В идеале все бы начали брать пример друг с друга.
А так берем пример только с плохого, с войны и всяких убийц. Если своя жизнь дорога, то уважай и жизнь других. Хотя бы не порть намеренно и не ломай, не лезь, если не просят. Но нет же. Без тормозов.
Эти IT-модели тормошат похороненные переживания.
Эволюция, тоже мне. Я против.
Мне не нравится, что я тут в какой-то моральный бред ударилась.
Пожалуйста, не пропагандируйте насилие! Это бесит!
Для меня видео было очень полезно. В плане понимания, что генетический метод не панацея и даже далеко не оптимальный вариант получения AI во многих случаях.
Было бы интересно, если бы змейки видели все поле, видели головы друг друга, обучение было бы команда на команду и мутировали бы победившие команды, ну и такую змейку запустить соревноваться с Адамом и Дарвином
Смешно) и прикольно
Я раньше и не думал, что такие штуки можно с помощью программирования сделать)
Я тоже :) чудо технологий!
был пример в англоязычном сегменте с нейросетью, там змейка достаточно эффективно научилась не заходить в тупик, сеть была 24х6х4, многослойный перцептрон. Видела в 8-и направлениях еду, стену и себя.
Ето так круто!!!!))))
Сделай на безе игры Mini Metro игру где, будет нейросеть выбирать как соединять станции что бы получить наиболее большею выгоду, она будет как нейросеть--босс, а также есть рабочие-нейросети которые будут машинистами поездов, там будет система решать на какой станции поезду задерживаться, и на сколько будет задерживаться. И также будут нейронки-пассажиры которые должны выбрать наикратчайший путь до нужный им станции, даже если придётся выбирать путь между несколькими пересадочными пунктами. Надо будет добавить систему интервала поездов, расписание которому надо придерживаться и светофоры. Пусть ещё боссу будет поступать сигнал где показывается сколько пассажиров на станции, от чего он должен выбирать поезд. На пример есть 3 проезда разных длин и стоимости. Первый поезд самый дешёвый, но и в нём меньше мест для пассажиров и в нём хуже управление... От чего нейросети-машинисту будет сложнее ориентироваться. Сделай ещё 3D-мир в котором можно будет только следить за поездами и пассажирами, там будет можно выбирать рандомный поезд и переключать на него камеру, или на пассажира. Пусть и это будет не достаток мир - что в нём можно только наблюдать, но за то можно будет проследить за нейросетью, на пример почему некоторые нейросети-пассажиры не садятся в поезд . Ответ прост - и сразу же ответов два. 1 - Это поезд заполнен. 2 - этот поезд не едет на станцию где можно пересаживаться на другую линию (на пример так в маршруте написано) и 3 или 0 - это то что сам поезд едет по другому пути который вообще ведёт в другую сторону. Думаю что остальное ты сам можешь додумать, либо в попросить меня придумать, просто дальше я уже устал писать.
Хочу предложить идею! Нужно добавить возможность поедать умерших змеек. Чтобы змейка врезавшаяся в стену, или в себя, или в тело другой змейки своей головой умирала, а ее тело оставалось на поле в качестве еды. Тогда вполне могут появиться виды в геномах. Например хищники одиночки, хищники колективисты, падальщики и просто травоядные. Но для поведения охотников нужно существенно усложнять сеть (добавить несколько слоев, реккурентность) Хотя, скорее всего, без обеспечения инвариантности восприятия окружающего пространства хороших хитрых хищников не выйдет))
Больше подобных видео
очень интересно, только я ничего не понимаю, но очень интересно!
Подписался и колокольчик поставил
музыка класс!!
Здравствуйте, а вы не могли бы сделать видео с полным разбором кода?
Чтобы бы не было проблем по поводу ЯП, предлагаю псевдокод?
Надеюсь на вашу отзывчивость :D
Наконец-то новая часть!)
я хуею
проводить турниры собственно выведенных видов "животных" на компе
достойно больше,чем заслужий пьюдипай и Т-сериис
Мне кажется, это видео немного разжигает)) Боюсь даже ставить лайк)
В таком случае смотреть также не стоило
Тут скорее оскорбление чувств атеистов. За это нет статьи, можешь смело ставить лайк ;)
Поставил, спасибо!) Мой - 348-й, если что, - вы уж берегите его)
крутоо
9:47 - так странно, что один из сиреневых запутался и напоролся на себя.
Зелёные на фоне фиолетовых кажутся более хаотичными и медленнее собирают еду.
Какие интересные раунды! Надеюсь, они останутся только в виде моделей.
Примени к Адаму естественный отбор. Видео суперкрутое.
мое видение решения проблемы самоубийства змейки: тело змейки - препятствие с разными весами, чем ближе сегмент к хвосту, тем меньше его вес, таким образом если змейка окружена самой собой с нескольких сторон, она с большей вероятностью повернет к хвосту, который к моменту гипотетического столкновения уже сдвинется
Ещё, пожалуйста
Чтобы змейка не заходила в тупик: когда змейка коснется головой препятствия, даже по диагонали, нужно чтобы змейка выпускала своего рода заливку из своей головы. То есть появляются 2-3 заливки. затем нужно повернуть в заливку с большей площадью. Заливка может совершатся не на весь уровень а скажем на квадрат со стороной 20
Можно использовать чётные дорожки - для движения в одном направлении и нечётные - для движения в противоположном направлении, таким образом будет оставаться "лазейка" для выхода в случае тупиковой ситуации.
Прикинул, нет не получается.
для избежания самостолкновения можно применять рекуррентную нс, например lstm
и сколько слоёв придётся делать ? )
@@nRADRUS правда, сколько?
Ваши видео вызывают у меня желание тоже поэкспериментировать с генетическими алгоритмами. Спасибо)
Интересно имеет ли смысл на этом этапе внедрение полового размножения для снятия генетического груза?
А так-же добавить фактор старения. Прополз 800 клеток - смерть (последние 200 клеток замедлять червя в 2 раза). Размножение только в интервале между 200 и 400 клетками проползания. Ну и не забыть поделить на самок и самцов. А заодно почему бы не добавить разнообразия и внести "гомочервей" которые будут только хавать и умирать. А под занавес заставить родительских гетеро-червей таскать корм детям-червям не достигшим 100 ходов (которые перемещаются к примеру в 3 раза медленнее половозрелых особей).
@@happer2009 Ну ты замутил, и еще влюбляться у кого приоритет, и спариваться,
@@panda_gty Согласен. Сделать цветовую дифференциацию по RGB и чем ближе положим B тем больше шансов на спаривание. :-) Ползающий бессмертный коронавирус добавлять пока не будем ?
Можно попытаться научить змейку как можно более эффективно заполнять пространство, как мы обычно и пытаемся сделать играя в нее. Например, можно использовать способ тренировки мультика, только сделать больше препятствий и указывать ей направления, в которые желательно идти чтобы не оказаться в ловушке. Ещё, чтобы змейка правильно выбирала куда ей идти, можно сделать так, чтобы змейка высчитывала количество клеток без препятствий, в которые может добраться, и с той стороны где их было бы больше, туда она бы и шла. В этом случае она тоже может ошибиться, выбрав большое ограниченное пространство вместо узкого коридора, выход из которого лежит за пределами поля зрения, но это тоже можно исправить, если учитывать доступные клетки на границе ее поля зрения. Это змейка может начать проверять, когда препятствия находятся по углам в радиусе 1 клетки, те когда змейка может сделать роковую ошибку и пойти не в ту сторону
Вот ты читер Сам создал , сам сломал)
Оценивать своё и чужое место относительно всего поля.
Создавать группы, которым присваиваются одинаковые "роли". Змейкам надо дать возможность считать много ходов вперёд и передавать информацию о запланированных ходах внутри группы. Это может привести к таким удивительным событиям, как например, организованные нападения, захват территории, контроль численности...
Чтобы не загонять себя в тупик, нужно научить змеек определять замкнутый контур и точку выхода из него.
Если голова находится в замкнутом контуре с точкой выхода, то точка выхода должна становится приоритетной целью.
Если голова находится в 1 клетке от замкнутого контура, то нужно сменить направление на клетку вне этого контура.
Если голова находится в замкнутом контур без точки выхода, то нужен дополнительный бит состояния (0 - свободен / 1 - заперт). Если 1, то приоритетной целью становится поиск точка выхода, а не еда.
Разумеется всё это проверяется только в обозримой области.
Хотябы один дарвин в любом раунде с мультиком обязательно отправлялся отдыхать
Сделай не случайную еду, а конечное количество, и умирающая змейка даёт не препятствие, а еду на некотором расстоянии. Также можно регулировать выход еды от умирающих змеек и из вне, по сезонам. Летом больше еды зимой меньше, и посмотреть как в такой ситуации сработает естественный отбор
а если Адама пустить в эволюционный процесс?
Толя Батон, он испортится, станет грешным и несовершенным.
@@user-ln5uj7wy1u ты оказался прав
@@user-ln5uj7wy1u Ахах. XD
13:19 эпичный звук умирающий змейки)))
Добавление скрытых слоев с нелинейностью позволит аппроксимировать более сложные функции, т.е. нейронка сможет научится "замечать" более сложные закономерности во входных данных. Правда, ее стоит обучить классическим методом обратного распространения ошибки (я описал примерную схему в комментарии к предыдущему видео). Но в любом случае она будет ограничена датчиками и тем, что каждое решение применяется только на основе текущей ситуации, не учитывая предыдущие. Я думаю, что стоит разделить датчик препятствия на два - датчик стены и датчик змейки. Добавить память о прошлом можно с помощью рекурентной нейронной сети (напр. LSTM).
Также можно попробовать метод, называемый обучением с подкреплением (англ. reinforcement learning). Сейчас это очень трендовый и перспективный метод. С помощью алгоритма Deep Q-learning нейронная сеть научилась играть в старые Atari-игры. Есть и более сложные методы, когда и состояние, и действия представляются не дискретным, а непрерывным множеством, но в Вашем случае, я думаю, хватит и простого Deep Q-Learning. Хороший цикл уроков на эту тему: medium.com/emergent-future/simple-reinforcement-learning-with-tensorflow-part-0-q-learning-with-tables-and-neural-networks-d1a95264329d0, перевод: habr.com/company/newprolab/blog/343834/. Тем не менее, обучение с подкреплением является весьма неустойчивым, может не сходится или требовать очень много итераций.
Что касается конкретно данной задачи, то думаю надо расширить объем памяти "мозга" - увеличить дальность видения змейки (хуже точно не будет). И возможно добавить способность различать стены и змей и себя еще отдельно. Так можно отдавать предпочтение тому яблоку где меньше народу крутится.
я делал змейку которая не врезается, и даже их может быть большое количество. Принцип рассчитать ходы на перед на столько сколько сама змейка. Если расчет расчет попадает в тупик. Расчет происходит заново. Даже если выбраться из лабиринта нужно 1000 попыток, для пк это микросекунды.
10/10
С этими турнирами, ну просто интриган! а ты не учитель часом?)
Хочу ещё!!!)) будут ли более обученный Дарвин лучше чем существующий? Если ему просто дать больше времени?
Дарвин не написал в консоль: "оО Какого хрена хвост не отваливается??"
У ютюба странные алгоритмы рекомендаций. То рекомендует идиотские видосы ранга "Режем раскаленным ножом говно" или "Укуси/лизни челлендж", то вот такую годноту. Видимо тоже боты неоптимизированы. Подписался.
круть
что то мне это напоминает реальную жизнь только в ускоренном варианте =)
Чтоб змейка не заводила себя в тупик, она должна видеть на два шага вперёд.
В какой программе это все делалось ?