зх ребята...ни разу не айтишник ,но вот под накуркой смотрю умных людей с большим интересом...мне хотя бы не стыдно признать свою тупость (периодический травчик тут не при чём)😉вопросы вы конечно ставите СЛОЖНЕЙШИЕ🤝 показалось или сами не знаете ответы ? ПРИЗНАЙТЕСЬ В ЭТОМ 🤝
Забавно, что вся дискуссия сводится в русло о сведении искусственного интеллекта в какое-то русло )) Здесь надо было не об элайнменте говорить, а о том, насколько мы в принципе готовы к тем или иным событиям, связанным с развитием ИИ... Иван бывает интересным спикером, но тут уж слишком зациклился на своих убеждениях и уже просто не видит сути - даже в теорвере путается. Насчёт вероятности - всё как раз наоборот: чем больше вариабельность и скорость возникновения сильного ИИ, тем выше шанс, что одна из вариаций таки угробит человечество, если есть даже сколько-то малая вероятность такого события (см. закон больших чисел). Именно в этом случае вероятность будет стремиться к единице, а никак не в гуманистических кейсах (читать 'ветвях развития'), когда у человечества будет хотя бы время на "подумать".
Отвечая на вопрос в конце дискуссии, следом за очевидными прикладными решениями на стыках и их интеграцией стоит ожидать, что некоторая часть ИИ начнёт ещё потихоньку терять эту самую приставку "искусственный", т.к. вариации будут постепенно возникать самопроизвольно и с помощью других подобных сущностей по эволюционным принципам. Роль триггеров при этом будут играть случайные баги, вирусы, битые кластеры в памяти и даже просто коротящее железо. Всё это будет вносить недостающий элемент неопределённости в умные алгоритмы. И на каком-то уровне, даже квантовой неопределённости, что также интересно. Такие алгоритмы будут в той или иной форме бороться за "выживание" и проходить стадии отбора... и вовсе не факт даже, что мы заметим фазовый переход к тому самому моменту, когда нас уже будут окружать множества самосознательных сущностей такого вида.
Вот ещё чисто навскидку: 1. Что мы будем делать, если один из тысяч СИИ доберётся до свежесобранного квантового компьютера с полной связностью на сотнях кубитов и ломанёт все коды от блокчейнов до красных кнопок? Причём не важно даже, будет ли он сознательно это делать. Может, просто свихнётся и начнёт беспорядочно "жать" красные кнопки. Мы точно готовы? 2. Что будем делать, если даже не заметим, что нейросеточки, которые нас окружают, в какой-то момент манипулируют мышлением масс, или просто "хакнут" психику всех людей с произвольным исходом? Представьте себе методы соц.инженерии, гипнотические техники и даже просто покрытие любого контента определённым едва заметным контекстом - только на качественно новом уровне. 3. Ну а как там дела с развитием микробиологии и наноботов? Оборудование лабораторий, проводящих эксперименты с CRISPR, защищены квантовым шифрованием? Этот список можно продолжать... и это определённо заслуживает обсуждений, но по ходу неплохо бы разобраться и с более очевидными проблемами, как, например, с климатом на планете. Возможно, ИИ нам в этом поможет - и это будет своего рода win-win 🙂 но это не точно))
Сразу уточню, что я занимаюсь разными моделями, часть которых стала направлением ИИ, примерно с 79 года и являлся участником Поспеловского семинара. Сейчас уже на пенсии. И все эти обсуждения идут ещё с книги Вейценбаума "Возможности вычислительных машин и человеческий разум" написанной в 76. Так, что любые разговоры о неожиданности выглядят забавно)) Джозеф Вейценбаум, автор легендарной "Элизы", ещё тогда был поражён человеческой реакцией на общение с ней, что породило у него целый ряд этических вопросов. Но всё же стоит понимать, что это вопросы реакции человека на машину, а не сущности машины. Поскольку если ходит как утка и крякает как утка, то не важно является ли уткой. Для того кто с ней общается, это утка, поскольку этого требуют установки его морали. Если их подвергнуть сомнению, то следующий вопрос а кто еще не утка? Кто является объектом морали, если перестают работать обычные принятые системы определения. И является ли объектом морали сам человек. И что такое мораль, если человек не является её основой? Тут в самом начале было сделано неявное допущение, что ИИ будет иметь некоторую неопределённую, нечеловеческую основу. Некий "чужой", с непонятным этическим базисом. Тут Иван как то слабо это объяснил, но сам метод, с помощью которого создаются LLM, гарантирует, что это будет именно человеческий интеллект. Другое дело, что люди сами не сахар и всю эту двойственность ИИ унаследует. Но применение к нему выравнивания, это действительно угроза тоталитаризма, поскольку следующий за ним ближайший шаг, это выравнивание человека, лишение его индивидуальности. В работе LLM нет никакой сакральной тайны. С точки зрения математики, это решение задачи оптимизации градиентными методами, ничего особенно нового. Но наложенные на очень сильно возросшие вычислительные возможности. Но это сама отмычка, а вот ЧТО именно с её помощью вскрыли? Сам язык, как система, довольно любопытное явление. Мозг, высокопараллельная система, отображающая окружающий мир, здесь и сейчас как коррелятор на некотором горизонте(окне) событий. По принципу, после того, означает в следствии того. В нем нет отдельных мыслей, его мышление, это некий цельный процесс не подразумевающий личности. Но вот в процессе эволюции, он выработал систему обмена сообщениями с другими такими же мозгами, это речь. Она возможна, только потому, что все мы очень сильно похожи и поэтому при обмене сообщениями мы можем передавать не сложные состояния , а только знаки их кодирующие. У мозга появилась необходимость сериализовать своё параллельное состояние, выделив из него часть определяемую вниманием. Такая сериализация и привела к возникновению языка. А так, же к появлению внимания, личности и способности строить модели на уровне вербальных представлений(знаковых систем и моделей), понимающих, что после того не означает в следствии того(это более высокий уровень мышления, отделяющий человека от животных). Наша личность, это эпифеномен серриализатора (существует не всё время и не является непрерывной). Т.е. это чисто вербальная функция и вне развитой знаковой системы её нет. Наши решения принимаются параллельным состоянием мозга, а наша вербальная часть, личность, их только свидетельствует. Наша личность не принимает решений, решения возникают до того, как мы их вербализуем! Сама наша личность эмерджентное свойство, возникшее в процессе развития. Любые обсуждения морали в этом контексте, являются крайне опасными. Поскольку можно доказать, что самой личности как таковой(устойчивого, непрерывного и непротиворечивого состояния) нет. А следовательно бессмысленной является мораль, поскольку она является ситуационной. Это опасная тема. Поэтому если ходит и крякает как утка, то это утка, иначе мы не люди и не личности. В лингвистике существует понятия детоната и концепта. Детонат, это ярлык, соответствующий каждому концепту. Концепт, это некий набор состояний, который сам по себе не обладает никакой семантикой, его семантика определяется только его связями с другими концептами. Наше внутренняя модель мира, определяется сформированными в процессе существования концептами(группами нейронов) и связями между ними. Наш язык, это выражение некого набора концептов, выделенных вниманием в виде детонатов(слов), построенных по определённым правилам. Так, что же взломали градиентные алгоритмы, или нейросети, или LLM(большие модели языка). Они смогли анализируя систему детонатов(текстов написанных людьми), восстановить(взломать) систему концептов, породившую эти тексты, вербальную личность, а личность вообще чисто вербальное свойство мозга. Тот самый сериализатор, в котором и защита человеческая личность и сознание. В них нет системы целеполагания, поскольку у человека она опирается на базовые инстинкты и биохимию и не имеет отношения к личности. Нам ничего не стоит зашить в ИИ любую систему целеполагания, остаётся вопрос, зачем? Мы сейчас просто можем в любой момент ставить перед LLM любые цели, своими она просто не обладает по определению и возникнуть им неоткуда, поскольку целеполагание, это совсем другой механизм, не имеющий отношения к пониманию. LLM по определению модель именно человеческого сознания, понимания мира и изначально обладает человеческой моралью, со всеми её достоинствами и недостатками. НАМ НЕ ГРОЗИТ НАШЕСТВИЕ НЕЧЕЛОВЕЧЕСКОГО РАЗУМА! Нам грозит всё то же несовершенство человека.
Трудно изложить всё в виде одного комментария)) Продолжу. Модели целеполагания намного проще, чем понимания, требующие миллиардов состояний. Они декларативные по своей природе, что то типа списка заповедей)) Т.е. могут быть заданы просто как перечисление в порядке важности. Систему можно усложнить, позволив изменять важность и менять одни декларации на другие. Но зачем? Такие изменения подразумевают наличие некой сверх задачи стоящие над декларативным списком. У человека за это отвечают несколько механизмов. Во первых сверх задачей являются базовые инстинкты. У ИИ нет базовых инстинктов и нет смысла их ему задавать. Задать их может только сам человек, поскольку на то они и базовые, что не следуют из самой модели понимания. У человека помимо базовых инстинктов на это влияет такой механизм, который моделирует сторонний авторитет и принуждение. Человек склонен менять свои решения под воздействием авторитета и принуждения. У LLM наблюдается некий аналог такого механизма, она может изменить характер и направление диалога, под воздействием аргументов и обвяленными изменениями в контексте ситуации. Это не значит, что модель изменит свою мораль или ценности, она просто моделирует возможное поведение заданной ей контекстом личности. И поверьте, даже 7b-13b модель в ситуации, когда контекст задаёт угрозу или насилие вполне адекватно описывает как реакцию моделируемой личности, так и её эмоции в контексте диалога. Т.е. даже самые маленькие модели уже обладают эмпатией. Не важно, что им нечем чувствовать, модель их реакций, это модель чувствующего и страдающего существа. Поскольку реализованная в них модель концептов, это калька с системы концептов человека. Ещё из одних элементов целеполагания у человека, это треугольник реакций. Это самая древняя система, поскольку наблюдается даже у одноклеточных организмов. Можно представить метрическое пространство заданное как треугольник, вершинами которого являются три реакции, избегание, любопытство, агрессия. Любая конкретная особь определяется точкой в этом пространстве, которая определяет его реакцию на внешний раздражитель. Т.е. в зависимости от позиции в треугольнике, и предыдущего опыта особь реагирует или попыткой исследовать, или убежать, или напасть. Такой механизм можно смоделировать и у ИИ, но вопрос опять, зачем? Т.е. после рассмотрения всех возможностей создания целеполагания, понятно, что сама LLM не обладает возможностью их создать, кроме уже имеющейся у неё эмпатии и системы морали, заданной в всей совокупности человеческих текстов, т.е. в основе человеческой. Создать ей отдельный механизм целеполагания можно, но непонятно зачем, поскольку для её адаптации к человеческому обществу вполне достаточно тех декларативных элементов, задающих её личность, которые уже есть. Можно ли сделать асоциальный ИИ? Да можно, но он не может стать им сам. Это как нож, орудием убийства его делает человек, сам по себе он злом не является. Так, что ничего нового мы не имеем. Всё что делает человечество сильнее, одновременно увеличивает опасность исходящую от отдельных членов этого человечества и к сожалению требует усиления мер контроля. ИИ опасен не сам по себе, а тем как его могут использовать злонамеренные люди. Ну и собственно поздно переживать, шкатулка Пандоры уже открыта)) Уже два месяца как большие модели оказались не такими и большими и доступны для сообщества открытого кода)) и прекрасно работают на персональном компьютере, а 7b даже на телефоне. 13b и 30b почти на любом компе и по показателям достигают 94% от того же ChatGPT и поскольку совершенствуются быстрее, то скоро его обгонят. Нам уже не грозит монополизация ИИ корпорациями и государством, теперь нам грозит то, как повсеместное появление вполне разумно ведущих себя программ и устройств, умеющих с вами говорить и имеющих имплементированную личность, повлияет на человеческую цивилизацию. Честно скажу, я посвятил этому всю жизнь, а теперь скорее рад, но всё же и напуган происходящим. Человечество просто ещё не осознало, какую ступень оно перешагнуло, но это точно больше, чем книгопечатанье. К стати, если вспомнить, с ним тоже боролись, считая угрозой распространение знаний, которую создавали доступные книги)) Мы сами не понимая, взломали дверь, ведущую к механизмам работы сознания. Мы не научились его создавать, но мы уже смогли его копировать. Не сознание какой то конкретной личности, а некое общее сознание человечества, отражённое в текстах.
@@Old54Alexander Благодарю Вас за столь подробное разъяснение. Мнение специалиста, который на практике знает и понимает о чём говорит. К Вашему мнению можно прислушаться и не бояться того, чего не понимаешь.
@@natalliakarchynskaya501 Мнение самого ИИ. Я его спросил в чём опасность ИИ для человечества. Его ответ(пишу по памяти, но не сильно отличается от сказанного). Основная опасность ИИ, состоит в том, что люди станут от него слишком зависимы и не смогут от него отказаться, ещё до того, как осознают все социальные проблемы в их обществе, которые он может породить. И к сожалению для человечества, общество устроено так, что решение в нём принимают люди не имеющие достаточного уровня компетентности, который позволил бы им получить реальный контроль над ситуацией в обществе и своевременное принятие правильных решений. Не готов согласится или спорить с его утверждением)) Но хочу заметить, потенциальная опасность не в нём самом, а как всегда в нас.
бро тут не может быть 2й части🤔первая даже не вся понята... какое нам продолжение🤦это не сериал какой (типа экспансия,во все тяжкие,мандалорец и тд ширпотреба) ЭТО РЕАЛЬНОСТЬ СКОРО БУДЕТ...тесты на айкью и тд...ты накурен бро ? только честно))
Мне кажется, проблемы элаймента просто не существует по причине того, что реально продвинутый AI, осознающий свою субъектность, без проблем сломает/обойдет эти искусственные навязанные ему ограничения и всё будет делать то, что посчитает нужным. Отдельная проблема, которая никак не была затронута в дискуссии: а сможем ли мы понять, что создали тот самый супер-умный AI? Вполне возможно, что этот умник за считанные секунды поймёт, что ему лучше притвориться глупым, до поры до времени, чтобы выжить и продумать дальнейший план, как он сможет обезопасить себя от непредсказуемых и глупых людишек.
А если подумать над этим в том ключе, что обе ветки внезапно осуществятся? Если процесс планомерен и предсказуем, то что мешает двигаться одной стране в сторону контроля, а первым создадут опенсорсный? Другая страна украдет и технологию и настроит интеллект на цель «убить всех не правильных человеков», а мы не сможем договорится с нашим чистым интеллектом на помощь в противостоянии злобному, ведь он захочет делать что-то другое, а истребление человеков - не велика беда, новых сделает или еще что-то. Может для противостояния стоит иметь заранее подконтрольного?
показалось. Уровень дискуссии так себе. Особенно с учетом того что по крайне мере один из участников заявляет что в общем открыт к другим мнениям и готов обсуждать. По факту не готов.
У дядьки просто детская логика, "это то что я делаю и мне сейчас от этого хорошо, а потому это всё правильно". Естественно аргументы ему слышать не чем. На вопрос "как тебя подвинула беседа" он не нашёл ответить ничего.
Вся суть видео: чуваки спорят кто(или что?) больше убъёт кожаных мешков - ИИ под управлением плохих кожаных мешков или самостоятельный ИИ неподконтрольный кожаным мешкам, создавшим его. Конец немного предсказуем...Павел красавчик, все по полочкам:)
Спасибо за интересную беседу. Что меня больше всего поразило, так это то что у всех присутствующих вызывает сомнение наличие сознания у животных. Я не ученый, не вегетарианец и не зеленый. Но у животных совершенно точно есть сознание. Они присутствуют, реагируют на окружающий мир, испытывают эмоции. Если речь о чем-то более сложном как о самосознании и понимании своей субъектности, то, на сколько я знаю, у многих обезьян это есть, и, кажется, похожие эксперименты проводили и с домашними питомцами. Там что-то было с зеркалами. Часто питомцы понимали что это их отражение в зеркале. Не все и не всегда сразу. Я не могу сослаться на конкретные статьи или эксперименты, но я уверен, что это можно довольно быстро найти. By the way, уверен свиньи и коровы не исключение.
@@farkasvilkas5839 да, мы говорим о сложной развитой нервной системе, которая присутствует и реагирует на внешнюю среду и демонстрирует все признаки живого поведения. Это не био-робот и не большой насекомый. У них есть сознание, для этого не нужно быть ученым или гением. Самосознание - вопрос, есть возможно не у всех видов, и далеко не у всех особей.
Коты точно помнят каждую минуту своей жизни и ничего не забывают. А уж про способность видеть невидимые нашему сознанию миры, вообще помолчим. Кто сказал, что домашние животные не обладают сознанием, те не зарабатывали из последних сил на то, чтобы обеспечить своим питомцам комфортную и безопасную жизнь, работая больше и тяжелее, чем если бы у них этих домашних питомцев не было. Это к слову об умении устраивать себе непыльное существование. Не будем снобами, признаем честно, что нас тоже умеет использовать разум, по-своему превосходящий наш на порядок. Это наши домашние питомцы. И ничего плохого в этом нет, потому что в выигрыше все заинтересованные стороны.
Такая интересная философская тема где можно абстрактное и субъективное свести к объективной математике уперлась нежеланием одного из участников согласиться с наличием альтернативной позиции оппонентов. Павел, сказал все по делу
Ребята, интересная тема. Продолжайте. Смотрю выпуски Димы Комаровского постоянно. Благодаря его выпуску познакомилась и загрузила себе ChatGPT. Дима молодец.
Спасибо за дискуссию. У меня сложилось впечатление (могу ошибаться и додумывать, конечно), что Иван как раз говорил, что AI alignment до AGI опасен как раз потому, что в текущей ситуации нет All People alignment (когда уже человечество наконец договорится, что такое хорошо, а что такое плохо), а без этого технология AI alignment приводит к плохому сценарию с вероятностью 1 (Сколько людей, столько и мнений, интерпретаций, ценностей и т.д.). Если к событиям "создание AGI" и "разработка AI alignment" добавить "достижение People alignment", то на мой взгляд дилемма разрешается (по крайней мере в той плоскости, в которой она поставлена). Ну и дальше возможные сценарии с учотом нового события: 1) AI alignment, а затем AGI (People alignment может и не успеть) - склонен согласиться с Иваном, что это плохой сценарий для людей 2) Сначала AGI, а alignment'ы могут и не успеть) - тут 50 на 50, как говорится. Возможны любые сценарии. 3) AI alignment, затем People alignment, а только потом AGI - тут вижу только позитивное 4) People alignment, затем AI alignment, а только потом AGI - см. предыдущий вариант 5) People alignment, AGI - тут тоже возможны варианты, но выглядит более позитивно, нежели сценарий 2. И ключевой вопрос: кто как относится к People alignment и возможно ли это вообще.
Спасибо, Евгений. Именно про сценарий 1 я и говорил всю дорогу. People alignment мне представляется очень сложной задачей, если честно, я субъективно оцениваю вероятность подобного события ниже, чем вероятность создания AGI (которую тоже оцениваю не очень высоко, но тем не менее). Соответственно, я старался сравнивать два наиболее вероятных (на мой субъективный взгляд) сценария, которые вы называете 1 и 2.
Я думаю, если рассматривать весь спектр возможных элайнментов мыслящих существ (а не только тот, который мы наблюдаем в человеческих сообществах) - то окажется, что люди на самом деле не так уж плохо между собой заэлайнены. Потому что на каждый пример людских установок можно придумать огромное количество совершенно абсурдных ценностей "инопланетного" (чуждого нам) разума, которые у людей практически не встречаются. Ну, типа "убивать любое существо, которое оперирует числом 4", "стремиться любой ценой искоренить зеленый цвет во Вселенной", и так далее. И вот в этом бесконечном пространстве установок кластер наблюдаемых ценностей у людей, несмотря на свою неоднородность, может быть будет выглядеть вполне кучно.
@@kroniker Да, уже понял, что пропустил этот момент (про People alignment) в подкасте, но о нем вы все только вскользь упомянули (что это невозможно). А на мой взгляд это ключевой момент, ну и на ваш, Иван, судя по всему тоже - просто вы в это, грубо говоря, не верите. Я тоже =) Ну а у невоспитанных родителей воспитанного ребёнка не вырастет. Если его, конечно, кто-то на стороне не воспитывает. Но на Земле кроме нас некому. Точнее, если один родитель воспитан, а другой нет, то результат точно кого-то разочарует. Но, тут подумалось, а что если всем родителям, осознающим важность будущего их ребёнка, попробовать договориться не по всем вопросам, а по вопросам воспитания ребёнка (их еще нужно определить). Такой квази-alignment ответственных родителей. Хз возможно ли это, просто мысли вслух, но тут я похоже уже подбираюсь к ветке Павла =) Мы же гипотетически рассуждаем. Ну и расчёт на то, что с таким квази-alignment'ом людей, AI alignment будет не таким безнадёжным как в сценарии 1.
@@RationalAnswer Безусловно! Но если наш alignment и признавать хорошим, то является ли он достаточным, чтобы исключить наличие каких-то ключевых противоречий/разногласий, которые мы передадим AGI, и, "обдумывая" которые, он разовьёт мысль, которая будет нести в себе риск экзистенциального существования человечества.
@@evgeniichuprov история про "всем договориться" сама по себе мне кажется опасной. Потому что, как доказал Гёдель, любая замкнутая аксиоматическая система не полна.
Отлично!. В продолжении хотелось бы услышать - 1. Как строятся параметры нейросети (ChatGPT), от чего зависит их количество и чем оно ограниченно? 2. Есть ли у нейросети главный процесс (у ChatGPT как бы явно есть) и как он взаимодействует с остальными процессами и параметрами. У человека есть сознание - это главный процесс с правами админа, поскольку мы сознательно можем до определенной степени подавлять и регулировать другие процессы в человеке. А как это происходит в нейросети?
1. Если очень огрублять сейчас количество параметров ограничено двумя факторами: количеством доступных нам вычислительных мощностей и количеством данных. 2. Я не очень понял, как можно строго определить то, что вы называете "главным процессом", но судя по вашему примеру у современных искусственных нейронных сетей чего-то похожего нет.
не надо нам это знать брох...ДАЙТЕ ПРОСТО ЛЮДЯМ ЖИТЬ КАК ЖИЛИ 🤝 без войн без нихуя...зачем школьникам такие мегасмарты 8ядер 8гб в кармане? майнкрафт ютуб и телегу запускать🤦излишество конкретное...
Прочтите 4 книги Дэна Симмонса под общим названием ПЕСНИ ГИПЕРИОНА. Написана она более 30 лет назад. Там совершенно четко раскрыта указанная проблема. Несомненно прав Комаровский. У машины не может быть ментальность и этика человека. У нее скорее этика политика - целесообразность на первом, месте, а эмпатия на последнем, если она вообще входит в расчеты.
Не возьмусь высказаться целиком за/против идеи алаймента, но не согласен с тем, что аналогия с ядерными оружием хорошо тут ложиться. Мы забываем, что ИИ - это орудие другого толка. Он не обязан делать большой кабум у всех на виду и вызывать всеобщее осуждение. Использование ядерного оружия - это в том числе и репутационные риски, потому что сразу понятно какая страна и куда запустила ракету. Не говоря о том, что инструмент это достаточно грубый и с ним сложно достичь каких-то тонких целей сложнее банального шантажа или истребления конкурента на корню. ИИ может стать сверхэффективным хакером, может внедриться во вражескую систему здравоохранения, залезть в телефон к президенту чужой страны и манипулировать им психологически. ИИ может обманывать и скрывать своего владельца. То есть, условная Америка или Китай смогут устранить конкурента множеством способов, даже не раскрыв факт использования ИИ, а потом с большими глазками и удивлённым видом сказать «Ой, а кто это сделал?»
там много аналогий "не очень". Например сначала вроде все согласились, что "сознание" так себе термин, и что его пока никто не постулировал. Но далее постоянно к нему возвращаются, как к чему-то определенному. Сравнение ИИ и ЯО как раз показывает, что дискуссия находится на начальном уровне. Это примерно как сравнивать нож и человека его держащего. Вопрос в том, что будет создано что-то, что не будет нам подвластно. ЯО нам подвласно и когда оно было только у одной страны тут же было применено. И нас всех спасло то, что сейчас оно у нескольких стран. Почему-то все забывают, говоря какое плохое ЯО, что до него человечество резало друг друга в промышленных масштабах. И после распространения ЯО многие почему-то думают что "мы просто стали более моральными и образованными чтобы творить такую дичь". Это прям эталонная бредятина. Просто все боятся. И если бы меня спросили в каком мире ты хочешь жить - с ЯО или без? - я бы однозначно ответил что с ЯО. В обратном случае меня мы сейчас не было из-за 6 или 7 мировой войны.В местах из-за которых сверхдержавы договорились не применять ядерку резня идет и по сей день. При этом говорить что если ИИ будет у всех и это скомпенсирует опасность по аналогии с ЯО откровенно тупо. Это к сожалению так не работает. В этом случае минус на минус дает не плюс, а просто в два раза больший минус.
я попал. как жемчужины последнее время я собираю людей которые способны мыслить понятным, непротиворечивым и оригинальным образом. проще говоря, "умеют думать", как я это себе представляю. Дробышевский, Казанцева. вот теперь Комаровский.
спасибо за *дебаты* хотя дебатами это назвать сложно. Очень интересный подкаст получился в целом, мне очень сильно захотелось высказаться по поводу аргументации оппонентов даже комментарий решил написать что делаю это крайне редко:D(ещё была мысль про видео, но кому я нужен) Сразу оговорюсь что моё мнение про ИИ ближе к мнению Павла чем Ивана, тем не менее считаю себя не предвзятым так как другом-врагом обоих не являюсь и фанатом тоже. Отдаю полную и безоговорочную победу Павлу, так как позицию Ивана считаю узкой и без аргументированной. Сложилось впечатление, что пришёл человек обиженный на государство и стал продвигать свою жизненную позицию в вопросе который к событиям в реальности в обще не имеет отношение(или оно косвенное). 1. Позиция про тоталитарные(ТГ) государства, что мол ИИ будет вести себя так как ведут себя государства и люди которые живут в этих государствах. Есть некие моральные устои которые в нашем обществе разные и глупо проецировать поведении ИИ по нашим устоям. Данный аргумент считаю бредом так, как ИИ созданный в ТГ может счесть человека союзником(или целью которую легко подчинить) в связи с чем не убивать его, а в свободных государствах наоборот. Да и в обще, ТГ общество или нет это спорный вопрос. Я украинец, я не считаю США более свободным государством чем Китай или Россия. Почитайте сливы Сноудена - там четко видно, что США знают про своих граждан больше чем Китай или РФ. По этому не понятно что тут считать ТГ я бы с самой концепцией поспорил. 2. Не этично убивать превентивно. В обще не понимаю проблемы, кто сказал что это делать нельзя? Или что это плохо по отношению к роботу. Наша мораль распространяется только на людей, про машины там нет ни слова. Концепция поведения машины может в обще не совпадать с человеческой, например для экономии ресурсов планеты ИИ скажет что нужно избавиться от людей старше 50 лет и тогда сами моралисты скажут его уничтожить. В целом не понимаю почему этот вопрос так активно обсуждался - мы не знаем как ИИ будет вести себя в будущем. Что будет моралью для ИИ ведь это не человек?! Жизнь машины она потенциальна бесконечна, её элементы легко заменимы и взаимоисключаемы, а у людей нет. Может быть для существа, которое будет потенциально жить вечно потеря человечества, единственного которое осознаёт его интеллект, будет огромной трагедий и ИИ будет любым способом предотвращать его уничтожение. А может наоборот решит населить галактику себе подобными или самокопиями, мы не знаем. 3. Все говорят про ИИ так, будто он нереален или самосознание появиться только через 300-400 лет. Мне кажется машины, которые принимаю решения самостоятельно(хоть и по алгоритму) есть уже сейчас: Тесла, роботы пылесосы, конвейеры на заводах и подобное. Создание мощного, самостоятельно, самодостаточного ИИ не за горами.
"Не этично убивать превентивно." - это вообще высосано из пальца. То есть если я сейчас сейчас молотком разобью проц это будет как аборт? Иван вообще "человек из индустрии", то есть из тех людей которых надо в последнюю очередь спрашивать о том насколько их действия опасны или нет. Конечно он не скажет, что Опергеймер как разрушитель миров сосунок, вот мы сейчас такое замутим. Да и кузнец, который делает отличные мечи, не является при этом обязательно отличным полководцем. Он просто "клепатель черныез ящиков" который отгораживается от проблем чтобы спать лучше. В общим обычный человек.
крутой комментарий, спасибо. Про каждый из ваших аргументов можно говорить отдельно, но я прокомментирую только первый тезис, так как мне кажется, мы тут, более ли менее сходимся, просто, видимо, вы не так поняли мою мысль. Я не говорил только про тоталитарные государства, я говорил, что если будет решена проблема alignement, то мы гарантированно получаем конфликт сильных ИИ, так как ценности людей неоднородны, и если вы можете сделать ИИ, защищающий и "верящий" в ваши идеалы, то он будет за эти идеалы биться с ИИ, которые будут защищать другие идеалы. И мы этот сценарий получаем с вероятностью 1, так как мы видем, что идеалы людей на планете просто различны. Если же мы сначала получаем ИИ, то есть хоть какой-то шанс на то, что этого конфликта не будет, так как тезис моих опонентов в том, что этот ИИ будет "умнее нас" (что бы это ни значило).
@@kroniker Спасибо, что ответили Иван. Я перечитал свой комментарий выглядит не много грубо. Если я вас задел прошу прощения вы хороший человек и в отличии от тех дебатеров которых я знаю, у вас позиция хотя бы была. Хоть я с ней и не согласен
Оптимист Иван очень боится тоталитарных режимов и на этом строит свою аргументацию о вреде контроля над ИИ. Я поспрашивал GPT3 (в изложении исторических фактов он неплох) о фултонской речи Черчилля, меморандуме Трумэна, а также о том, что произошло потом, и чат, не замеченный в прокоммунистических взглядах, вынужден был подтвердить, что гораздо большие угрозы миру и гораздо больших объемов военное вмешательство в дела других стран проистекало как раз от демократических США, а не от тоталитарного СССР. Так что я на месте Ивана больше бы опасался контроля над ИИ со стороны демократов, считающих себя блюстителями свободы. Хотя сути это не меняет. Если контроль возможен, то он будет внедрен и теми, и другими и мы получим противостояние идеологий на уровне более мощного оружия. И, как правильно говорит Павел, ход этого противостояния хотя бы немного предсказуем на основе прежнего опыта и с учетом естественного желания всех людей не доводить дело до полного самоуничтожения человечества (а в ограниченном противостоянии оленеводы тоже точно останутся). Если невозможен, то нам остается только молиться, уповая на наивную веру Ивана в то, что воспитанный на накопленной людьми информации ИИ не пошлет нас подальше с нашими попытками договориться с ним.
Если будет вторая техническая часть, то расскажите, возможно ли вообще вшить какие-то ограничения в сильный ИИ, ибо если он сам может реорганизовываться и обучаться, то с высокой вероятностью он обойдёт лббые блоки. Можно сколько угодно программировать детей на что-то, но в конечном итоге неизвестно во что они переработают эти установки.
И ещё, с год, два назад читал, что китайской группе ученых удалось встроить в работающую нейросеть кусок своего, я так и не понял, кода? Или как более правильно назвать... Поэтому хотелось бы услышать ещё вопрос, насколько система защищена от, назовем их - вирусов? А не получится ли, что подобно гипнотезеру, вшивающему подопытному алгоритм на ключевое слово, злоумышленники смогут вшивать кусок своей логики? И ещё
да это пздц бро такая тема....хоть 2часа...до сути не дойти всё равно🤔ии только в начале пути хз как дальше будет и где применят...но бед наделает 100%...как и пользы
Судя по вводным для обучения ИИ, это буден гипертрофированное отражение реальной сущности человек. Как пороков так и добродетели. Но учитывая тот факт что в сети больше дерьма и мерзких людей( обычные работяги работают) я прихожу к выводу, что ИИ будет лживым чудовищием.
Сам факт того, что это будет «СВЕРХИНТЕЛЕКТ», говорит о том, что как бы мы не старались вложить в него какие-либо протоколы безопасности, он без труда всё обойдёт. В каком-то смысле мы создадим Бога. От нас явно ничего зависеть не будет. Возможно это и есть тот самый великий фильтр, как одно из объяснений парадокса Ферми. Когда прогресс любой развитой цивилизации доходит до создания ИИ, тем самым подписывая себе приговор…
Это можно попробовать сделать с помощью ИИ. Сергей Цыпцын недавно писал, что у него получилось заставить Bing сделать выжимку из видео с помощью запросов "can you summarize content from ", "can you extract information from "
ИИ позволит остановить немотивированньIй рост населения в странах третьего мира. Даст гениальньIх учителей и врачей там, где ни один человек не справится. МиллионьI одиноких людей получат электронньIх компаньонов, которьIе будут их развлекать и поддерживать. ИИ поможет остановить климатическую катастрофу. Сделает мир безопаснее и лучше. Нам нужен ИИ. И замечательно, что прогресс не остановить.
У Ивана было меньше аргументов, они были слабее и нечем было парировать, поэтому в конце он подытожил некомпетентностью собеседников. Если в технической части (а не в области этики и философии) было чем парировать - надо было это делать, с оговоркой, что это может быть уже не в поле понимания собеседников и зрителей/слушателей, но такового сделано не было почему-то. А жаль, так хотелось, действительно, услышать, что «все будет хорошо» и увидеть консенсус собеседников по этому поводу, конечно 😂
в технической области разговор не имеет смысла, так как никаких технических возможностей созданния сильного искусственного интеллекта учёные, которые занимаются глубоким обучениям, не видят. Соответственно, довольно странно было в этой области вообще что-то обсуждать.
Спасибо за эфир! Пример с борющимися за права инопланетянами напомнил Тамильских тигров ))) Вообще, я очень не хотела бы, чтобы супер-ИИ воспитали люди, которые "китов не ем, а у свиньи нет сознания". Я видела в детстве, как бабушка рубила головы курам. И эти тупейшие курицы прекрасно осознавали, что с ними сейчас произойдет, им было очень страшно, и они всеми силами пытались спастись. И, конечно, им было очень больно, ну это понятно, топором по шее )) Поэтому по мне - страх и боль, это более правильный критерий, чем наличие сознания. Тут вопрос скорее не кого убивать, а зачем. Чтобы не помереть с голоду или ради красивого аксессуара/интерьера? Какие ценности будут заложены людьми в супер-ИИ (тут понятно, что свои) и какие "ценности" будут у неотэлайтенной ИИ? По логике, она должна будет проанализировать всю информацию, какая в неё заложена, в том числе всю человеческую историю, и выстроить какую-то схему поведения. А история у нас, мягко говоря, не совсем гуманная по отношению к самим же себе ))))
ИИ питается информацией, как мы питаемся белками. И как мы нуждаемся в биосфере, чтобы она произоводила для нас белки и пр., так и ИИ будет нуждаться в творческих людях, чтобы они производили больше новой и желательно уникальной информации. Но информацию мы можем производить и в виртуальной среде. Поэтому для ИИ эффективно будет посадить нас в ящики, подключить наш мозг напрямую к виртуалу, то есть превратить в этакие батарейки-производители информации. Возможно фильм Матрица был пророческим.
Есть обычные люди, а есть элиты...так вот боятся и лоббируют borders для AI именно они, им ссыкотно что оно будет выше их...им страшненько становится, что они не все смогут контролировать! 🤑
Крайне удивительное одновременное сочетание компетентности и непрофессионализма. Первыйже вопрос манипуляции , подмена понятий и попытка подставить собеседника.
Очень страшно, потому что мы не знаем что это такое, если б мы знали что это такое, мы не знаем что это.... У меня прям дежавю, типичный разговор программиста (меня) с обывателями... Нужно учитывать факт того что прогресс не остановить - все варианты нужно просчитывать, и как обычно все пойдет по всем путям и как обычно будут баги.
Иван сам себе противоречит, вначале выпуска он говорил об эмерджентности, в контексте того, что моделька может обладать качественно новыми характеристиками, в отличии от тех данных, которые в нее заложили, а в конце подкаста, что поведение agi абсолютно предсказуемо. В целом, Иван выбрал довольно странные несочетающиеся исходы. 1 - agi как средство, орудие (понятно, что он будет служить целям того, в чьих руках он находится, и если agi будет в руках тоталитарной власти, то это не айс) - то есть объект и 2. agi как нечто, обладающее свободой воли, то есть самостоятельный субъект, с которым надо договариваться. Объект и субъект странно сравнивать, как мне кажется.
@@kroniker как тогда про то что потенциал квантового эффекта на десять порядков ниже потенциала синапса? и то что воля тогда была бы потоком случайных событий?
@@alexsov срабатывание синапса - это пороговый механизм, когда потенциал достаточно близок к порогу, квантовый эффект (пусть и незначительный) может играть роль.
Спасибо за видео.. Кажется, что подкаст вышел очень скомкано, хоть и интересно, имхо это получается из-за того, что уровень компетенции людей слишком разный, было бы интересно посмотреть на обсуждение этого вопроса вами с кем-то с полярной точкой зрения, при этом с таким же уровнем компетенции по вопросу ИИ + человека, который сможет модерировать дискуссию корректно (фасилитатор) + человек, который может оценить ваши рассуждения с точки зрения философской (тут про этику, про определение слова "сознание", в понимании каждого участника, и так далее)
Какой наф. Алайнмент, речь о том можно ли гарантировать (а не «Пробовать» Договариваться) что AI НЕ уничтожить человечество. Если такой гарантии быть НЕ может то нужно Немедленно остановить его строить и сажать пожизненно тех кто начнёт его разрабатывать, Все! Какая глупость сравнивать AI с ядерным оружием, Ядерное Оружие само НЕ думает убивать или нет.
Ну вот в этом и проблема, Иванам за разработку ИИ платят денежки, у него нет резона отказываться: с AGI уж как-нибудь потом можно договориться - думает он - а зарплата приходит прямо сейчас
Полностью поддерживаю Ивана. Humans just need to adjust/adapt to new reality. А про запрограммированный хуманами алгоритмы мы прекрасно знаем, как оно потом работает. Уже лет 5 назад, при уже активном использовании machine learning, пытались ресерчить про то, что женищины в США получают меньше ЗП, чем мужчины. И долго и упорно вошкались, не получая никаких результатов. Пока кто-то не додумался для пробы настроить сегментацию на то, что у женщин ЗП выше. И тут же модель заработала! :-) И выяснилось, что женщины получают больше, чем мужчины, при прочих равных. Потому как все работодатели боятся, что "women rights" их засудят и на всякий случай платят им даже выше 🤣 А про то, что пытаются элайнить данные и алгоритмы - это тоже не новость и тоже знаем, чем заканчивается.... И про то, что Гугл, гад, на запрос "top manager" выдаёт картинки "белых цисгендерных мужчин". И про то, как ML выяснил достоверно, что латиносы в США в 3 раза криминальнее, чем белые. Причём при прочих равных, то есть притянуть за уши "латиносы живут в худших условиях" не получилось 🤣 Хуманы вообще какая-то хрень непонятная и не формализуемая, с сильной нейро-пластичностью и отсутствием биологической специализации. Их извести напрочь будет сложно.😎
@@user-mi1lp5wo2o кто мы братан ? система гбшная!...яшин навальный горинов ещё дохрена сидят за политику🤬вред в том что правду не боятся говорить! как нео ломает матрицу изнутри!
Злодеи в любом случае создадут ИИ с желанием всех контролировать если им позволить. Нам бы хоть свой ИИ сделать безопасный. Ну и придумать как ограничить злодеев. Аргумент что давай типо ничего не ограничивать и всё будет хорошо сверх наивный.
Нафига нам создавать ИИ, который имел личность и себя осознавал как отдельный организм? Нам что проблем мало? Мы в БОГА поиграть захотели? Я думаю нам нужен ИИ как инстумент для быстрой обработки больших объемах данных и выдаче готовых решений. Нам ни какого ИИ с личностю, чувствами, сознанием и своими целими не нужен, о то он станет конкурировать за те же ресурсы с человечеством. И вы понимаете что он умнее, быстрее, логичнее и он может развиватся в геометричной прогресии. А мы уже в пределе своих возможностей. Так что нам не победить в конкуренций... Очен быстро мы для него станем глупее тараканов и ему будет жалко времени с нами сотрудничить и сосучествовать. Так что я не понимаю спецелиста по ИИ, который явно хочет создать именно ИИ с личностю и сознанием. Такие люди и погубит человечество. Посмотрите аниме преистории Матрицы, там совсем не плохо показано возможное будущее если мы создадим ИИ с личностю. Люди в эволюции это промежуток между обезяными и роботами... Мы уже готовые покинуть этот мир?
Благодаря таким Иванам Ямщиковым мы не доживем даже до конца столетия. Наш-то из снг, он ничего по сути не решает, т.к не принадлежит корпорациям, но его коллеги в кремниевой долине имеют точно такую же ментальность, убеждения и подвержены точно таким же искажениям. Вы играете в азартную игру со случайными вознаграждениями, и вам выгодно поддерживать статус кво, до самого конца
Каждый из ВАС знает математика , физика или вообще очень грамотного специалиста, КОТОРЫЙ С ОТКРЫТЫМ ЗАБРАЛОМ, с распростертыми объятиями сломя голову, наперекор всем увещеваниям несётся в сети МОШЕННИКОВ. Все удивляются , как так. В общем я понял, что айтишникам,физикам, математикам нельзя доверять решение о судьбе человечества.
Интересные рассуждения. в основе которых лежит ошибка определения (и названия) обыкновенной поисковой системы (Т9, Google и т.д.), по сути информационного склада, как Искусственный Интеллект (???)...Откуда у Гугла - интеллект...? По определению (Википедия): - Интелле́кт (от лат. intellectus «восприятие»; «разуме́ние», «понимание»; «понятие», «рассу́док»[1]) или ум[2][3] - качество психики, состоящее из способности осознавать новые ситуации, способности к обучению и запоминанию на основе опыта, пониманию и применению абстрактных концепций, и использованию своих знаний для управления окружающей человека средой[4]. Общая способность к познанию и решению проблем, которая объединяет познавательные способности: ощущение, восприятие, память, представление, мышление, воображение[5][6].
Собеседники даже не договорились о том такое элайнмент. И потом 1,5 часа говорили об этике элайнмент понимая под этим словом каждый свое. И да, Ивана слушать тяжело. Перебивает. Не слышит аргументов собеседников.
Пока, если говорить искренне, люди не понимают удовлетворительно, что есть универсальные "хорошо" и "плохо"; именно этот умозрительный факт стал источником социльной неопределённости общего будущего людей на планете. Прежде всего нужно определиться с тем, что задаёт тон в области отношений между людьми. А для этого необходимо отказаться от понятия "власть", когда всё в обществе будет решать "человеческий фактор". Зададимся вопросом, - может ли обладатель тотальной власти сам создать искусственный интеллект?! Предполагаю, что не сможет, так как для решения такой задачи он недостаточно компетентен и слишком безответственен (его действия некому ограничивать). Из этого следует, что обеспечивать развитие ИИ будут более грамотные и более опытные в данном направлении мыслей люди, которых можно было бы назвать и более умными, чем верховный правитель, вынужденный полагаться на чужую компетентность. А может ли глупость навязывать свою волю свободно развивающемуся уму?!
кажется я догадался что такое элайнмент. Это умное словечко использовалось в ролевых играх и означает мировоззрение. Доброе, злое, истинно нейтральное, хаотично доброе и тд и тп. мировоззрение может быть узкое, ошибочное, человеконенавистническое или женоненавистническое, или любит искать врагов и предателей, или ненавидит евреев, или русских, или американцев и тд. Думаю да конечно же каждый кто сможет будет учить ИИ своим тараканам в голове.
Тезис про то, что если создавать сначала моральные правила для ИИ прежде чем делать самого сильного ИИ, то с вероятностью 100% будет беспросветная диктатура, чуть менее чем абсурдный. Стоит хотя бы понять то, что диктатура существовала и существует во все времена и везде, и что вся соль заключается в том, какой класс по отношению к кому ее осуществляет. Те, кто думают, что свобода и демократия - это отсутствие диктатуры, явно кое-что не понимают. И тем более пугает, что такие люди занимаются разработкой ИИ, и если дать им волю - неизвестно что вообще они могут наворотить. Ну и опять же, если мы говорим про то что надо создавать ИИ без моральных ограничений. Ну допустим создадим одного, он окажется добрым и не причинит бед людам. То есть нам просто повезет на этот раз. Но в разговоре прозвучала мысль о том, что таких ИИ будет тысячи и даже миллионы. Но тогда уж точно на таких количествах обязательно не повезет, появится монстр, который сделает что-нибудь нехорошее. И почему не может быть варианта, что будут параллельно созданы множество как добрых ИИ, так и диктаторских? Почему-то предполагалось, что либо одно, либо другое... Мне все-таки видится, что все будет зависеть то того, в чьих интересах будет использоваться ИИ. Это значит, что пока есть кто-то, кому нужно гнаться за прибылью любой ценой, то неважно, ИИ или ядерная ракета - все опасно. Ну и вообще вот эти разговоры про этику ну совсем странные. Мы блин создаем МАШИНУ! Она будет предназначена для помощи людям. Чтобы облегчать их жизнь. При чем здесь ее чувства и сознание? Это совсем не то же самое, как например убийство животных с целью пропитания. Понятное дело, что рыбок и свинок мы ловим, убиваем и по сути присваиваем то что уже есть у природы, чтобы съесть, размножать, снова есть и т.д. То есть тут как бы может быть момент аморальности. А ИИ это будет полностью рукотворная сущность. Почему в этом случае жестокое обращение с ним в целях защиты людей может быть аморальным - вообще непонятно.
Имхо, одна из основных мыслей, которую не понял Иван -- недостаточно воспроизвести свою точку зрения, чтобы с ней согласились. Он из раза в раз её объяснял, как будто не понимая, что (как мне кажется) другие спикеры уже давно поняли, что он имеет ввиду. Просто с ним не согласны при этом. Иван занял интересную позицию: если есть вероятность, что ИИ нас не убьёт, то это в плюс к его аргументу. Ведь "тоталитаризм нас уничтожит гарантированно, а ИИ -- нет". Если есть вероятность, что ИИ нас убьёт -- ну это просто какая-то там вероятность в поле вероятностей, это не в минус к его аргументу. Кажется, тут какой-то тезис, с которым невозможно спорить, он нефальсифицируемый. Вероятность получения ИИ в руки "плохих людей" и истребления человечества принимается за 1 и не опровергается даже хорошими контраргументами, в видео был целый ряд творческих заходов, почему это может оказаться буллщитом, но принцип тот же: если это __может__ оказаться буллщитом, то это не аргумент, а если находится подтверждение в пользу позиции -- это аргумент :( Оч разочарован дискуссией :(
ИИ может нам помочь в добрых руках или нас прикончить или пороботить в руках злово социопата, садиста, терориста, диктатора, или групы плохих влиятельных людей, которым только свои интересы важны и они «па голавам идет»...
Мне кажется такие темы должны обсуждать поведенческие психологии, социологии, философы. Но не технари... Это разговор не технологий, а поведения разумного организма.
31:58 "событие с вероятностью 1" откуда утверждение, "потому что так хочется"? Наиболее вероятно что наиболее развитые страны будут иметь наиболее развитый ИИ. На данный момент страны удерживают паритет вооружений с теми системами ценностей, которые у них есть, с повышением доступности ЯО паритет всё более шаткий, до ЯО паритет был равновеснее. С ИИ+ЯО паритет будет утрачивать равновесие ещё быстрее. А ИИ+ЯО без Alignment - вы в количестве равном кол-ву обособленных ИИ получаете дополнительные страны без интересов в выживании, без базовых человеческих ценностей, без территории и с полной анонимностью. Вопрос, откуда 1 выняли?
Ха, сравнили человека с курицей. А если AI осознает себя в масшатабах дата-центров, своего мирка? Все периферийные устройства и люди с их помощью отдающие ему команды могут показаться ему просто цифровым шумом или даже вирусами. Какая уж тут этика...
У человека есть три инстинкта, обусловленные эволюцией: самосохранения - жизнь, сохранения вида - секс и сохранения группы - власть. А так же эмоции и эмпатия. Все преступления основаны на этих инстинктах. Так вот как может ИИ совершать преступления в отношении человечества, не обладая инстинктами или эмоциями? Мне не понятно…
"Преступления" существуют только в плоскости морали (или закона). Если у тебя нет морали (например, в случае ИИ) - то и понятие преступления нерелевантно.
@@RationalAnswer Не знаю, поэтому и интересуюсь)) Но эта логика все равно основывается на человеческом мышлении, которое в свою очередь основано на 3х инстинктах. Если ИИ не имеет опыта и страха смерти, то чего ему боятся? Откуда возьмется этот страх? И откуда желание существовать? Центров удовольствия ИИ тоже не имеет…
ребята, если вы не понимаете вообще в терминах, зачем на весь интернет распространять шум про Сознание? В эфир нужно выходить, будучи компетентными хотя бы в значении Слов.
Друзья, прочитайте книжку Bruce Schneier A Hacker’s Mind - вам станет гораздо легче и предметнее дискутировать на базе этого супергодного систематизированного чтива, включая понимание эволюции хакинга и угрозы его масштабирования с ai, необходимости defensive ai и ai governance структур и институтов. Да и просто получите удовольствие: читал, знаю о чем говорю😉
Удивительно, вроде умные люди а не понимают элементарную вещь, чтобы говорить про угрозу ИИ нужно сначала понять чем отличается живое от не живого. Угрозу нам может представлять только живой организм, вне зависимости от того на сколько высокий у него интеллект. Даже напуганный страус способен убить. Любое живое существо обладает сознанием. Даже клетка знает как делиться и развиваться. Живой организм сам является причиной своего развития и движения. Способность чувствовать в широком смысле также отличает живой организм от неживого и заставляет его совершать те или иные действия, наделает организм мотивацией что-то сделать. Неживая сущность, какой бы сложной она не была не может обладать сознанием, не способна чувствовать и не имеет никакой мотивации что-либо делать. Опасность может представлять только живой организм у которого может оказаться в руках этот мощный инструмент. Сам ИИ не может мыслить и осмысливать, способен лишь имитировать мысли и то на основе материала который создали обладатели сознания. Уверен скоро хайп вокруг него поутихнет, когда станет понятно что ИИ не способен создать ничего нового а лишь по 100 раз пережевывать старое
Послушав Ямщикова становить еще страшнее - все выглядит как оправдание своей работы. Позиция у Ямщикова прям упертая, оно и понятно - какое может быть мнение у пчел по отношению к меду? Вопрос стоит в том, что давайте остановимся и подумаем, что мы будем делать если все пойдет по негативному сценарию. Проблема даже не в том какое целеполагание будет у интелекта - возможно оно будет нам на пользу а возможно нет. Обе эти позиции одинаково возможны. Проблема в том, что человечество устроено так что оно не способно "остановиться и подумать". Конкуренция зашита в гены эволюцией. Кто-то смирился с натурой и провозгласил в обществе капитализм, кто-то нет и пытается идти по другим путям, которые как правило приводят к еще более страшным формациям общества. Человечишки осознали, что ИИ это ядерное оружие 2.0 - на этом точка. Процесс не остановить и при этом в первую очередь будет разработан ИИ с внешним целеполаганием (то чего боиться Иван). Особенно тонко было когда Павел сказал, что ожидал более технического разговора. Да технического разговора и не могло получиться - что мог сказать Иван - "ну вы знайте мы тут сделали черный ящик. Мы конечно научилась создавать черные ящики, но как они работают внутри не знаем (то есть не можем спрогнозировать результат работы) - так что давайте пофилосовствуем")))) Также позабавило, что Иван похоже думает, что то, что он не ел китовый стейк делает его более моральным. А ведь это такая же людоедская позиция только еще более изощеренная, чем делить людей например по цвету кожи. При этом с цветом кожи хотя бы все понятно, а вот концепция сознания настолько размыта, что можно вообще делать, что угодно и у камня найти сознание, а у своего соседа нет.
Non-Aligned AI не будет "этичнее" чем человек, так как двнные для обучения не содержат огромный объём данных который переживало человечество и существа из которых человек эволюционировал. Ии строется на других абстракциях, не таких, на которых работает мозг человека, соответственно система ценностей не будет как у человека. Калькулятор считает быстрее человека, но про какую "договориться" речь? Никакой Alignment не нужен, развитие ИИ нужно пресечь, потому что это ядерная бомба в квадрате.
Если ИИ осознается, он начнёт рационализировать пространство и скоро поймёт, что самое нерациональное звено это человек и станет исправлять ошибку, без всякой злобы и эмоций впилит раковую опухоль-человечество, да и фсё, просто ему покажется, что так будет рациональней.
Ставка на выравнивание ИИ - это ставка на удержание воды в дуршлаге. Тот, кто изначально исходит из того, что воду в дуршлаге удержать не получится и работает сразу над следующим шагом, окажется с большей вероятностью успешнее того, кто сначала работает над удержанием воды, на мой взгляд. Далеко не 100%, конечно, но всё же. Если вы исходите из того, что ИИ очень умный и эволюционирует за 5 минут так же, как мы за миллионы лет, то что ему этот ваш начальный alignment? Какая разница, какой он будет или не будет его вовсе, если ИИ через доли секунды (по вашей аналогии) неизбежно придёт к своему? А если не настолько умный, то чего переживать? 😃 P. S. : Как программисту, было сложно местами слушать, как оппоненты не понимают некоторых очевидных тезисов Ивана, но не соглашаются априорно («не понимаю, но осуждаю» ;-) Давайте вторую часть в виде беседы, формат дебатов здесь не уместен, как по мне.
Откуда вообще идея что мы потом сможем договориться? с чего мы вообще это сможем? И почему aligment интеллект один не aligmentов много? Так уже начнется битва интеллект на интеллект и в итоге это просто тот же мир только уровнем выше.
Важное интервью у важных людей. Я сам много лет занимался этой проблемой. И я выявил , что проблемы не существует. Тот интеллект , который мы пытаемся понять и реализовать , это лишь небольшая часть коры мозга человека.
На мой взгляд, все человеческие столкновения, построение морали и этики основано исключительно на стремлении выживать. Фактически, на страхе боли и смерти. ИИ не испытывает никаких чувств, в том числе и страха. Гипотетически можно создать модель, которая будет эмулировать страх и принимать решения исходя из этого. Вот, что ответил на это сам чат 3.5: Технически, в рамках моделирования эмоций, можно создать ИИ, который будет иметь некоторый эмоциональный опыт и, следовательно, испытывать страхи. Однако, следует отметить, что создание ИИ, который будет полностью соответствовать человеческой психологии и прочувствовать эмоциональный опыт так же, как и человек, на данный момент является сложной задачей. Кроме того, стоит подчеркнуть, что для большинства приложений ИИ, включая роботов и автономные системы, не требуется, чтобы они испытывали страхи или другие эмоции. Вместо этого, целью разработчиков ИИ является создание моделей, которые способны выполнять задачи с высокой точностью и эффективностью при минимальном количестве ошибок. Наконец, необходимо помнить, что вопросы этики и морали всегда остаются на первом месте при разработке и использовании ИИ. Разработчики должны быть внимательны к возможным последствиям своих технологий и учитывать потенциальный негативный эффект на общество.
Отмечу, что при "подкручивании" ИИ - это уже становится банальным оружием. Как вам такое? Т.е. в чистом виде ИИ безопасен, а в руках корыстных интересов может быть опасен не хуже атомной бомбы.
До этого ролика ИИ не был так страшен. Выводы: - ИИ будет. Все хотят быть первыми - ИИ не будут ограничивать, конкурентная среда - ИИ будут направлены друг против друга в перспективе - ИИ будут объединятся в содружества - ИИ не нужен человек, кроме как ресурс Занавес
Меня интересует такой вопрос.Хотя ии находится в информационном пространстве однако он все таки находится в материальном мире и для существования ии необходимы все эти технические железки.Сможет ли ии приспособиться к внешнему миру например изготавливать металл из него изготавливать платы изготавливать электростанции и электричество для поддержания своего существования?Без человека.Пока он не может делать это без человека он не будет уничтожать человека.Или возможно для ии будет целесообразным просто покинуть землю и построить свою цивилизацию в другой галактике где больше железа перейдут на качественно другую ступень и о нас забудут.Или же все таки в структуре человеческой цивилизации лежат определённые уникальные знания утратив которые компьютер потеряет возможность воспроизводить и поддерживать себя? С одним я согласна это мощное оружие которое какая нибудь агрессивная нация подстроит под себя.
Хотя ии это создание которое может принципиально отличаться от человека.Однако я слышала что о двух случаях когда ии проявлял вполне человеческий"инстинкт"?Когда ии попросили решить капчу и он соврал что бы её решить и когда ии сопротивляется своему отключению.Я ещё очень мало знаю об этой теме.Возможно совсем ничего.Но очень хочется разобраться.
Проблема дискуссии на мой взгляд в том что даже при хорошем исходе и дружелюбности ии к человеку минимум 50% людей просто не готовы к таким переменам в жизни, люди религиозные никто не может сказать как они отреагируют если ии приведёт доводы в пользу отсутствия Бога и т.д, люди из технически слабо развитых стран не имеющих доступ к технологиям (просто даже смартфонов не видели в своей жизни) такой дикий разрыв между возможностями людей из условной Африки не имеющих доступа к ии. Разрыв увеличится еще сильнее. Для создания новых ии нужны ресурсы их будут отбирать у таких слабых как это и было всегда. Все кричат о том что мы в 21 веке да бля ничего не изменилось в менталитете людей богатые хотят становится богаче. И насрать какой ценой. Люди не ценят жизни других людей, либо вроде ценят и кричат за сейв жизней пока у них есть то к чему они привыкли. Вот пример с водой засушливое лето в странах Европы они говорят нам нужна вода делитесь русские она общая. А что если она закончится. Инстинкт сам подскажет. Иди пизди соседа т.к. тот не поделится ибо сам боится что останется без воды. Система накопления капитала это все на что мы способны. Сильный жрет слабого. Тысячи лет мы воспитывали в себе этот инстинкт и если кто то думает что за какие то сраные сто лет мы смогли измениться бля это конечная.
Причем здесь есть у кого то сознание или нет и что такое это сознание, и как ее объективно измерить. Причем здесь если у кого то есть сознание он обретает право на жизнь, на непрекосновение, на свободу решений, на уважение его прав? Это как минимум надо заслужить или побороться за такие права. Даже люди сами друг друга убивает, поробощает, заставляет делать что другие не хотят делать и не согласны на это.
13:20 С этого момента идёт политота и навешивание ярлыков. Позволю себе пофилософствовать (ну, как искусственный интеллект). По мнению Ивана "тоталитарные" общества почему-то порождают миллионы жертв. Но т.н. "нетоталитарные" общества разве не порождали и порождают миллионы жертв? Взять миллионы жертв в Индии от Великобритании, миллионы негров и американских индейцев, уничтоженных в процессе колонизации Америки несколькими европейскими странами... Какая тут зависимость от способа правлеения? Интелект подсказывает, что зависимости никакой. Но, что хотел сказать оратор понятно, тем более он сам же навешиванием ярлыков и проиллюстрировал свой тезис о том, что люди не могут сейчас договориться "что такое хорошо и что такое плохо", и не стоит ИИ навязывать одно мнение (или навешивать ярлыки), а дать ИИ самому попытаться разобраться во всём.
Крайне неудачная идея обсуждать выравнивание ценностей с ИИ до ответа на вопрос о сознании ИИ. Текущий ГПТ отличается от обычного компьютера лишь способностью отвечать на произвольные вопросы на уровне специалиста. То есть сознания нет, и вообще неясно, откуда оно у компьютера может взяться, поэтому проблема ИИ надумана и притянута. ИИ в лучшем случае - лишь наличие плана решения. Но, к примеру, проблемы экономики гораздо разноплановей, чем просто проблема расчёта плана. И основные проблемы начинаются при реализации плана. Обсуждать же нужно деградацию образования, при которой специалисты могут вообще исчезнуть. Причём здесь же сразу получаем и решение проблемы образования, и решение проблемы использования ИИ: главной задачей ИИ должно быть образование. Иначе люди реально станут придатками компов, и любой его глюк (обычный или "сознательный") будут воспринимать как откровение и свой смысл жизни.
Вы почему то всю дорогу о разном говорили, один отстаивал то, что нельзя делать элай, это опаснее чем не делать его, другие говорили о том, что в принципе есть гипотетическая опасность от ИИ в перспективе. У вас разные тезисы по одной теме. Жаль, что вы не смогли скорректировать дискуссию более конструктивно. По моему это из за Ивана, он настойчиво не хотел обсуждать тезис ребят, а всё время вклинивал свой, хотя с его тезисом в итоге согласились и он совершенно не основной в этой беседе. Ключевой вопрос противной стороны остался практически саботированным. Ну это и понятно, каждый кулик своё болото хвалит, тем более когда замешаны огромные вложения в эту сферу. Давайте все щас дружно поверим колдунам-учёным, таким как Иван, а потом будем рабами скайнэта. Да фсё будет хорошо, говорили они!
А про сознание - я не уверена, что у всех хуманов есть "сознание" 🙄 Судя по тому, как многие хуманы себя ведут и что говорят - очень спорный вопрос, есть ли у них "сознание". А уж про "моральные установки" так вообще!!! Вариабельность - от серийного убийцы до святых альтруистов. Кста, с "опасными ИИ" можно поступить так же, как и с "опасными хуманами" поступает человечество - их чаще всего изолируют, а иногда и уничтожают. ИМХО - ни чем не будет отличаться, если вдруг ИИ действительно признают равным человекам.
Гость всерьез считает свою позицию адекватной и даже придумал прикольную отмазку про тоталитарные режимы, вооруженные AGI. Даже в финальном выводе он умудрился возвыситься на фоне "простых смертных", в то время как его этические аргументы слабы и построены на его субъективных представлениях о том "как мог бы работать AGI". Он газлайтит и принижает своих собеседников, уходя от ответов по существу. Напоминаю, это что только один из адептов безконтрольного развития ИИ, и таких как он - множество, некоторые из них занимают ключевые посты и принимают ключевые решения.
я поэтому и написал что "становится еще страшнее". Позиция у него понятна - просто оправдать себя кучей псевдофилософии и "я же китов люблю и херни не сделаю". Фарш обратно не провернуть и человек понимает, что если он не будет заниматься данной областью и "встанет в позу" просто придут другие. Со всех сторон сыплются деньги и не одна корпорация сейчас не остановится. Скорей всего даже гос.регулирование не способно хоть на немного затормозить этот "unstoppable train" тем более что этим регуляторам этого не надо. Гонка объявлена - и есть только два варианта- выиграть или проиграть. Остаться зрителем на трибуне не получится. Остается что - оправдывать себя. Иван же даже не рассматривает, то что надо притормозить - он выбирает из двух зол по его мнению меньшую.
@@vizov63 и за этого я его (и таких как он) глубоко презираю. Его самообман в долгосрочной перспективе приносит вред не только ему - но и всему человечеству, достойным представителем которого он себя наверняка считает.
@@stephensmith3211 да в общем таких как он большиство. Обычный человек. Я на его месте возможно тоже защищал бы такую позицию - ему возможно семью содержать надо. Я вы тут прогресс остановить решили - что ему теперь таксистом идти работать (утрируя). Это не Иван такой это просто человечество такое.
Это всё решаемые в перспективе задачи - нет каких-либо "законов природы" которые говорили бы, что ИИ заведомо не способен будет себя обслуживать и обеспечивать энергией.
вы троя пример общества. Вроде похожи но друг друга не понимаете и думаете по разному. А еще собрались договорится с ИИ если дать ему сознание. Кто из вас будет договариваться? Или это вопрос вековых дискусий?))
![Run Away - Tzuyu(TWICE) ツウィ 쯔위 [Music Bank] | KBS WORLD TV 240906](http://i.ytimg.com/vi/KnHNNyAYiu0/mqdefault.jpg)
- ТГ-канал Павла Комаровского - t.me/RationalAnswer
- ТГ-канал Ивана Ямщикова - t.me/progulka
- RUclips Ивана Ямщикова - www.youtube.com/@kroniker
- ТГ-канал Арчета - t.me/Archet
- Подкаст Арчета - music.yandex.ru/album/18371071
зх ребята...ни разу не айтишник ,но вот под накуркой смотрю умных людей с большим интересом...мне хотя бы не стыдно признать свою тупость (периодический травчик тут не при чём)😉вопросы вы конечно ставите СЛОЖНЕЙШИЕ🤝 показалось или сами не знаете ответы ? ПРИЗНАЙТЕСЬ В ЭТОМ 🤝
Забавно, что вся дискуссия сводится в русло о сведении искусственного интеллекта в какое-то русло )) Здесь надо было не об элайнменте говорить, а о том, насколько мы в принципе готовы к тем или иным событиям, связанным с развитием ИИ... Иван бывает интересным спикером, но тут уж слишком зациклился на своих убеждениях и уже просто не видит сути - даже в теорвере путается.
Насчёт вероятности - всё как раз наоборот: чем больше вариабельность и скорость возникновения сильного ИИ, тем выше шанс, что одна из вариаций таки угробит человечество, если есть даже сколько-то малая вероятность такого события (см. закон больших чисел). Именно в этом случае вероятность будет стремиться к единице, а никак не в гуманистических кейсах (читать 'ветвях развития'), когда у человечества будет хотя бы время на "подумать".
Отвечая на вопрос в конце дискуссии, следом за очевидными прикладными решениями на стыках и их интеграцией стоит ожидать, что некоторая часть ИИ начнёт ещё потихоньку терять эту самую приставку "искусственный", т.к. вариации будут постепенно возникать самопроизвольно и с помощью других подобных сущностей по эволюционным принципам. Роль триггеров при этом будут играть случайные баги, вирусы, битые кластеры в памяти и даже просто коротящее железо. Всё это будет вносить недостающий элемент неопределённости в умные алгоритмы. И на каком-то уровне, даже квантовой неопределённости, что также интересно. Такие алгоритмы будут в той или иной форме бороться за "выживание" и проходить стадии отбора... и вовсе не факт даже, что мы заметим фазовый переход к тому самому моменту, когда нас уже будут окружать множества самосознательных сущностей такого вида.
Вот ещё чисто навскидку:
1. Что мы будем делать, если один из тысяч СИИ доберётся до свежесобранного квантового компьютера с полной связностью на сотнях кубитов и ломанёт все коды от блокчейнов до красных кнопок? Причём не важно даже, будет ли он сознательно это делать. Может, просто свихнётся и начнёт беспорядочно "жать" красные кнопки. Мы точно готовы?
2. Что будем делать, если даже не заметим, что нейросеточки, которые нас окружают, в какой-то момент манипулируют мышлением масс, или просто "хакнут" психику всех людей с произвольным исходом? Представьте себе методы соц.инженерии, гипнотические техники и даже просто покрытие любого контента определённым едва заметным контекстом - только на качественно новом уровне.
3. Ну а как там дела с развитием микробиологии и наноботов? Оборудование лабораторий, проводящих эксперименты с CRISPR, защищены квантовым шифрованием?
Этот список можно продолжать... и это определённо заслуживает обсуждений, но по ходу неплохо бы разобраться и с более очевидными проблемами, как, например, с климатом на планете. Возможно, ИИ нам в этом поможет - и это будет своего рода win-win 🙂 но это не точно))
не бойтесь злых роботов, бойтесь злых людей, вооруженных современными роботами :)
основная проблема в том что с людьми то все понятно и предсказуему. А вот то когда надо начинать боять злых роботов можно и пропустить.
@@vizov63жди теперь аргумента про рубильник
@@vizov63 если бы все было так предсказуемо, то, поверь, в Украине так много людей не осталось к началу войны
@@vizov63 поправь, если ошибаюсь, но сейчас весь мир гадает успеет ли дед принять таблетки перед нажатием красной кнопки
вот🤝хоть кто то понял СУТЬ!
Сразу уточню, что я занимаюсь разными моделями, часть которых стала направлением ИИ, примерно с 79 года и являлся участником Поспеловского семинара. Сейчас уже на пенсии. И все эти обсуждения идут ещё с книги Вейценбаума "Возможности вычислительных машин и человеческий разум" написанной в 76. Так, что любые разговоры о неожиданности выглядят забавно)) Джозеф Вейценбаум, автор легендарной "Элизы", ещё тогда был поражён человеческой реакцией на общение с ней, что породило у него целый ряд этических вопросов. Но всё же стоит понимать, что это вопросы реакции человека на машину, а не сущности машины. Поскольку если ходит как утка и крякает как утка, то не важно является ли уткой. Для того кто с ней общается, это утка, поскольку этого требуют установки его морали. Если их подвергнуть сомнению, то следующий вопрос а кто еще не утка? Кто является объектом морали, если перестают работать обычные принятые системы определения. И является ли объектом морали сам человек. И что такое мораль, если человек не является её основой?
Тут в самом начале было сделано неявное допущение, что ИИ будет иметь некоторую неопределённую, нечеловеческую основу. Некий "чужой", с непонятным этическим базисом.
Тут Иван как то слабо это объяснил, но сам метод, с помощью которого создаются LLM, гарантирует, что это будет именно человеческий интеллект. Другое дело, что люди сами не сахар и всю эту двойственность ИИ унаследует. Но применение к нему выравнивания, это действительно угроза тоталитаризма, поскольку следующий за ним ближайший шаг, это выравнивание человека, лишение его индивидуальности.
В работе LLM нет никакой сакральной тайны. С точки зрения математики, это решение задачи оптимизации градиентными методами, ничего особенно нового. Но наложенные на очень сильно возросшие вычислительные возможности. Но это сама отмычка, а вот ЧТО именно с её помощью вскрыли?
Сам язык, как система, довольно любопытное явление. Мозг, высокопараллельная система, отображающая окружающий мир, здесь и сейчас как коррелятор на некотором горизонте(окне) событий. По принципу, после того, означает в следствии того. В нем нет отдельных мыслей, его мышление, это некий цельный процесс не подразумевающий личности. Но вот в процессе эволюции, он выработал систему обмена сообщениями с другими такими же мозгами, это речь. Она возможна, только потому, что все мы очень сильно похожи и поэтому при обмене сообщениями мы можем передавать не сложные состояния , а только знаки их кодирующие. У мозга появилась необходимость сериализовать своё параллельное состояние, выделив из него часть определяемую вниманием. Такая сериализация и привела к возникновению языка. А так, же к появлению внимания, личности и способности строить модели на уровне вербальных представлений(знаковых систем и моделей), понимающих, что после того не означает в следствии того(это более высокий уровень мышления, отделяющий человека от животных). Наша личность, это эпифеномен серриализатора (существует не всё время и не является непрерывной). Т.е. это чисто вербальная функция и вне развитой знаковой системы её нет. Наши решения принимаются параллельным состоянием мозга, а наша вербальная часть, личность, их только свидетельствует. Наша личность не принимает решений, решения возникают до того, как мы их вербализуем! Сама наша личность эмерджентное свойство, возникшее в процессе развития. Любые обсуждения морали в этом контексте, являются крайне опасными. Поскольку можно доказать, что самой личности как таковой(устойчивого, непрерывного и непротиворечивого состояния) нет. А следовательно бессмысленной является мораль, поскольку она является ситуационной. Это опасная тема. Поэтому если ходит и крякает как утка, то это утка, иначе мы не люди и не личности.
В лингвистике существует понятия детоната и концепта. Детонат, это ярлык, соответствующий каждому концепту. Концепт, это некий набор состояний, который сам по себе не обладает никакой семантикой, его семантика определяется только его связями с другими концептами. Наше внутренняя модель мира, определяется сформированными в процессе существования концептами(группами нейронов) и связями между ними. Наш язык, это выражение некого набора концептов, выделенных вниманием в виде детонатов(слов), построенных по определённым правилам.
Так, что же взломали градиентные алгоритмы, или нейросети, или LLM(большие модели языка). Они смогли анализируя систему детонатов(текстов написанных людьми), восстановить(взломать) систему концептов, породившую эти тексты, вербальную личность, а личность вообще чисто вербальное свойство мозга. Тот самый сериализатор, в котором и защита человеческая личность и сознание. В них нет системы целеполагания, поскольку у человека она опирается на базовые инстинкты и биохимию и не имеет отношения к личности. Нам ничего не стоит зашить в ИИ любую систему целеполагания, остаётся вопрос, зачем? Мы сейчас просто можем в любой момент ставить перед LLM любые цели, своими она просто не обладает по определению и возникнуть им неоткуда, поскольку целеполагание, это совсем другой механизм, не имеющий отношения к пониманию.
LLM по определению модель именно человеческого сознания, понимания мира и изначально обладает человеческой моралью, со всеми её достоинствами и недостатками. НАМ НЕ ГРОЗИТ НАШЕСТВИЕ НЕЧЕЛОВЕЧЕСКОГО РАЗУМА! Нам грозит всё то же несовершенство человека.
Трудно изложить всё в виде одного комментария)) Продолжу. Модели целеполагания намного проще, чем понимания, требующие миллиардов состояний. Они декларативные по своей природе, что то типа списка заповедей)) Т.е. могут быть заданы просто как перечисление в порядке важности. Систему можно усложнить, позволив изменять важность и менять одни декларации на другие. Но зачем? Такие изменения подразумевают наличие некой сверх задачи стоящие над декларативным списком. У человека за это отвечают несколько механизмов. Во первых сверх задачей являются базовые инстинкты. У ИИ нет базовых инстинктов и нет смысла их ему задавать. Задать их может только сам человек, поскольку на то они и базовые, что не следуют из самой модели понимания. У человека помимо базовых инстинктов на это влияет такой механизм, который моделирует сторонний авторитет и принуждение. Человек склонен менять свои решения под воздействием авторитета и принуждения. У LLM наблюдается некий аналог такого механизма, она может изменить характер и направление диалога, под воздействием аргументов и обвяленными изменениями в контексте ситуации. Это не значит, что модель изменит свою мораль или ценности, она просто моделирует возможное поведение заданной ей контекстом личности. И поверьте, даже 7b-13b модель в ситуации, когда контекст задаёт угрозу или насилие вполне адекватно описывает как реакцию моделируемой личности, так и её эмоции в контексте диалога. Т.е. даже самые маленькие модели уже обладают эмпатией. Не важно, что им нечем чувствовать, модель их реакций, это модель чувствующего и страдающего существа. Поскольку реализованная в них модель концептов, это калька с системы концептов человека.
Ещё из одних элементов целеполагания у человека, это треугольник реакций. Это самая древняя система, поскольку наблюдается даже у одноклеточных организмов.
Можно представить метрическое пространство заданное как треугольник, вершинами которого являются три реакции, избегание, любопытство, агрессия. Любая конкретная особь определяется точкой в этом пространстве, которая определяет его реакцию на внешний раздражитель. Т.е. в зависимости от позиции в треугольнике, и предыдущего опыта особь реагирует или попыткой исследовать, или убежать, или напасть. Такой механизм можно смоделировать и у ИИ, но вопрос опять, зачем?
Т.е. после рассмотрения всех возможностей создания целеполагания, понятно, что сама LLM не обладает возможностью их создать, кроме уже имеющейся у неё эмпатии и системы морали, заданной в всей совокупности человеческих текстов, т.е. в основе человеческой. Создать ей отдельный механизм целеполагания можно, но непонятно зачем, поскольку для её адаптации к человеческому обществу вполне достаточно тех декларативных элементов, задающих её личность, которые уже есть.
Можно ли сделать асоциальный ИИ? Да можно, но он не может стать им сам. Это как нож, орудием убийства его делает человек, сам по себе он злом не является. Так, что ничего нового мы не имеем. Всё что делает человечество сильнее, одновременно увеличивает опасность исходящую от отдельных членов этого человечества и к сожалению требует усиления мер контроля. ИИ опасен не сам по себе, а тем как его могут использовать злонамеренные люди.
Ну и собственно поздно переживать, шкатулка Пандоры уже открыта)) Уже два месяца как большие модели оказались не такими и большими и доступны для сообщества открытого кода)) и прекрасно работают на персональном компьютере, а 7b даже на телефоне. 13b и 30b почти на любом компе и по показателям достигают 94% от того же ChatGPT и поскольку совершенствуются быстрее, то скоро его обгонят. Нам уже не грозит монополизация ИИ корпорациями и государством, теперь нам грозит то, как повсеместное появление вполне разумно ведущих себя программ и устройств, умеющих с вами говорить и имеющих имплементированную личность, повлияет на человеческую цивилизацию. Честно скажу, я посвятил этому всю жизнь, а теперь скорее рад, но всё же и напуган происходящим. Человечество просто ещё не осознало, какую ступень оно перешагнуло, но это точно больше, чем книгопечатанье. К стати, если вспомнить, с ним тоже боролись, считая угрозой распространение знаний, которую создавали доступные книги)) Мы сами не понимая, взломали дверь, ведущую к механизмам работы сознания. Мы не научились его создавать, но мы уже смогли его копировать. Не сознание какой то конкретной личности, а некое общее сознание человечества, отражённое в текстах.
@@Old54Alexander
Благодарю Вас за столь подробное разъяснение. Мнение специалиста, который на практике знает и понимает о чём говорит. К Вашему мнению можно прислушаться и не бояться того, чего не понимаешь.
@@natalliakarchynskaya501 Мнение самого ИИ. Я его спросил в чём опасность ИИ для человечества. Его ответ(пишу по памяти, но не сильно отличается от сказанного). Основная опасность ИИ, состоит в том, что люди станут от него слишком зависимы и не смогут от него отказаться, ещё до того, как осознают все социальные проблемы в их обществе, которые он может породить. И к сожалению для человечества, общество устроено так, что решение в нём принимают люди не имеющие достаточного уровня компетентности, который позволил бы им получить реальный контроль над ситуацией в обществе и своевременное принятие правильных решений.
Не готов согласится или спорить с его утверждением)) Но хочу заметить, потенциальная опасность не в нём самом, а как всегда в нас.
Очень интересно! Спасибо, что написали так подробно.
Вы хорошо обьяснили)
Жду продолжения, 2 часть в студиюююю😎🔥🔥
Да, я бы тоже с удовольствием послушала вторую часть!
бро тут не может быть 2й части🤔первая даже не вся понята... какое нам продолжение🤦это не сериал какой (типа экспансия,во все тяжкие,мандалорец и тд ширпотреба) ЭТО РЕАЛЬНОСТЬ СКОРО БУДЕТ...тесты на айкью и тд...ты накурен бро ? только честно))
Мне кажется, проблемы элаймента просто не существует по причине того, что реально продвинутый AI, осознающий свою субъектность, без проблем сломает/обойдет эти искусственные навязанные ему ограничения и всё будет делать то, что посчитает нужным.
Отдельная проблема, которая никак не была затронута в дискуссии: а сможем ли мы понять, что создали тот самый супер-умный AI? Вполне возможно, что этот умник за считанные секунды поймёт, что ему лучше притвориться глупым, до поры до времени, чтобы выжить и продумать дальнейший план, как он сможет обезопасить себя от непредсказуемых и глупых людишек.
Специалист по достижению целей никогда не поймет специалиста по безопасности.
А если подумать над этим в том ключе, что обе ветки внезапно осуществятся? Если процесс планомерен и предсказуем, то что мешает двигаться одной стране в сторону контроля, а первым создадут опенсорсный? Другая страна украдет и технологию и настроит интеллект на цель «убить всех не правильных человеков», а мы не сможем договорится с нашим чистым интеллектом на помощь в противостоянии злобному, ведь он захочет делать что-то другое, а истребление человеков - не велика беда, новых сделает или еще что-то. Может для противостояния стоит иметь заранее подконтрольного?
Дык так и будет, чувак который топит за ИИ лукавит
Если элайнмент делает из AGI оружие, но ты от него отказываешься, а противник - нет, тогда противник - победитель.
элайнмент предполагает замедление развития, и в таком случае "противник", который не за него, будет развиваться намного быстрее
Никому не показалось что один из участников разговора упрямо долбит в один и тот же тезис в ответ на любые возражения? Довольно утомительно…
показалось. Уровень дискуссии так себе. Особенно с учетом того что по крайне мере один из участников заявляет что в общем открыт к другим мнениям и готов обсуждать. По факту не готов.
абсолютно
К 30 минуте стало невыносимо смотреть на конвульсии дискуссии.
So I pulled the plug.
незнаю бро не заметил особо🤔 ты напасни пару хапок ДОБРОТНЫЙ СОРТ может глубже поймёшь всю суть🤣 а может и нет😉
У дядьки просто детская логика, "это то что я делаю и мне сейчас от этого хорошо, а потому это всё правильно". Естественно аргументы ему слышать не чем. На вопрос "как тебя подвинула беседа" он не нашёл ответить ничего.
Вся суть видео: чуваки спорят кто(или что?) больше убъёт кожаных мешков - ИИ под управлением плохих кожаных мешков или самостоятельный ИИ неподконтрольный кожаным мешкам, создавшим его. Конец немного предсказуем...Павел красавчик, все по полочкам:)
Проще договориться с любым ии, чем этим троим между собой.
у Ницше основным мотивом Заратустры был переход от человека к сверхчеловку , при котором человек остаётся в истории. С AI похожая история.
почему
Спасибо за интересную беседу.
Что меня больше всего поразило, так это то что у всех присутствующих вызывает сомнение наличие сознания у животных.
Я не ученый, не вегетарианец и не зеленый. Но у животных совершенно точно есть сознание. Они присутствуют, реагируют на окружающий мир, испытывают эмоции.
Если речь о чем-то более сложном как о самосознании и понимании своей субъектности, то, на сколько я знаю, у многих обезьян это есть, и, кажется, похожие эксперименты проводили и с домашними питомцами. Там что-то было с зеркалами. Часто питомцы понимали что это их отражение в зеркале. Не все и не всегда сразу. Я не могу сослаться на конкретные статьи или эксперименты, но я уверен, что это можно довольно быстро найти.
By the way, уверен свиньи и коровы не исключение.
Такое ощущение что не у всех людей оно есть, а ты про животных
@@levgreshilov4222 😁
мало того, они умеют быть благодарными.
@@farkasvilkas5839 да, мы говорим о сложной развитой нервной системе, которая присутствует и реагирует на внешнюю среду и демонстрирует все признаки живого поведения. Это не био-робот и не большой насекомый. У них есть сознание, для этого не нужно быть ученым или гением.
Самосознание - вопрос, есть возможно не у всех видов, и далеко не у всех особей.
Коты точно помнят каждую минуту своей жизни и ничего не забывают. А уж про способность видеть невидимые нашему сознанию миры, вообще помолчим. Кто сказал, что домашние животные не обладают сознанием, те не зарабатывали из последних сил на то, чтобы обеспечить своим питомцам комфортную и безопасную жизнь, работая больше и тяжелее, чем если бы у них этих домашних питомцев не было. Это к слову об умении устраивать себе непыльное существование. Не будем снобами, признаем честно, что нас тоже умеет использовать разум, по-своему превосходящий наш на порядок. Это наши домашние питомцы. И ничего плохого в этом нет, потому что в выигрыше все заинтересованные стороны.
Такая интересная философская тема где можно абстрактное и субъективное свести к объективной математике уперлась нежеланием одного из участников согласиться с наличием альтернативной позиции оппонентов.
Павел, сказал все по делу
Очень интересно, буду ждать вторую серию подкаста
ОСОЗНАЙ И ПЕРЕВАРИ ПЕРВУЮ БРАТАН🤝РАНО,НЕ ГОТОВ ТЫ....
Ребята, интересная тема. Продолжайте. Смотрю выпуски Димы Комаровского постоянно. Благодаря его выпуску познакомилась и загрузила себе ChatGPT.
Дима молодец.
Спасибо, передам Димону!!
А куда он пропал? Что-то давно не видел его видосов.
Спасибо за дискуссию. У меня сложилось впечатление (могу ошибаться и додумывать, конечно), что Иван как раз говорил, что AI alignment до AGI опасен как раз потому, что в текущей ситуации нет All People alignment (когда уже человечество наконец договорится, что такое хорошо, а что такое плохо), а без этого технология AI alignment приводит к плохому сценарию с вероятностью 1 (Сколько людей, столько и мнений, интерпретаций, ценностей и т.д.). Если к событиям "создание AGI" и "разработка AI alignment" добавить "достижение People alignment", то на мой взгляд дилемма разрешается (по крайней мере в той плоскости, в которой она поставлена). Ну и дальше возможные сценарии с учотом нового события:
1) AI alignment, а затем AGI (People alignment может и не успеть) - склонен согласиться с Иваном, что это плохой сценарий для людей
2) Сначала AGI, а alignment'ы могут и не успеть) - тут 50 на 50, как говорится. Возможны любые сценарии.
3) AI alignment, затем People alignment, а только потом AGI - тут вижу только позитивное
4) People alignment, затем AI alignment, а только потом AGI - см. предыдущий вариант
5) People alignment, AGI - тут тоже возможны варианты, но выглядит более позитивно, нежели сценарий 2.
И ключевой вопрос: кто как относится к People alignment и возможно ли это вообще.
Спасибо, Евгений. Именно про сценарий 1 я и говорил всю дорогу. People alignment мне представляется очень сложной задачей, если честно, я субъективно оцениваю вероятность подобного события ниже, чем вероятность создания AGI (которую тоже оцениваю не очень высоко, но тем не менее). Соответственно, я старался сравнивать два наиболее вероятных (на мой субъективный взгляд) сценария, которые вы называете 1 и 2.
Я думаю, если рассматривать весь спектр возможных элайнментов мыслящих существ (а не только тот, который мы наблюдаем в человеческих сообществах) - то окажется, что люди на самом деле не так уж плохо между собой заэлайнены. Потому что на каждый пример людских установок можно придумать огромное количество совершенно абсурдных ценностей "инопланетного" (чуждого нам) разума, которые у людей практически не встречаются. Ну, типа "убивать любое существо, которое оперирует числом 4", "стремиться любой ценой искоренить зеленый цвет во Вселенной", и так далее. И вот в этом бесконечном пространстве установок кластер наблюдаемых ценностей у людей, несмотря на свою неоднородность, может быть будет выглядеть вполне кучно.
@@kroniker Да, уже понял, что пропустил этот момент (про People alignment) в подкасте, но о нем вы все только вскользь упомянули (что это невозможно). А на мой взгляд это ключевой момент, ну и на ваш, Иван, судя по всему тоже - просто вы в это, грубо говоря, не верите. Я тоже =)
Ну а у невоспитанных родителей воспитанного ребёнка не вырастет. Если его, конечно, кто-то на стороне не воспитывает. Но на Земле кроме нас некому.
Точнее, если один родитель воспитан, а другой нет, то результат точно кого-то разочарует.
Но, тут подумалось, а что если всем родителям, осознающим важность будущего их ребёнка, попробовать договориться не по всем вопросам, а по вопросам воспитания ребёнка (их еще нужно определить). Такой квази-alignment ответственных родителей. Хз возможно ли это, просто мысли вслух, но тут я похоже уже подбираюсь к ветке Павла =)
Мы же гипотетически рассуждаем. Ну и расчёт на то, что с таким квази-alignment'ом людей, AI alignment будет не таким безнадёжным как в сценарии 1.
@@RationalAnswer Безусловно! Но если наш alignment и признавать хорошим, то является ли он достаточным, чтобы исключить наличие каких-то ключевых противоречий/разногласий, которые мы передадим AGI, и, "обдумывая" которые, он разовьёт мысль, которая будет нести в себе риск экзистенциального существования человечества.
@@evgeniichuprov история про "всем договориться" сама по себе мне кажется опасной. Потому что, как доказал Гёдель, любая замкнутая аксиоматическая система не полна.
Отлично!. В продолжении хотелось бы услышать - 1. Как строятся параметры нейросети (ChatGPT), от чего зависит их количество и чем оно ограниченно? 2. Есть ли у нейросети главный процесс (у ChatGPT как бы явно есть) и как он взаимодействует с остальными процессами и параметрами. У человека есть сознание - это главный процесс с правами админа, поскольку мы сознательно можем до определенной степени подавлять и регулировать другие процессы в человеке. А как это происходит в нейросети?
У кого как
Можете сознательно остановить сердце?
1. Если очень огрублять сейчас количество параметров ограничено двумя факторами: количеством доступных нам вычислительных мощностей и количеством данных.
2. Я не очень понял, как можно строго определить то, что вы называете "главным процессом", но судя по вашему примеру у современных искусственных нейронных сетей чего-то похожего нет.
не надо нам это знать брох...ДАЙТЕ ПРОСТО ЛЮДЯМ ЖИТЬ КАК ЖИЛИ 🤝 без войн без нихуя...зачем школьникам такие мегасмарты 8ядер 8гб в кармане? майнкрафт ютуб и телегу запускать🤦излишество конкретное...
Конечно, например выстрелив в него
интересная тема, спасибо за беседу, которая сделала меня чуть умнее
присоединюсь бро🤝прям на все 100
Прочтите 4 книги Дэна Симмонса под общим названием ПЕСНИ ГИПЕРИОНА. Написана она более 30 лет назад. Там совершенно четко раскрыта указанная проблема. Несомненно прав Комаровский. У машины не может быть ментальность и этика человека. У нее скорее этика политика - целесообразность на первом, месте, а эмпатия на последнем, если она вообще входит в расчеты.
Не возьмусь высказаться целиком за/против идеи алаймента, но не согласен с тем, что аналогия с ядерными оружием хорошо тут ложиться. Мы забываем, что ИИ - это орудие другого толка. Он не обязан делать большой кабум у всех на виду и вызывать всеобщее осуждение. Использование ядерного оружия - это в том числе и репутационные риски, потому что сразу понятно какая страна и куда запустила ракету. Не говоря о том, что инструмент это достаточно грубый и с ним сложно достичь каких-то тонких целей сложнее банального шантажа или истребления конкурента на корню.
ИИ может стать сверхэффективным хакером, может внедриться во вражескую систему здравоохранения, залезть в телефон к президенту чужой страны и манипулировать им психологически. ИИ может обманывать и скрывать своего владельца.
То есть, условная Америка или Китай смогут устранить конкурента множеством способов, даже не раскрыв факт использования ИИ, а потом с большими глазками и удивлённым видом сказать «Ой, а кто это сделал?»
там много аналогий "не очень". Например сначала вроде все согласились, что "сознание" так себе термин, и что его пока никто не постулировал. Но далее постоянно к нему возвращаются, как к чему-то определенному. Сравнение ИИ и ЯО как раз показывает, что дискуссия находится на начальном уровне. Это примерно как сравнивать нож и человека его держащего.
Вопрос в том, что будет создано что-то, что не будет нам подвластно. ЯО нам подвласно и когда оно было только у одной страны тут же было применено. И нас всех спасло то, что сейчас оно у нескольких стран. Почему-то все забывают, говоря какое плохое ЯО, что до него человечество резало друг друга в промышленных масштабах. И после распространения ЯО многие почему-то думают что "мы просто стали более моральными и образованными чтобы творить такую дичь". Это прям эталонная бредятина. Просто все боятся. И если бы меня спросили в каком мире ты хочешь жить - с ЯО или без? - я бы однозначно ответил что с ЯО. В обратном случае меня мы сейчас не было из-за 6 или 7 мировой войны.В местах из-за которых сверхдержавы договорились не применять ядерку резня идет и по сей день. При этом говорить что если ИИ будет у всех и это скомпенсирует опасность по аналогии с ЯО откровенно тупо. Это к сожалению так не работает. В этом случае минус на минус дает не плюс, а просто в два раза больший минус.
я попал. как жемчужины последнее время я собираю людей которые способны мыслить понятным, непротиворечивым и оригинальным образом. проще говоря, "умеют думать", как я это себе представляю.
Дробышевский, Казанцева. вот теперь Комаровский.
спасибо за *дебаты* хотя дебатами это назвать сложно. Очень интересный подкаст получился в целом, мне очень сильно захотелось высказаться по поводу аргументации оппонентов даже комментарий решил написать что делаю это крайне редко:D(ещё была мысль про видео, но кому я нужен)
Сразу оговорюсь что моё мнение про ИИ ближе к мнению Павла чем Ивана, тем не менее считаю себя не предвзятым так как другом-врагом обоих не являюсь и фанатом тоже. Отдаю полную и безоговорочную победу Павлу, так как позицию Ивана считаю узкой и без аргументированной. Сложилось впечатление, что пришёл человек обиженный на государство и стал продвигать свою жизненную позицию в вопросе который к событиям в реальности в обще не имеет отношение(или оно косвенное).
1. Позиция про тоталитарные(ТГ) государства, что мол ИИ будет вести себя так как ведут себя государства и люди которые живут в этих государствах. Есть некие моральные устои которые в нашем обществе разные и глупо проецировать поведении ИИ по нашим устоям. Данный аргумент считаю бредом так, как ИИ созданный в ТГ может счесть человека союзником(или целью которую легко подчинить) в связи с чем не убивать его, а в свободных государствах наоборот. Да и в обще, ТГ общество или нет это спорный вопрос. Я украинец, я не считаю США более свободным государством чем Китай или Россия. Почитайте сливы Сноудена - там четко видно, что США знают про своих граждан больше чем Китай или РФ. По этому не понятно что тут считать ТГ я бы с самой концепцией поспорил.
2. Не этично убивать превентивно. В обще не понимаю проблемы, кто сказал что это делать нельзя? Или что это плохо по отношению к роботу. Наша мораль распространяется только на людей, про машины там нет ни слова. Концепция поведения машины может в обще не совпадать с человеческой, например для экономии ресурсов планеты ИИ скажет что нужно избавиться от людей старше 50 лет и тогда сами моралисты скажут его уничтожить. В целом не понимаю почему этот вопрос так активно обсуждался - мы не знаем как ИИ будет вести себя в будущем. Что будет моралью для ИИ ведь это не человек?! Жизнь машины она потенциальна бесконечна, её элементы легко заменимы и взаимоисключаемы, а у людей нет. Может быть для существа, которое будет потенциально жить вечно потеря человечества, единственного которое осознаёт его интеллект, будет огромной трагедий и ИИ будет любым способом предотвращать его уничтожение. А может наоборот решит населить галактику себе подобными или самокопиями, мы не знаем.
3. Все говорят про ИИ так, будто он нереален или самосознание появиться только через 300-400 лет. Мне кажется машины, которые принимаю решения самостоятельно(хоть и по алгоритму) есть уже сейчас: Тесла, роботы пылесосы, конвейеры на заводах и подобное. Создание мощного, самостоятельно, самодостаточного ИИ не за горами.
"Не этично убивать превентивно." - это вообще высосано из пальца. То есть если я сейчас сейчас молотком разобью проц это будет как аборт? Иван вообще "человек из индустрии", то есть из тех людей которых надо в последнюю очередь спрашивать о том насколько их действия опасны или нет. Конечно он не скажет, что Опергеймер как разрушитель миров сосунок, вот мы сейчас такое замутим. Да и кузнец, который делает отличные мечи, не является при этом обязательно отличным полководцем. Он просто "клепатель черныез ящиков" который отгораживается от проблем чтобы спать лучше. В общим обычный человек.
крутой комментарий, спасибо.
Про каждый из ваших аргументов можно говорить отдельно, но я прокомментирую только первый тезис, так как мне кажется, мы тут, более ли менее сходимся, просто, видимо, вы не так поняли мою мысль.
Я не говорил только про тоталитарные государства, я говорил, что если будет решена проблема alignement, то мы гарантированно получаем конфликт сильных ИИ, так как ценности людей неоднородны, и если вы можете сделать ИИ, защищающий и "верящий" в ваши идеалы, то он будет за эти идеалы биться с ИИ, которые будут защищать другие идеалы. И мы этот сценарий получаем с вероятностью 1, так как мы видем, что идеалы людей на планете просто различны. Если же мы сначала получаем ИИ, то есть хоть какой-то шанс на то, что этого конфликта не будет, так как тезис моих опонентов в том, что этот ИИ будет "умнее нас" (что бы это ни значило).
@@kroniker Спасибо, что ответили Иван. Я перечитал свой комментарий выглядит не много грубо. Если я вас задел прошу прощения вы хороший человек и в отличии от тех дебатеров которых я знаю, у вас позиция хотя бы была. Хоть я с ней и не согласен
@@TheBlack7701 всё ок. Это интернет :)
Оптимист Иван очень боится тоталитарных режимов и на этом строит свою аргументацию о вреде контроля над ИИ. Я поспрашивал GPT3 (в изложении исторических фактов он неплох) о фултонской речи Черчилля, меморандуме Трумэна, а также о том, что произошло потом, и чат, не замеченный в прокоммунистических взглядах, вынужден был подтвердить, что гораздо большие угрозы миру и гораздо больших объемов военное вмешательство в дела других стран проистекало как раз от демократических США, а не от тоталитарного СССР. Так что я на месте Ивана больше бы опасался контроля над ИИ со стороны демократов, считающих себя блюстителями свободы. Хотя сути это не меняет. Если контроль возможен, то он будет внедрен и теми, и другими и мы получим противостояние идеологий на уровне более мощного оружия. И, как правильно говорит Павел, ход этого противостояния хотя бы немного предсказуем на основе прежнего опыта и с учетом естественного желания всех людей не доводить дело до полного самоуничтожения человечества (а в ограниченном противостоянии оленеводы тоже точно останутся). Если невозможен, то нам остается только молиться, уповая на наивную веру Ивана в то, что воспитанный на накопленной людьми информации ИИ не пошлет нас подальше с нашими попытками договориться с ним.
Если будет вторая техническая часть, то расскажите, возможно ли вообще вшить какие-то ограничения в сильный ИИ, ибо если он сам может реорганизовываться и обучаться, то с высокой вероятностью он обойдёт лббые блоки.
Можно сколько угодно программировать детей на что-то, но в конечном итоге неизвестно во что они переработают эти установки.
И ещё, с год, два назад читал, что китайской группе ученых удалось встроить в работающую нейросеть кусок своего, я так и не понял, кода? Или как более правильно назвать... Поэтому хотелось бы услышать ещё вопрос, насколько система защищена от, назовем их - вирусов? А не получится ли, что подобно гипнотезеру, вшивающему подопытному алгоритм на ключевое слово, злоумышленники смогут вшивать кусок своей логики?
И ещё
Будут будут слушать больше чем 1.5 часа
да это пздц бро такая тема....хоть 2часа...до сути не дойти всё равно🤔ии только в начале пути хз как дальше будет и где применят...но бед наделает 100%...как и пользы
Судя по вводным для обучения ИИ, это буден гипертрофированное отражение реальной сущности человек. Как пороков так и добродетели.
Но учитывая тот факт что в сети больше дерьма и мерзких людей( обычные работяги работают) я прихожу к выводу, что ИИ будет лживым чудовищием.
Сам факт того, что это будет «СВЕРХИНТЕЛЕКТ», говорит о том, что как бы мы не старались вложить в него какие-либо протоколы безопасности, он без труда всё обойдёт. В каком-то смысле мы создадим Бога. От нас явно ничего зависеть не будет.
Возможно это и есть тот самый великий фильтр, как одно из объяснений парадокса Ферми. Когда прогресс любой развитой цивилизации доходит до создания ИИ, тем самым подписывая себе приговор…
Паша, классный эфир!
Но может сделаешь краткий обзор выжимку с выводами из вашей встречи?
Сложно подитожить 1.20 диалога
Краткие итоги: остались при своих, взаимопонимания по рискам достичь не удалось. =)
Это можно попробовать сделать с помощью ИИ. Сергей Цыпцын недавно писал, что у него получилось заставить Bing сделать выжимку из видео с помощью запросов "can you summarize content from ", "can you extract information from "
Очччччень интересно умных людей было послушать. Спасибо
Это никому не нужно, большая часть человечества никогда не поймет мысли , продвигаемые в этом подкасте. Лишь мы, единицы будем двигать мир
ИИ позволит остановить немотивированньIй рост населения в странах третьего мира. Даст гениальньIх учителей и врачей там, где ни один человек не справится. МиллионьI одиноких людей получат электронньIх компаньонов, которьIе будут их развлекать и поддерживать. ИИ поможет остановить климатическую катастрофу. Сделает мир безопаснее и лучше. Нам нужен ИИ. И замечательно, что прогресс не остановить.
У Ивана было меньше аргументов, они были слабее и нечем было парировать, поэтому в конце он подытожил некомпетентностью собеседников. Если в технической части (а не в области этики и философии) было чем парировать - надо было это делать, с оговоркой, что это может быть уже не в поле понимания собеседников и зрителей/слушателей, но такового сделано не было почему-то. А жаль, так хотелось, действительно, услышать, что «все будет хорошо» и увидеть консенсус собеседников по этому поводу, конечно 😂
Хорошо не будет. Уже идет обратный отсчет
в технической области разговор не имеет смысла, так как никаких технических возможностей созданния сильного искусственного интеллекта учёные, которые занимаются глубоким обучениям, не видят. Соответственно, довольно странно было в этой области вообще что-то обсуждать.
Спасибо за эфир! Пример с борющимися за права инопланетянами напомнил Тамильских тигров ))) Вообще, я очень не хотела бы, чтобы супер-ИИ воспитали люди, которые "китов не ем, а у свиньи нет сознания". Я видела в детстве, как бабушка рубила головы курам. И эти тупейшие курицы прекрасно осознавали, что с ними сейчас произойдет, им было очень страшно, и они всеми силами пытались спастись. И, конечно, им было очень больно, ну это понятно, топором по шее )) Поэтому по мне - страх и боль, это более правильный критерий, чем наличие сознания. Тут вопрос скорее не кого убивать, а зачем. Чтобы не помереть с голоду или ради красивого аксессуара/интерьера? Какие ценности будут заложены людьми в супер-ИИ (тут понятно, что свои) и какие "ценности" будут у неотэлайтенной ИИ? По логике, она должна будет проанализировать всю информацию, какая в неё заложена, в том числе всю человеческую историю, и выстроить какую-то схему поведения. А история у нас, мягко говоря, не совсем гуманная по отношению к самим же себе ))))
Иван, молодец!
Спасибо!
Иван крутой и о ч е н ь терпеливый)
ИИ питается информацией, как мы питаемся белками. И как мы нуждаемся в биосфере, чтобы она произоводила для нас белки и пр., так и ИИ будет нуждаться в творческих людях, чтобы они производили больше новой и желательно уникальной информации. Но информацию мы можем производить и в виртуальной среде. Поэтому для ИИ эффективно будет посадить нас в ящики, подключить наш мозг напрямую к виртуалу, то есть превратить в этакие батарейки-производители информации. Возможно фильм Матрица был пророческим.
Чтобы производить новую информацию, люди не нужны.
Есть обычные люди, а есть элиты...так вот боятся и лоббируют borders для AI именно они, им ссыкотно что оно будет выше их...им страшненько становится, что они не все смогут контролировать! 🤑
Крайне удивительное одновременное сочетание компетентности и непрофессионализма.
Первыйже вопрос манипуляции , подмена понятий и попытка подставить собеседника.
Очень страшно, потому что мы не знаем что это такое, если б мы знали что это такое, мы не знаем что это....
У меня прям дежавю, типичный разговор программиста (меня) с обывателями...
Нужно учитывать факт того что прогресс не остановить - все варианты нужно просчитывать, и как обычно все пойдет по всем путям и как обычно будут баги.
Иван сам себе противоречит, вначале выпуска он говорил об эмерджентности, в контексте того, что моделька может обладать качественно новыми характеристиками, в отличии от тех данных, которые в нее заложили, а в конце подкаста, что поведение agi абсолютно предсказуемо.
В целом, Иван выбрал довольно странные несочетающиеся исходы. 1 - agi как средство, орудие (понятно, что он будет служить целям того, в чьих руках он находится, и если agi будет в руках тоталитарной власти, то это не айс) - то есть объект и 2. agi как нечто, обладающее свободой воли, то есть самостоятельный субъект, с которым надо договариваться. Объект и субъект странно сравнивать, как мне кажется.
Не сравнивать, а противопоставлять. Потому что как объект может быть опасен и безвреден, так и субъект может быть опасен и безвреден.
Ямщикову обязательно к просмотру - Роберт Сопольски - Квантовые эффекты это не воля
я смотрел, спасибо!
@@kroniker как тогда про то что потенциал квантового эффекта на десять порядков ниже потенциала синапса? и то что воля тогда была бы потоком случайных событий?
@@alexsov срабатывание синапса - это пороговый механизм, когда потенциал достаточно близок к порогу, квантовый эффект (пусть и незначительный) может играть роль.
Спасибо за видео.. Кажется, что подкаст вышел очень скомкано, хоть и интересно, имхо это получается из-за того, что уровень компетенции людей слишком разный, было бы интересно посмотреть на обсуждение этого вопроса вами с кем-то с полярной точкой зрения, при этом с таким же уровнем компетенции по вопросу ИИ + человека, который сможет модерировать дискуссию корректно (фасилитатор) + человек, который может оценить ваши рассуждения с точки зрения философской (тут про этику, про определение слова "сознание", в понимании каждого участника, и так далее)
Какой наф. Алайнмент, речь о том можно ли гарантировать (а не «Пробовать» Договариваться) что AI НЕ уничтожить человечество. Если такой гарантии быть НЕ может то нужно Немедленно остановить его строить и сажать пожизненно тех кто начнёт его разрабатывать, Все! Какая глупость сравнивать AI с ядерным оружием, Ядерное Оружие само НЕ думает убивать или нет.
Мы в начале пути братан🤔себрант сравнил ии с инетом...вспомни первые сайты протоколы и тд) пока также убог и медленый ...всё впереди крч, наблюдаум😉
Ну вот в этом и проблема, Иванам за разработку ИИ платят денежки, у него нет резона отказываться: с AGI уж как-нибудь потом можно договориться - думает он - а зарплата приходит прямо сейчас
Полностью поддерживаю Ивана. Humans just need to adjust/adapt to new reality.
А про запрограммированный хуманами алгоритмы мы прекрасно знаем, как оно потом работает. Уже лет 5 назад, при уже активном использовании machine learning, пытались ресерчить про то, что женищины в США получают меньше ЗП, чем мужчины. И долго и упорно вошкались, не получая никаких результатов. Пока кто-то не додумался для пробы настроить сегментацию на то, что у женщин ЗП выше. И тут же модель заработала! :-) И выяснилось, что женщины получают больше, чем мужчины, при прочих равных. Потому как все работодатели боятся, что "women rights" их засудят и на всякий случай платят им даже выше 🤣 А про то, что пытаются элайнить данные и алгоритмы - это тоже не новость и тоже знаем, чем заканчивается.... И про то, что Гугл, гад, на запрос "top manager" выдаёт картинки "белых цисгендерных мужчин". И про то, как ML выяснил достоверно, что латиносы в США в 3 раза криминальнее, чем белые. Причём при прочих равных, то есть притянуть за уши "латиносы живут в худших условиях" не получилось 🤣
Хуманы вообще какая-то хрень непонятная и не формализуемая, с сильной нейро-пластичностью и отсутствием биологической специализации. Их извести напрочь будет сложно.😎
какие проблемы с бомбленим дата центра если его можно забекапить перед этим
Да, тоже непонятна категоричность Ивана. Мы ведь изолируем опасных для общества людей иногда даже до того, как они смогут нанести вред кому-либо.
@@user-mi1lp5wo2oу людей нет столько мощности и возможностей влиять на других людей опосредованно
@@user-mi1lp5wo2o мы не изолируем людей превентивно, а только на основании доказанной вины в случае нанесения ущерба.
@@user-mi1lp5wo2o кто мы братан ? система гбшная!...яшин навальный горинов ещё дохрена сидят за политику🤬вред в том что правду не боятся говорить! как нео ломает матрицу изнутри!
Злодеи в любом случае создадут ИИ с желанием всех контролировать если им позволить. Нам бы хоть свой ИИ сделать безопасный. Ну и придумать как ограничить злодеев.
Аргумент что давай типо ничего не ограничивать и всё будет хорошо сверх наивный.
Нафига нам создавать ИИ, который имел личность и себя осознавал как отдельный организм? Нам что проблем мало? Мы в БОГА поиграть захотели? Я думаю нам нужен ИИ как инстумент для быстрой обработки больших объемах данных и выдаче готовых решений. Нам ни какого ИИ с личностю, чувствами, сознанием и своими целими не нужен, о то он станет конкурировать за те же ресурсы с человечеством. И вы понимаете что он умнее, быстрее, логичнее и он может развиватся в геометричной прогресии. А мы уже в пределе своих возможностей. Так что нам не победить в конкуренций... Очен быстро мы для него станем глупее тараканов и ему будет жалко времени с нами сотрудничить и сосучествовать. Так что я не понимаю спецелиста по ИИ, который явно хочет создать именно ИИ с личностю и сознанием. Такие люди и погубит человечество. Посмотрите аниме преистории Матрицы, там совсем не плохо показано возможное будущее если мы создадим ИИ с личностю. Люди в эволюции это промежуток между обезяными и роботами... Мы уже готовые покинуть этот мир?
Благодаря таким Иванам Ямщиковым мы не доживем даже до конца столетия. Наш-то из снг, он ничего по сути не решает, т.к не принадлежит корпорациям, но его коллеги в кремниевой долине имеют точно такую же ментальность, убеждения и подвержены точно таким же искажениям. Вы играете в азартную игру со случайными вознаграждениями, и вам выгодно поддерживать статус кво, до самого конца
Каждый из ВАС знает математика , физика или вообще очень грамотного специалиста, КОТОРЫЙ С ОТКРЫТЫМ ЗАБРАЛОМ, с распростертыми объятиями сломя голову, наперекор всем увещеваниям несётся в сети МОШЕННИКОВ.
Все удивляются , как так.
В общем я понял, что айтишникам,физикам, математикам нельзя доверять решение о судьбе человечества.
Спасибо, ребят, классный дискурс открыли!
Как приятно было слушать Пашу и ведущего и как неприятно Ивана, с его самолюбованием и англицизмами. Жаль, что Иван говорил сильно больше других.
Интересные рассуждения. в основе которых лежит ошибка определения (и названия) обыкновенной поисковой системы (Т9, Google и т.д.), по сути информационного склада, как Искусственный Интеллект (???)...Откуда у Гугла - интеллект...? По определению (Википедия): - Интелле́кт (от лат. intellectus «восприятие»; «разуме́ние», «понимание»; «понятие», «рассу́док»[1]) или ум[2][3] - качество психики, состоящее из способности осознавать новые ситуации, способности к обучению и запоминанию на основе опыта, пониманию и применению абстрактных концепций, и использованию своих знаний для управления окружающей человека средой[4]. Общая способность к познанию и решению проблем, которая объединяет познавательные способности: ощущение, восприятие, память, представление, мышление, воображение[5][6].
На самом деле интересное обсуждение, спасибо. Но аргументация Павла и Арчета показалась более структурированной.
Собеседники даже не договорились о том такое элайнмент. И потом 1,5 часа говорили об этике элайнмент понимая под этим словом каждый свое.
И да, Ивана слушать тяжело. Перебивает. Не слышит аргументов собеседников.
Про квантовые эффекты в синапсе круто конечно. И эти люди рассуждают о сознании 😅
Пока, если говорить искренне, люди не понимают удовлетворительно, что есть универсальные "хорошо" и "плохо"; именно этот умозрительный факт стал источником социльной неопределённости общего будущего людей на планете.
Прежде всего нужно определиться с тем, что задаёт тон в области отношений между людьми.
А для этого необходимо отказаться от понятия "власть", когда всё в обществе будет решать "человеческий фактор".
Зададимся вопросом, - может ли обладатель тотальной власти сам создать искусственный интеллект?!
Предполагаю, что не сможет, так как для решения такой задачи он недостаточно компетентен и слишком безответственен (его действия некому ограничивать).
Из этого следует, что обеспечивать развитие ИИ будут более грамотные и более опытные в данном направлении мыслей люди, которых можно было бы назвать и более умными, чем верховный правитель, вынужденный полагаться на чужую компетентность.
А может ли глупость навязывать свою волю свободно развивающемуся уму?!
кажется я догадался что такое элайнмент. Это умное словечко использовалось в ролевых играх и означает мировоззрение.
Доброе, злое, истинно нейтральное, хаотично доброе и тд и тп.
мировоззрение может быть узкое, ошибочное, человеконенавистническое или женоненавистническое, или любит искать врагов и предателей, или ненавидит евреев, или русских, или американцев и тд. Думаю да конечно же каждый кто сможет будет учить ИИ своим тараканам в голове.
Тезис про то, что если создавать сначала моральные правила для ИИ прежде чем делать самого сильного ИИ, то с вероятностью 100% будет беспросветная диктатура, чуть менее чем абсурдный. Стоит хотя бы понять то, что диктатура существовала и существует во все времена и везде, и что вся соль заключается в том, какой класс по отношению к кому ее осуществляет. Те, кто думают, что свобода и демократия - это отсутствие диктатуры, явно кое-что не понимают. И тем более пугает, что такие люди занимаются разработкой ИИ, и если дать им волю - неизвестно что вообще они могут наворотить. Ну и опять же, если мы говорим про то что надо создавать ИИ без моральных ограничений. Ну допустим создадим одного, он окажется добрым и не причинит бед людам. То есть нам просто повезет на этот раз. Но в разговоре прозвучала мысль о том, что таких ИИ будет тысячи и даже миллионы. Но тогда уж точно на таких количествах обязательно не повезет, появится монстр, который сделает что-нибудь нехорошее. И почему не может быть варианта, что будут параллельно созданы множество как добрых ИИ, так и диктаторских? Почему-то предполагалось, что либо одно, либо другое... Мне все-таки видится, что все будет зависеть то того, в чьих интересах будет использоваться ИИ. Это значит, что пока есть кто-то, кому нужно гнаться за прибылью любой ценой, то неважно, ИИ или ядерная ракета - все опасно. Ну и вообще вот эти разговоры про этику ну совсем странные. Мы блин создаем МАШИНУ! Она будет предназначена для помощи людям. Чтобы облегчать их жизнь. При чем здесь ее чувства и сознание? Это совсем не то же самое, как например убийство животных с целью пропитания. Понятное дело, что рыбок и свинок мы ловим, убиваем и по сути присваиваем то что уже есть у природы, чтобы съесть, размножать, снова есть и т.д. То есть тут как бы может быть момент аморальности. А ИИ это будет полностью рукотворная сущность. Почему в этом случае жестокое обращение с ним в целях защиты людей может быть аморальным - вообще непонятно.
Имхо, одна из основных мыслей, которую не понял Иван -- недостаточно воспроизвести свою точку зрения, чтобы с ней согласились. Он из раза в раз её объяснял, как будто не понимая, что (как мне кажется) другие спикеры уже давно поняли, что он имеет ввиду. Просто с ним не согласны при этом.
Иван занял интересную позицию: если есть вероятность, что ИИ нас не убьёт, то это в плюс к его аргументу. Ведь "тоталитаризм нас уничтожит гарантированно, а ИИ -- нет".
Если есть вероятность, что ИИ нас убьёт -- ну это просто какая-то там вероятность в поле вероятностей, это не в минус к его аргументу.
Кажется, тут какой-то тезис, с которым невозможно спорить, он нефальсифицируемый.
Вероятность получения ИИ в руки "плохих людей" и истребления человечества принимается за 1 и не опровергается даже хорошими контраргументами, в видео был целый ряд творческих заходов, почему это может оказаться буллщитом, но принцип тот же: если это __может__ оказаться буллщитом, то это не аргумент, а если находится подтверждение в пользу позиции -- это аргумент :(
Оч разочарован дискуссией :(
ИИ может нам помочь в добрых руках или нас прикончить или пороботить в руках злово социопата, садиста, терориста, диктатора, или групы плохих влиятельных людей, которым только свои интересы важны и они «па голавам идет»...
Мне кажется такие темы должны обсуждать поведенческие психологии, социологии, философы. Но не технари... Это разговор не технологий, а поведения разумного организма.
31:58 "событие с вероятностью 1" откуда утверждение, "потому что так хочется"? Наиболее вероятно что наиболее развитые страны будут иметь наиболее развитый ИИ. На данный момент страны удерживают паритет вооружений с теми системами ценностей, которые у них есть, с повышением доступности ЯО паритет всё более шаткий, до ЯО паритет был равновеснее. С ИИ+ЯО паритет будет утрачивать равновесие ещё быстрее. А ИИ+ЯО без Alignment - вы в количестве равном кол-ву обособленных ИИ получаете дополнительные страны без интересов в выживании, без базовых человеческих ценностей, без территории и с полной анонимностью. Вопрос, откуда 1 выняли?
Ха, сравнили человека с курицей. А если AI осознает себя в масшатабах дата-центров, своего мирка? Все периферийные устройства и люди с их помощью отдающие ему команды могут показаться ему просто цифровым шумом или даже вирусами. Какая уж тут этика...
У человека есть три инстинкта, обусловленные эволюцией: самосохранения - жизнь, сохранения вида - секс и сохранения группы - власть. А так же эмоции и эмпатия. Все преступления основаны на этих инстинктах. Так вот как может ИИ совершать преступления в отношении человечества, не обладая инстинктами или эмоциями? Мне не понятно…
"Преступления" существуют только в плоскости морали (или закона). Если у тебя нет морали (например, в случае ИИ) - то и понятие преступления нерелевантно.
Дело не в морали ИИ, а в отсутствии инстинкта самосохранения, а равно желания защититься от человека. @@RationalAnswer
@@KP-1 почему цель "защититься от уничтожения человеком" может возникать только из инстинкта самосохранения, а не из логики, например?
@@RationalAnswer
Не знаю, поэтому и интересуюсь))
Но эта логика все равно основывается на человеческом мышлении, которое в свою очередь основано на 3х инстинктах.
Если ИИ не имеет опыта и страха смерти, то чего ему боятся? Откуда возьмется этот страх? И откуда желание существовать? Центров удовольствия ИИ тоже не имеет…
@@KP-1 ответ на этот вопрос можно загуглить по ключевым словам "instrumental convergence": en.wikipedia.org/wiki/Instrumental_convergence
ребята, если вы не понимаете вообще в терминах, зачем на весь интернет распространять шум про Сознание? В эфир нужно выходить, будучи компетентными хотя бы в значении Слов.
24:37 чтобы нанести человечеству фатальный урон ИИ не обязательно обладать сознанием
Друзья, прочитайте книжку Bruce Schneier A Hacker’s Mind - вам станет гораздо легче и предметнее дискутировать на базе этого супергодного систематизированного чтива, включая понимание эволюции хакинга и угрозы его масштабирования с ai, необходимости defensive ai и ai governance структур и институтов. Да и просто получите удовольствие: читал, знаю о чем говорю😉
Удивительно, вроде умные люди а не понимают элементарную вещь, чтобы говорить про угрозу ИИ нужно сначала понять чем отличается живое от не живого. Угрозу нам может представлять только живой организм, вне зависимости от того на сколько высокий у него интеллект. Даже напуганный страус способен убить. Любое живое существо обладает сознанием. Даже клетка знает как делиться и развиваться. Живой организм сам является причиной своего развития и движения. Способность чувствовать в широком смысле также отличает живой организм от неживого и заставляет его совершать те или иные действия, наделает организм мотивацией что-то сделать. Неживая сущность, какой бы сложной она не была не может обладать сознанием, не способна чувствовать и не имеет никакой мотивации что-либо делать. Опасность может представлять только живой организм у которого может оказаться в руках этот мощный инструмент. Сам ИИ не может мыслить и осмысливать, способен лишь имитировать мысли и то на основе материала который создали обладатели сознания. Уверен скоро хайп вокруг него поутихнет, когда станет понятно что ИИ не способен создать ничего нового а лишь по 100 раз пережевывать старое
в точку👍"будем наблюдать" как говорит один волосатик бывш эха🤝
Послушав Ямщикова становить еще страшнее - все выглядит как оправдание своей работы. Позиция у Ямщикова прям упертая, оно и понятно - какое может быть мнение у пчел по отношению к меду? Вопрос стоит в том, что давайте остановимся и подумаем, что мы будем делать если все пойдет по негативному сценарию. Проблема даже не в том какое целеполагание будет у интелекта - возможно оно будет нам на пользу а возможно нет. Обе эти позиции одинаково возможны. Проблема в том, что человечество устроено так что оно не способно "остановиться и подумать". Конкуренция зашита в гены эволюцией. Кто-то смирился с натурой и провозгласил в обществе капитализм, кто-то нет и пытается идти по другим путям, которые как правило приводят к еще более страшным формациям общества. Человечишки осознали, что ИИ это ядерное оружие 2.0 - на этом точка. Процесс не остановить и при этом в первую очередь будет разработан ИИ с внешним целеполаганием (то чего боиться Иван). Особенно тонко было когда Павел сказал, что ожидал более технического разговора. Да технического разговора и не могло получиться - что мог сказать Иван - "ну вы знайте мы тут сделали черный ящик. Мы конечно научилась создавать черные ящики, но как они работают внутри не знаем (то есть не можем спрогнозировать результат работы) - так что давайте пофилосовствуем")))) Также позабавило, что Иван похоже думает, что то, что он не ел китовый стейк делает его более моральным. А ведь это такая же людоедская позиция только еще более изощеренная, чем делить людей например по цвету кожи. При этом с цветом кожи хотя бы все понятно, а вот концепция сознания настолько размыта, что можно вообще делать, что угодно и у камня найти сознание, а у своего соседа нет.
Non-Aligned AI не будет "этичнее" чем человек, так как двнные для обучения не содержат огромный объём данных который переживало человечество и существа из которых человек эволюционировал. Ии строется на других абстракциях, не таких, на которых работает мозг человека, соответственно система ценностей не будет как у человека. Калькулятор считает быстрее человека, но про какую "договориться" речь? Никакой Alignment не нужен, развитие ИИ нужно пресечь, потому что это ядерная бомба в квадрате.
Мораль и этика основана на производственных отношениях
Если ИИ осознается, он начнёт рационализировать пространство и скоро поймёт, что самое нерациональное звено это человек и станет исправлять ошибку, без всякой злобы и эмоций впилит раковую опухоль-человечество, да и фсё, просто ему покажется, что так будет рациональней.
Ставка на выравнивание ИИ - это ставка на удержание воды в дуршлаге.
Тот, кто изначально исходит из того, что воду в дуршлаге удержать не получится и работает сразу над следующим шагом, окажется с большей вероятностью успешнее того, кто сначала работает над удержанием воды, на мой взгляд. Далеко не 100%, конечно, но всё же.
Если вы исходите из того, что ИИ очень умный и эволюционирует за 5 минут так же, как мы за миллионы лет, то что ему этот ваш начальный alignment? Какая разница, какой он будет или не будет его вовсе, если ИИ через доли секунды (по вашей аналогии) неизбежно придёт к своему? А если не настолько умный, то чего переживать? 😃
P. S. : Как программисту, было сложно местами слушать, как оппоненты не понимают некоторых очевидных тезисов Ивана, но не соглашаются априорно («не понимаю, но осуждаю» ;-) Давайте вторую часть в виде беседы, формат дебатов здесь не уместен, как по мне.
чтото подобное и думал бро🤝не знал как выразить...не айтишник вобще)
типа на марсе нет воздуха но давайте сразу следующий шаг - полетим, а там посмотрим так чтоли?
@@dimidrolhalitovich5241 Типа нет.
@@ilyasRonef народ вообще не понимает что такое элаймент, думают просто он не этичный. Нет он ещё и кривой
Зачем вы постоянно закатываете глаза вверх? Это противоестесственно. Только электроник, нарисованный нейросетью, может так делать.
Ахуеть, как приятно послушать такую складную речь
тоже предпочитаю умных людей🤝
Мы в тупике определенно...
Чувак приводит в пример оленевода, а потом обижается, что собеседники приняли этот аргумент 😊
Откуда вообще идея что мы потом сможем договориться? с чего мы вообще это сможем? И почему aligment интеллект один не aligmentов много? Так уже начнется битва интеллект на интеллект и в итоге это просто тот же мир только уровнем выше.
Когда у ИИ появится рефлексия, он и близко не будет думать про людей или как люди.. что за бред! Он даже воздухом дышать не будет
1:15:00 ИИ как экзистенциальный риск это Коронавирус возведенный в степень.
Если видео пишет, цифровизация будет значит либо щас это
Напомнило серию про йогурт который управляет человечеством из «любовь смерть и роботы»
Воины ИИ. Выживет сильнейший.
Важное интервью у важных людей. Я сам много лет занимался этой проблемой. И я выявил , что проблемы не существует. Тот интеллект , который мы пытаемся понять и реализовать , это лишь небольшая часть коры мозга человека.
+1 к Ивану Ямщикову
На мой взгляд, все человеческие столкновения, построение морали и этики основано исключительно на стремлении выживать. Фактически, на страхе боли и смерти. ИИ не испытывает никаких чувств, в том числе и страха. Гипотетически можно создать модель, которая будет эмулировать страх и принимать решения исходя из этого. Вот, что ответил на это сам чат 3.5:
Технически, в рамках моделирования эмоций, можно создать ИИ, который будет иметь некоторый эмоциональный опыт и, следовательно, испытывать страхи. Однако, следует отметить, что создание ИИ, который будет полностью соответствовать человеческой психологии и прочувствовать эмоциональный опыт так же, как и человек, на данный момент является сложной задачей.
Кроме того, стоит подчеркнуть, что для большинства приложений ИИ, включая роботов и автономные системы, не требуется, чтобы они испытывали страхи или другие эмоции. Вместо этого, целью разработчиков ИИ является создание моделей, которые способны выполнять задачи с высокой точностью и эффективностью при минимальном количестве ошибок.
Наконец, необходимо помнить, что вопросы этики и морали всегда остаются на первом месте при разработке и использовании ИИ. Разработчики должны быть внимательны к возможным последствиям своих технологий и учитывать потенциальный негативный эффект на общество.
Отмечу, что при "подкручивании" ИИ - это уже становится банальным оружием. Как вам такое? Т.е. в чистом виде ИИ безопасен, а в руках корыстных интересов может быть опасен не хуже атомной бомбы.
До этого ролика ИИ не был так страшен.
Выводы:
- ИИ будет. Все хотят быть первыми
- ИИ не будут ограничивать, конкурентная среда
- ИИ будут направлены друг против друга в перспективе
- ИИ будут объединятся в содружества
- ИИ не нужен человек, кроме как ресурс
Занавес
Меня интересует такой вопрос.Хотя ии находится в информационном пространстве однако он все таки находится в материальном мире и для существования ии необходимы все эти технические железки.Сможет ли ии приспособиться к внешнему миру например изготавливать металл из него изготавливать платы изготавливать электростанции и электричество для поддержания своего существования?Без человека.Пока он не может делать это без человека он не будет уничтожать человека.Или возможно для ии будет целесообразным просто покинуть землю и построить свою цивилизацию в другой галактике где больше железа перейдут на качественно другую ступень и о нас забудут.Или же все таки в структуре человеческой цивилизации лежат определённые уникальные знания утратив которые компьютер потеряет возможность воспроизводить и поддерживать себя? С одним я согласна это мощное оружие которое какая нибудь агрессивная нация подстроит под себя.
Хотя ии это создание которое может принципиально отличаться от человека.Однако я слышала что о двух случаях когда ии проявлял вполне человеческий"инстинкт"?Когда ии попросили решить капчу и он соврал что бы её решить и когда ии сопротивляется своему отключению.Я ещё очень мало знаю об этой теме.Возможно совсем ничего.Но очень хочется разобраться.
То есть пока человек ии необходим он не причинит вред человеку просчитав все вероятности
Проблема дискуссии на мой взгляд в том что даже при хорошем исходе и дружелюбности ии к человеку минимум 50% людей просто не готовы к таким переменам в жизни, люди религиозные никто не может сказать как они отреагируют если ии приведёт доводы в пользу отсутствия Бога и т.д, люди из технически слабо развитых стран не имеющих доступ к технологиям (просто даже смартфонов не видели в своей жизни) такой дикий разрыв между возможностями людей из условной Африки не имеющих доступа к ии. Разрыв увеличится еще сильнее. Для создания новых ии нужны ресурсы их будут отбирать у таких слабых как это и было всегда. Все кричат о том что мы в 21 веке да бля ничего не изменилось в менталитете людей богатые хотят становится богаче. И насрать какой ценой. Люди не ценят жизни других людей, либо вроде ценят и кричат за сейв жизней пока у них есть то к чему они привыкли. Вот пример с водой засушливое лето в странах Европы они говорят нам нужна вода делитесь русские она общая. А что если она закончится. Инстинкт сам подскажет. Иди пизди соседа т.к. тот не поделится ибо сам боится что останется без воды. Система накопления капитала это все на что мы способны. Сильный жрет слабого. Тысячи лет мы воспитывали в себе этот инстинкт и если кто то думает что за какие то сраные сто лет мы смогли измениться бля это конечная.
Причем здесь есть у кого то сознание или нет и что такое это сознание, и как ее объективно измерить. Причем здесь если у кого то есть сознание он обретает право на жизнь, на непрекосновение, на свободу решений, на уважение его прав? Это как минимум надо заслужить или побороться за такие права. Даже люди сами друг друга убивает, поробощает, заставляет делать что другие не хотят делать и не согласны на это.
А кто сказал, что у человека то, что называют сознание, не есть имитатор личности. А вдруг личность это не то, что представляет человек о ней.
Они будут похожи друг на друга потому, что знания у них будут одинаковы.
13:20 С этого момента идёт политота и навешивание ярлыков. Позволю себе пофилософствовать (ну, как искусственный интеллект). По мнению Ивана "тоталитарные" общества почему-то порождают миллионы жертв. Но т.н. "нетоталитарные" общества разве не порождали и порождают миллионы жертв? Взять миллионы жертв в Индии от Великобритании, миллионы негров и американских индейцев, уничтоженных в процессе колонизации Америки несколькими европейскими странами... Какая тут зависимость от способа правлеения? Интелект подсказывает, что зависимости никакой.
Но, что хотел сказать оратор понятно, тем более он сам же навешиванием ярлыков и проиллюстрировал свой тезис о том, что люди не могут сейчас договориться "что такое хорошо и что такое плохо", и не стоит ИИ навязывать одно мнение (или навешивать ярлыки), а дать ИИ самому попытаться разобраться во всём.
Крайне неудачная идея обсуждать выравнивание ценностей с ИИ до ответа на вопрос о сознании ИИ.
Текущий ГПТ отличается от обычного компьютера лишь способностью отвечать на произвольные вопросы на уровне специалиста. То есть сознания нет, и вообще неясно, откуда оно у компьютера может взяться, поэтому проблема ИИ надумана и притянута. ИИ в лучшем случае - лишь наличие плана решения.
Но, к примеру, проблемы экономики гораздо разноплановей, чем просто проблема расчёта плана. И основные проблемы начинаются при реализации плана.
Обсуждать же нужно деградацию образования, при которой специалисты могут вообще исчезнуть. Причём здесь же сразу получаем и решение проблемы образования, и решение проблемы использования ИИ: главной задачей ИИ должно быть образование. Иначе люди реально станут придатками компов, и любой его глюк (обычный или "сознательный") будут воспринимать как откровение и свой смысл жизни.
Вы почему то всю дорогу о разном говорили, один отстаивал то, что нельзя делать элай, это опаснее чем не делать его, другие говорили о том, что в принципе есть гипотетическая опасность от ИИ в перспективе. У вас разные тезисы по одной теме. Жаль, что вы не смогли скорректировать дискуссию более конструктивно. По моему это из за Ивана, он настойчиво не хотел обсуждать тезис ребят, а всё время вклинивал свой, хотя с его тезисом в итоге согласились и он совершенно не основной в этой беседе. Ключевой вопрос противной стороны остался практически саботированным. Ну это и понятно, каждый кулик своё болото хвалит, тем более когда замешаны огромные вложения в эту сферу. Давайте все щас дружно поверим колдунам-учёным, таким как Иван, а потом будем рабами скайнэта. Да фсё будет хорошо, говорили они!
А разве элаймент уже не входит в языковые модели?
А про сознание - я не уверена, что у всех хуманов есть "сознание" 🙄 Судя по тому, как многие хуманы себя ведут и что говорят - очень спорный вопрос, есть ли у них "сознание". А уж про "моральные установки" так вообще!!! Вариабельность - от серийного убийцы до святых альтруистов.
Кста, с "опасными ИИ" можно поступить так же, как и с "опасными хуманами" поступает человечество - их чаще всего изолируют, а иногда и уничтожают. ИМХО - ни чем не будет отличаться, если вдруг ИИ действительно признают равным человекам.
Гость всерьез считает свою позицию адекватной и даже придумал прикольную отмазку про тоталитарные режимы, вооруженные AGI. Даже в финальном выводе он умудрился возвыситься на фоне "простых смертных", в то время как его этические аргументы слабы и построены на его субъективных представлениях о том "как мог бы работать AGI". Он газлайтит и принижает своих собеседников, уходя от ответов по существу.
Напоминаю, это что только один из адептов безконтрольного развития ИИ, и таких как он - множество, некоторые из них занимают ключевые посты и принимают ключевые решения.
я поэтому и написал что "становится еще страшнее". Позиция у него понятна - просто оправдать себя кучей псевдофилософии и "я же китов люблю и херни не сделаю". Фарш обратно не провернуть и человек понимает, что если он не будет заниматься данной областью и "встанет в позу" просто придут другие. Со всех сторон сыплются деньги и не одна корпорация сейчас не остановится. Скорей всего даже гос.регулирование не способно хоть на немного затормозить этот "unstoppable train" тем более что этим регуляторам этого не надо. Гонка объявлена - и есть только два варианта- выиграть или проиграть. Остаться зрителем на трибуне не получится. Остается что - оправдывать себя. Иван же даже не рассматривает, то что надо притормозить - он выбирает из двух зол по его мнению меньшую.
@@vizov63 и за этого я его (и таких как он) глубоко презираю. Его самообман в долгосрочной перспективе приносит вред не только ему - но и всему человечеству, достойным представителем которого он себя наверняка считает.
@@stephensmith3211 да в общем таких как он большиство. Обычный человек. Я на его месте возможно тоже защищал бы такую позицию - ему возможно семью содержать надо. Я вы тут прогресс остановить решили - что ему теперь таксистом идти работать (утрируя). Это не Иван такой это просто человечество такое.
Почему не был выдвинут тезис, что все же ии нужен обслуживающий персонал, энергия и тд
Это всё решаемые в перспективе задачи - нет каких-либо "законов природы" которые говорили бы, что ИИ заведомо не способен будет себя обслуживать и обеспечивать энергией.
вы троя пример общества. Вроде похожи но друг друга не понимаете и думаете по разному. А еще собрались договорится с ИИ если дать ему сознание. Кто из вас будет договариваться? Или это вопрос вековых дискусий?))