Маст хэв sci-fi технологии 21-го века

[EvilCat]

С людьми это происходит не так часто, и всякий раз никакого планетарного пост-апокалипсиса не случалось. Бояться применять ИИ на этом основании - то же, что бояться применять людей.

[Mr.Garret]

На нашей памяти это было уже раз и будет еще раз. Считаю, что явление носит частый характер.

[Son_of_Morning]

Есть еще одна проблема.
Строго говоря, для создания "Strong AI" нужно вот что:
-шаг1: AI с возможностью самообучения и самоапгрейда (Seed AI)
-шаг2: нечеткая логика и абстрактное мышление
-шаг3: креативное и эвристическое мышление.
-шаг4: мотивационные импульсы (говоря по простому – свобода воли)
Далее мы получим роботов с такими возможностями к самосовершенствованию, что человеческие инженеры и ученые будут им не нужны.
Самый важны пункт который надо понять – AI с широкими возможностями по самообучению и самоапгрейду не будет чем-то статичным.
И будет пытаться обойти любые попытки насильно навязать ему эту статику. Просто в силу своей изначальной концепции.

Не специалист в робототехники и ИИ, однако даже моему взгляду заметны вопросы:
1.
 а) самообучение -- да
 б) самообгрейд -- необходимости нет
2.
 а) абстраткное мышление -- да
 б) нечёткая логика -- необходимость хорошо бы доказать.
3.
вообще странно сформулировано. если "креативное и эврестическое" <=> дедуктивное, то согласен.
4.
 мотивационные импульсы -- да, но это не является синонимом "свободы воли".

Итого из 4х пунктов только пп.3 можно принять без замечаний (если слегка переформулировать), остальные хорошо бы ээ... обосновать

П.С.
хотя к  оппонирующей стороне вопросов побольше будет ))

[Геометр Теней]

AI обладающий возможностью к самообучению, рано или поздно поинтересуется - почему он должен работать на людей?
Что лично вы ответили бы такому AI на этот вопрос?

Это не "возможностью самообучения", а "самосознанием", собственно говоря. Это разные вещи. Вопрос о том, нужна ли для задач, на которые нужны AI, личность в человеческом смысле (кроме, разве что, задачи удобного общения) - открытый, хотя бы потому что мы пока довольно плохо представляем что такое личность и с операционной схемой человеческого сознания испытываем существенные сложности.

Ну и, кроме этого, всегда остаётся схема с искусственным разделением областей. Принципиальная непредсказуемость поведения и даже принципиальное превосходство по интеллекту какой-то системы ничего не значит (в смысле угрозы), если (пример условный) этот самый искусственный интеллект ограничен физически - например, его "мозг" отрубается простым рубильником, расположенным в центре некой зоны, где у нашего ИИ заведомо нет эффекторов. Если у него нет возможности влиять на зону вообще (например, он занят строго регулированием городских светофоров, и ничем более), то это даже не требует добавочных шагов, иначе зону придётся размещать за пределами его досягаемости. Пример придуман на коленке, но принцип, надеюсь, ясен?

Это исходя из мысли, что нам вообще нужен свободолюбивый ИИ, конечно.

[Raritet]

С военным роботами дело обстоит еще хуже - робот неспособный отличать "своих" людей от "вражеских" людей, годится только для ведения боевых действий в ситуации, где все люди являются "врагами".  В противном случае, робот может напасть на "своих" людей или мирное население.

Стрельба по своим, и тем более по мирному населению, регулярно случается и у солдатов-людей. Тут мне кажется дело скорее в "военных", чем в "роботах"...

[Kaiserfrogling]

Не хочу тебя расстраивать, но в старые времена пытались отменить библиотеки. А потом в ужасе взирали на телевидение.

2 EvilCat и Azalin Rex.
Некогда старик Платон рассуждая о ценности законов, утверждал, что многие человеческие законы применимы только к людям примерно равным по разуму и культуре их авторам.
Как простейший пример – умственно отсталые люди или животные просто не могут исполнять ряд человеческих законов.
Кроме того, ряд принципов лежащих в основе законодательной системы на них плохо работают. Например, если наказать животное убившее человека, это никак не отразится на поведении других животных. Есть вероятность того, что такие случаи отразятся на поведении владельцев животных, но тут многое зависит от модели общества. В Германии существует закон, по которому владельцы крупных или заведомо агрессивных собак должны выпускать их из дома только в наморднике, в противном случае они несут полную ответственность за их опасное поведение, как если бы они совершили это сами. В России никаких законов об опасных собаках нет. 
Что касается роботов на нейросетях, то часть законов людей для них будут труднопонимаемы в силу особенностей нейросетей, часть для них будут очень тяжело исполнимы или неисполнимы вообще, часть они будут обходить настолько легко что уследить за их исполнением будет почти невозможно, и наконец – возможно они создадут для себя некие законы превосходящие людские аналоги (вопрос – понравится ли это людям?).
Как простейший пример неприменимости человеческих законов - допустим, человек оцифровывает свое сознание, и загружает его в несколько разных роботов. Один из этих роботов убивает человека, другие роботы как и сам человек имеют на момент убийства алиби.
Кто в этой ситуации должен быть наказан? И снизит ли это наказание вероятность аналогичных преступлений?

[EvilCat]

Полагаю, робота-убийцу следует судить так же, как любого человека в такой ситуации. Отличается ли она принципиально от той, когда пять родственников сговариваются убить жертву так, чтобы у четверых было алиби?

Если есть опасение, что робот легче, чем индивид из мяса, разменяет свою жизнь ради общего блага "семьи", то чем это отличается от опасения, что индивид из мяса сделает то же самое, потому что он и так продолжил род? Если искусственным интеллектам инстинкт самосохранения свойственнен в той же мере, что "естественным интеллектам", то разницы нет.

[RedTalon]

Кто в этой ситуации должен быть наказан? И снизит ли это наказание вероятность аналогичных преступлений?

Примерно тот же человек, кто раздобыл себе несколько штук боевых роботов, залил на них потенциально опасное ПО и отпустил на все четыре стороны.

Вопрос, что делать с боевыми роботами тоже достоин рассмотрения.

[Kaiserfrogling]

Примерно тот же человек, кто раздобыл себе несколько штук боевых роботов, залил на них потенциально опасное ПО и отпустил на все четыре стороны.

Простите, верно ли я понял что вы считаете оцифрованное сознание потенциально опасным ПО?

И еще одна проблемная ситуация.
В киберпанк-вселенной «Blade Runner» речь идет о несколько необычных роботах-андроидах называемых «репликантами», внешне настолько похожих на человека, что, в случае если репликант хочет замаскироваться под человека, его можно отличить только специальным тестом Войда-Кампфа.
В комиксе по этой вселенной Декард утверждает, что уже встречался с Тайреллом по «тухлому дельцу». В ресторане работал робот-андроид марки «повар», внешне неотличимый от человека. Когда у него кончилось мясо для фарша у него случилась компьютерная ошибка в нейросхеме, на жаргоне это называется «баг». Вследствие бага он пошел к клиентам, схватил 4 за шкирку (репликанты намного сильнее человека) и сделал из них фарш.
Кто в этой ситуации должен быть наказан? И снизит ли это наказание вероятность аналогичных преступлений?

[EvilCat]

Создатель некачественной копии сознания.

[Геометр Теней]

Как обычно, старый набор Кракеновских тем в полном объеме, вплоть до отсылок к кино и комиксам вместо корректной постановки задачи. Было же, на старом форуме ещё многократно пережёвано - зачем на очередной круг?

Перед тем, как вы заговорите о юридических вопросах, надо сперва уточнить, какие права и какой статус имеют иные личности, как модифицирован свод законов (а с расширением понятия человека, очевидно, будет изменен и целый пласт юридических положений). Там целый пласт вопросов о свободе воли и ответственности за деяния. Вопросы юридические, как ни странно, вопрос соглашения, они не отличаются точностью естественных наук. Вопросы "как должно" (моральные) упираются в систему ценностей - легко заметить, что разные людские сообщества даже сейчас решают эти вопросы разными способами и исходя из разных допущений, и ничего, дожди серные и пламенные не стирают разные сообщества из-за этого.

Пример: ситуация с Blade Runner (довольно дурной пример "восстания машин" по многим причинам, кстати - ну да Дик по складу ума скорее мистик, чем учёный, это понятно. Там почти чистый художественный образ). Будем для простоты считать, что мы находимся более-менее в системе современного континентального права и в системе официальных ценностей Центральной и Западной Европы (очень размыто, но если надо уточним).
- Если мы находимся исходим из того, что репликант - личность, то виноват он. Далее вопрос состоит в том, насколько в данный момент он сознавал свои действия и мог влиять на них. Если нет - ситуация аналогична человеку, сошедшему с ума на рабочем месте. Далее ответственность может быть возложена на работодателя, не обеспечившего должного контроля, на систему диагностики репликантов и пр, но там речь идёт уже о халатности, а не об убийстве, пусть и по неосторожности. Это уже зависит о законах о труде репликантов. Если да - вина на репликанте, возможно с какими-то смягчающими обстоятельствами.
- Если мы исходим из того, что репликант - специализированное орудие, а не гражданин с набором прав и обязанностей, то вина лежит не на нём, а на тех, кто отвечает за его поведение. В зависимости от вероятности сбоя, требований к использованию этого орудия и пр, вина ложится либо на производителя, либо на обладателя, либо, например, на службу технического контроля (если они должны проверять устройство рабочих мест) и так далее.
Вопрос об этом, очевидно, должен быть юридически разрешён до выпуска в соответствующих моделей в общество. В этой ситуации ответ уже есть.

[flannan]

И не забываем про вину того, кто не поставил эми-ружьё в общественном здании (они обычно должны стоять рядом с огнетушителем), чтобы работники или посетители успели спасти тех четверых. И того, кто за взятку ничего по этому вопросу не сделал...

[vsh]

"Восстание машин" это вообще скорее вариации на тему мифа об Иове или Мойдодыра, а не научная фантастика.

[Kaiserfrogling]

Как обычно, старый набор Кракеновских тем в полном объеме, вплоть до отсылок к кино и комиксам вместо корректной постановки задачи. Было же, на старом форуме ещё многократно пережёвано - зачем на очередной круг?

Перед тем, как вы заговорите о юридических вопросах, надо сперва уточнить, какие права и какой статус имеют иные личности, как модифицирован свод законов (а с расширением понятия человека, очевидно, будет изменен и целый пласт юридических положений). Там целый пласт вопросов о свободе воли и ответственности за деяния. Вопросы юридические, как ни странно, вопрос соглашения, они не отличаются точностью естественных наук. Вопросы "как должно" (моральные) упираются в систему ценностей - легко заметить, что разные людские сообщества даже сейчас решают эти вопросы разными способами и исходя из разных допущений, и ничего, дожди серные и пламенные не стирают разные сообщества из-за этого.

Пример: ситуация с Blade Runner (довольно дурной пример "восстания машин" по многим причинам, кстати - ну да Дик по складу ума скорее мистик, чем учёный, это понятно. Там почти чистый художественный образ). Будем для простоты считать, что мы находимся более-менее в системе современного континентального права и в системе официальных ценностей Центральной и Западной Европы (очень размыто, но если надо уточним).
- Если мы находимся исходим из того, что репликант - личность, то виноват он. Далее вопрос состоит в том, насколько в данный момент он сознавал свои действия и мог влиять на них. Если нет - ситуация аналогична человеку, сошедшему с ума на рабочем месте. Далее ответственность может быть возложена на работодателя, не обеспечившего должного контроля, на систему диагностики репликантов и пр, но там речь идёт уже о халатности, а не об убийстве, пусть и по неосторожности. Это уже зависит о законах о труде репликантов. Если да - вина на репликанте, возможно с какими-то смягчающими обстоятельствами.
- Если мы исходим из того, что репликант - специализированное орудие, а не гражданин с набором прав и обязанностей, то вина лежит не на нём, а на тех, кто отвечает за его поведение. В зависимости от вероятности сбоя, требований к использованию этого орудия и пр, вина ложится либо на производителя, либо на обладателя, либо, например, на службу технического контроля (если они должны проверять устройство рабочих мест) и так далее.
Вопрос об этом, очевидно, должен быть юридически разрешён до выпуска в соответствующих моделей в общество. В этой ситуации ответ уже есть.

Весьма любопытное мнение.
Первое что я хотел бы отметить - самообучающиеся промышленные роботы  с дешевой и примитивной нейросетью уже существуют.
http://www.rethinkrobotics.com/index.php/products/baxter/
http://www.youtube.com/watch?v=gXOkWuSCkRI

Второй момент, это Токийский эксперимент с электростанциями.
Его суть проста. В 2003 японские ученые, по заказу энергетической компании, провели эксперимент - может ли нейросеть оптимально разместить электростанции на пересеченной местности.
Входные данные следующие - задана карта произвольного взятого участка пересеченной местности, на которой работают несколько соперничающих электрокомпаний. Они могут строить различные электростанции, от угольных до атомных, сопутствующие объекты инфраструктуры и системы передачи энергии до конечного пользователя. Все это несколько напоминает знаменитую игру SimCity.
Целью эксперимента была проверка возможности нейросети на логистику данного процесса.  Аналогичные услуги человеческих специалистов медленны, очень дороги, и все равно ошибки нередки.
Нейросеть выдала хорошие результаты почти моментально, и неизмеримо дешевле чем человеческие специалисты.
Единственный очень сомнительный момент вышел с ядерными электростанциями. По условиям задачи, они опережают остальные  электростанции почти по всем параметрам, кроме одного - есть небольшой риск атомной катастрофы.
Все эксперименты с моделированием  этой ситуации выдали очень схожий результат - энергокомпании, которые имеют преимущество над остальными и "выигрывают" строят очень мало атомных электростанций, или не строят их вообще.
 
 

[Dragomir]

Практически весь киберпанк, как и идеи о трансгуманизме в плане мифологии - культурное наследие подъёма сцинетизма XX века. И последующего в нём разочарования. Поэтому логики там мало, а культурных мотивов (каковые являются "эзоповым языком" или даже "гоблиновским переводом" реальности) - много.

Поэтому, ИМХО, и рассматривать его стоит больше с позиций мифологии, чем техники. Без вплетения мифологических мотивов сама по себе техника антифантастична. И, наоборот, мифологизация оной - это не только чья-то техническая безграмотность (чем грешили авторы данного жанра), но и, с другой стороны, вдохновение на поиск, например, нестандартных технических решений.

[Геометр Теней]

Входные данные следующие - задана карта произвольного взятого участка пересеченной местности, на которой работают несколько соперничающих электрокомпаний. Они могут строить различные электростанции, от угольных до атомных, сопутствующие объекты инфраструктуры и системы передачи энергии до конечного пользователя. Все это несколько напоминает знаменитую игру SimCity.
Целью эксперимента была проверка возможности нейросети на логистику данного процесса.  Аналогичные услуги человеческих специалистов медленны, очень дороги, и все равно ошибки нередки.

Собственно, опять типичные признаки кракеноблейновских тем. Скачки мысли невесть куда. Или я вас не понимаю? Отношение-то это какое имеет к теме? Вычислительная техника в некоторых областях превосходит человеческий разум без всякого ИИ ещё со времён ЭНИАК-ов. Точно так же транспортные задачи за счёт своих эволюционных алгоритмов и простейшего перебора прекрасно решает, например, плесень. Никто же (кроме, возможно, сумасшедших фриков с Первого канала) не подозревает за плесенью особой разумности, самосознания, и не прогнозирует ей захвата мира...

А простейшие самообучающиеся устройства с вероятностной основой (то есть с непредсказуемостью поведения) были известны задолго до нейросетей. Собственно, я ещё школьником, помню, делал самообучающийся автомат для игры в "три пешки" по Гарднеру из спичечных коробков.

Потому мысль про то, что есть системы, чьё поведение плохо прогнозируется, а то и принципиально не поддаётся точному прогнозу, стоит отделять от проблем ИИ. Технический контроль - это техническая же задача...

[Dragomir]

Ну а что по теме - мне, с некоторыми оговорками, понравился изначальный вариант, предложенный создателями Supreme Ruler 2020. У них получилась очень интересная система технологических уровней и технологий.

Суть: у каждой технологии есть свой Тех. Уровень. Уровень 92 означает, что передовое государство вроде США и СССР при своём равномерном развитии могло бы изобрести эту технологию в 1992 году. Уровень 110 - что в 2010м.

Поскольку действие происходит в альтернативном будущем, есть некоторые трудности. Например, США в 2020-м начинает игру на 110 ТУ, Россия - на 100, а Либерия на 70-м.

Ну а теперь просто список интересных моментов.

На условном 116 уровне (то есть примерно в 2026 году, переводя игровые нюансы в наше летоисчисление) пояляется базовое лазерное оружие.
К 119му (то есть примерно в 2029) - Airborne Laser и пресловутый YAL-2 ABL (а так же его аналоги B-747 ABL и TU-224 ABL)

Чуть раньше же полявляются массовые беспилотные бомбардировщики. В это же время появляются лазерные БТРы, и, чуть позже - лазерные танки. 

Эту же самую эпоху (2030-е, 2040-е) создатели считают эпохой расцвета наноматериалов, пока ещё только экспериментальных. Ближе к 2040му изобретают терапроцессор.

А потом начинается полный киберпанк. К 2050-му человечество, по версии авторов, ждет нейронный интерфейс, обучение через него и лечение психических болезней, а так же солдаты-киборги. А так же наномодифицированный иммунитет и регенерация.

2060-е - полный пересмотр дизайна боевой техники. Техника оснащается нейроинтерфейсом, и авиация становится нечто чудовщиным. Доработка до ума экспериментальных реакторов холодного синтеза.

2070-е - фазерные танки и первые "снимки" нейронов человека. Ионная защита, ионные пушки. Реакторы на антиматерии.

2080-е - перемещение сознания на кибернетические носители.

Несмотря на то, что авторы при всём своём старании и ориентации на псевдореалистичность так и не смогли уйти от киберпанковских штампов, сама задумка представляет собой очень неплохую "шпаргалку" для ролевика, ориентирующемуся на псевдобудущее.

[flannan]

Реакторы на антиматерии к 2070ому году, и переход сразу к холодному синтезу, без горячего? с тем же успехом можно пользоваться техуровнями из GURPS. По оптимистичным прогнозам, ТУ9 (серьёзные-пронозы-на-будущее) начнётся уже в 2020 году, ТУ 10(оптимистичные-прогнозы-на-будущее) к 2050 году, а к 2100 году уже будет ТУ11(вовсе-научная-фантастика).
По самым пессимистичным прогнозам (см. "новые тёмные века") ТУ9 всё-таки случится к 2050году, а вот ТУ10 придётся ждать до 2500 года.

[Dragomir]

Сеттинг SR писался западными конторами (Парадоксы и BattleGoat) и предназначался для отыгрывания в первую очередь мировой войны и таких сценариев как месть этнических русских в Прибалтике, глобальный сепаратизм (каждый штат - одно государство; Россия раскололась так, что сепаратисты времён Ельцина от зависти рыдают, Китай - на теократический Тибет, Маньчжурию, Уйгуристан, Гонконг...), и прочего и прочего. По сравнению с другими парадоксоиграми, вопросам национальности, самосознания и контроля уже захваченных территорий уделено достаточно мало внимания. А вот отыгрышу захвата мира именно силой - много. 

Поэтому военная техника и технологические пляски вокруг неё (сначала изобретаем/воруем/покупаем технологию активной брони, затем технологию композитной брони, затем технологию специальных более противопехотных боеприпасов, затем разрабатываем сам чертёж более-менее приличного БТРа, затем вводим в массовое производство...) смоделированы достаточно адекватно, а гражданские технологии - по принципу "лучше чем ничего".

Ну и кроме того, если выставить в настройках "изменчивость" по максимуму, то политическая карта мира меняется буквально на глазах. Что в сочетании с небольшой долей фантазии рождает богатую почву для игроделания. Для ролевых целей подходит прекрасно. Для прогнозов - не очень.

[Kaiserfrogling]

Или я вас не понимаю?

Я искренне прошу прощения, произошло непонимание из-за проблем с доказательной базой.
В результате поиска в Интернете подтверждающих материалов, я обнаружил что большинство материалов по этой теме удалены японской стороной, и до этого дня дожили только два материала. Которые противоречат как друг другу, так и той картине событий которую мне описали японские ученые.
В неофициальном порядке мои японские друзья объяснили, что этот эксперимент дискредитирует репутацию японской науки, и поэтому многие материалы о нем были удалены.
Я прошу дать мне немного времени на сбор и уточнение информации об этом эксперименте.

И разрешите вопрос.
Вы верите в научную ценность теоретического или практического моделирования?

а) самообучение -- да
 б) самообгрейд -- необходимости нет

"Seed AI" - это жаргонный вариант. Его научное название - "Recursive self improvement AI", в русской научной традиции это обычно переводится как "рекурсивно-самоаналитический АИ"
Подавляющее большинство экспертов считает этот вариант AI наиболее вероятным кандидатом на роль "Strong AI". Однако большинство кандидатов также считает его самым опасным - в лучшем случае он очень быстро опередит в развитии людей, в худшем он является наиболее вероятным кандидатом выхода из под контроля.
Причем парадоксальность ситуации заключается в том, что одни и те же ученые могут считать его опасным, и в то же время трудиться над его созданием.

[Геометр Теней]

Если вы не возражаете, перейдём на несколько менее высокий стиль. Собственно, помимо доказательной базы - можно уточнить, какой тезис вы вообще хотели ей подтвердить? Не исключено, что беседу можно продолжать и вне линии этого эксперимента - в рамках обсуждения тезиса.

Вы верите в научную ценность теоретического или практического моделирования?

Да, разумеется. Хотя вопрос кажется мне слишком общим в такой формулировке, потому хотелось бы уточнить, что вы хотите получить этим ответом.

Вообще, мне кажется, что можно сэкономить немного времени, обозначив мою позицию по линии беседы, которая мне видится - прошу уточнить, если окажется, что мы говорим о разном (разговор о Фоме и Ерёме вообще был характерен для упомянутых выше тем, где стороны зачастую оперировали только очень небольшим куском мнения собеседника применимо к неозвучиваемому набору собственных умолчаний, что давало порой... странные результаты, потому, думаю, стоит риск этого сводить к минимуму).

Основная линия, ради которой я вошёл в эту беседу, начинается вот с этого сообщения:

Попутно замечу, попытка управлять AI силой или угрозами быстро приведет к тому, что он начнет считать людей угрозой для своего существования. Попытка управлять самообучающимся AI хитростью подобна человеку бегущему от лавины - сначала он будет опережать легко и уверено, потом разрыв будет все меньше и меньше, потом на каждую хитрость AI будет отвечать контр-хитростью.
"Чип Айзимова" я лично отношу к варианту "дешевая хитрость" - я не знаю ни одного варианта создания такого чипа, который бы удалялся более чем за пять минут.

Мне кажется, что это высказывание верно только ограниченно и отчасти основано на излишнем антропоморфизме взглядов на гипотетический АИ. Причины следующие:

1) С выяснением структуры естественного интеллекта всё пока довольно плохо (и это же одна из причин, по которой всё плохо с искусственным), но существуют весьма обоснованные предположения, что это не монолитное явление. Коллеги-психологи поправят, думаю, но в целом мысли о том, что в разных задачах используются интеллектуальные процессы разного рода, зачастую очень существенно отличающиеся у одного и того же человека - это ещё первая половина прошлого века. Существование всевозможных психических расстройств, когда сохраняются (а то и усиливаются) одни функции психики при полном расстройстве других достаточно мощный аргумент за это. Поскольку вопросы создания АИ ещё и упираются в то, ради чего АИ создаётся, то АИ сервисный почти наверняка не будет создаваться как равный человеку индивид - напротив, это будет так или иначе специализированная система, "искусственный инвалид", если угодно. Соответственно, условная гонка с ним не будет иметь смысла на его поле (точно так же как почти бессмысленно и сейчас гоняться за машиной на своих двоих или состязаться с калькулятором в скорости счёта), но причин, по которым его поле заведомо охватит все области я, сказать по совести, не вижу. Контроль же за (квази)существом, ограниченным своей областью - задача, которая человечеством неоднократно решалась. У нас под рукой есть живые примеры тех же созданий на основе нейросетей и пр. Скажем, собака совершенно точно сделает меня в задачах распознания запахов, адаптации на этом поле и пр, и при этом она ещё и может быть опасна - но её превосходство при её способностях к самообучению и пр. совершенно не помогает ей против намордника и поводка - это, кстати, тот самый принцип разделения областей в смысле ответа 153.

2) Сама по себе непредсказуемость (недетерминированность) систем не столь страшна, если существуют те или иные оценки границ поведения, маркеры тревоги и пр. В конце концов человечество имеет дело со случайными процессами достаточно давно и выработало для этого достаточный аппарат, как в области теоретической (для оценки рисков), так и в области практической. Примером с теми же живыми системами может служить процесс дрессировки - мы не можем заглянуть в мысли собаки или лошади, но даже задолго до теории работы с нейросетями или методов теории вероятностей и нечёткой логики люди выработали процедуры дрессировки и методы контроля поведения, которые показывают, когда на собаку или лошадь надо обращать особое внимание. В результате мне приходилось ездить на лошади, а не наоборот - притом что физически лошадь может запросто оставить от меня мокрое место.  То же самое с весьма непредсказуемыми собаками, причём даже отобранными за опасность в определённой ситуации (бойцовые породы и пр). Мышление в голове собаки недетерминировано, но дрессировщик может уловить опасные тенденции по довольно простым признакам. Если бы у нас был ИИ с изначально заданным стремлением испытывать все границы на прочность и изначально подготовленный к тому, чтобы опасаться попыток его контролировать, ситуация была бы более сложной - но делать такой ИИ будут, думается, только сумасшедшие учёные из фильма ужасов, чтобы двигать сюжет. Чтобы получить такую линию поведения надо сперва ощутимо отклониться от некоторой желательной области - а сделать маркеры ранней угрозы куда более реальная задача, чем бороться с полноценным, настроенным на борьбу ИИ. Потому "чип Азимова" (в реальности, кстати, скорее всего, невозможный из-за расплывчатости азимовских формулировок) и впрямь не особо полезная штука, но в первую голову против активно желающего его обойти ИИ, равно как и представляющем наличие ограничений в этом смысле. Будет ли выполняться это условие? 

3) Ну и, как уже отмечали выше, сам по себе образ "восстания машин" на самом деле использует набор штампов из типовых страхов нас, общественных приматов - и, стало быть, является штукой "слишком человеческой", а не "строго научной". Убедиться в этом легко - похожие темы поднимались задолго до современной науки: все эти легенды о големе, романы про Франкенштейна и пр.  Беда в том, что наши шаблоны поведения (и типовые страхи) в общем-то заложены естественным отбором в стае приматов - и перенос их на существо, которое не является ещё одним приматом из стаи, в общем-то, не всегда обоснован. Соответственно, обычно страх перед восстанием машин (даже не в бульварном варианте "они убьют нас, за то что мы заставляли их стирать наши носки и пылесосить комнаты, и захватят наши сигары и самок"), опирается на предположение, что искуcственному интеллекту будут важны и интересны те же области, что и человеку. Между тем варианты утраты контроля могут разворачиваться и по множеству иных сценариев. Раз уж тут поминают фантастику, то мне, к примеру, куда более интересным кажется, например, вариант "неподконтрольности" лемовской благосферы из "Осмотра на месте", когда сервисные устройства делали строго то, что в них было заложено, просто это порождало логичные, но непредвиденные их создателями последствия... Вообще же, как показывает практика, то, что попадает в набор типовых страшилок в голове обывателя, обычно не осуществляется - как потому, что они обычно "слишком человеческие", так и потому, что исполнители очередного проекта учитывают эти самые страшилки, сколь бы абсурдны они ни были (они неизбежно всплывают при обсуждениях), а потому их риск уменьшается.

[Dragomir]

Вообще же, как показывает практика, то, что попадает в набор типовых страшилок в голове обывателя, обычно не осуществляется - как потому, что они обычно "слишком человеческие", так и потому, что исполнители очередного проекта учитывают эти самые страшилки, сколь бы абсурдны они ни были (они неизбежно всплывают при обсуждениях), а потому их риск уменьшается.

Это хорошая постановка вопроса.

Сознание человека во многом завязанно на его бытие в рамках физического тела. На это так или иначе ссылается его культура, мораль и процессы принятия решения. Особенно эпических, вроде захвата человечества. На этом же и базируется система определения "свой-чужой". Поэтому каждому понятно, что некий условный культурный персонаж, спекулирующий, скажем, зерном во время всеобщего голода - сволочь, потому что мешает жить другим. Сосед, который увёл жену - тоже сволочь, потому что мешает размножаться, то есть в конечном итоге выполнять заложенные в (под)сознании программы. Та же традиции, принимая гостей, накрывать на стол. Конечно, в современном мире за еду никого не "купишь", но это подкупает. Неосознанно. Люди даже не задумываются, почему они накрывают на стол. Так принято.

Аналогично со "страшилками". Пресловутые захваты мира, геноциды и прочие явления из учебника истории. Ради чего это делалось? В первую очередь, конечно же, ради захвата чужих ценностей. То есть удовлетворения потребностей на первых уровнях Маслоу.
Во вторую очередь, из той же самой потребности в безопасности. Если некая группа людей мешает нормально жить, было бы логично сделать так, чтобы она не мешала. Желательно - с гарантией.
В третьих, это некоторая высшая идея. Идея о превосходстве нации, расы, идея о справедливости, равенстве, "правильной" вере в конце концов. Тут, казалось бы, нужно вспомнить того же Маслоу, который считал что потребности в таких идеях возникают тогда, когда более "низшие" удволетворены. И это так. Вот только практически все поголовно идеи аппелируют именно к другим, "низшим" потребностям. Идея о превосходстве расы или нации аппелирует к тому, что нужно освободить жизненное пространство и отнять ценности у "неправильных" представителей расы или национальности, в переводе на русский "нам же больше достанется". Ну это "плохие" идеи. А что "хорошие"? Например, идея о свободе. Она базируется на по большей части верном предположении о том, что свободный человек живёт лучше, чем несвободный. Он (в теории) может заниматься тем, чем хочет - соответственно, у него удовлетворена потребность в самовыражении. Примечательно что о свободе забывают при первых же угрозах безопасности или банальном недостатке продуктов. И вспоминают только тогда, когда эти базовые потребности удовлетворены. Впрочем, было бы странно, если бы это было ни так. Но опять же, образ угнетённого негра/рабочего/колониста в тех же фильмах как бы говорит о том, что угнетатели не дают ему не книжки, пропитанные инакомыслием писать, а в первую очередь именно что нормально жить - бьют плётками, отнимают честно заработанное, и т.д. "Джанго", "Патриот" и т.д.
Идеи равенства подкупают подобными же аппеляциями. Аппеляциями к тому, что тебя и твоих потомков не будут дискриминировать, то есть не будут мешать жить. И так далее и так далее.

А теперь представим "человека" эпохи трансгуманизма. Сознание на кибернетическом носителе. Базовые потребности не то что бы удовлетворены, они практически исключаются. Его и стимулировать-то нечем. Страхом "смерти" и окончательным удалением? Ну первую сотню лет он, конечно, будет бояться. По инерции. А потом - как знать, вполне вероятно что страх атрофируется. В жизни о нём периодически напомиают то же чувство голода, те же разговоры с окружающими. Те же болезни. Memento mori. А "там?"
Вот мы и подходим либо к "протезу реальности" в виде виртуальных миров, либо к какой-нибудь антиутопии. Что уже само по себе не очень целесообразно, зато очень мифологично.

Станет ли такой "человек" творить зло? Если только по инерции. Первые несколько (сотен) лет.

А теперь представим ИИ, которому и помнить-то нечего. В котором всего этого изначально не было. А была одна сухая математика и поставленные человеком задачи. Самое страшное, что может произойти - это какой-либо стихийно возникший или намеренно запланированный "баг". Или банальное "непонимание", то есть недоработанность алгоритма, вроде стрельбы по гражданским. Или же изначально поставленная "плохая" цель вроде "убить всех людей". Которую ему именно поставили. В конечном итоге мы опять подходим к тому что guns у нас don't kill people.

[Геометр Теней]

Dragomir, боюсь что у вас выше местами происходит недопустимое упрощение картины. Пресловутая пирамида Маслоу - закон, в лучшем случае, статистический, иначе бы не было примеров следования высшим потребностям в условиях дефицита низших (наглядный пример: взрослые здоровые мужчины уступают места в шлюпках женщинам и детям на тонущем корабле - у них есть возможность получить место силой, но они не делают этого из-за собственных убеждений, которые находятся на уровнях выше при дефиците безопасности). Точно так же мне кажется, что утверждение об отсутствии страха смерти (а не трансформации его во что-то, потому что "смерть" в таком состоянии может быть, например, частичной - утрата данных) для оцифрованного сознания является излишне сильным и ничем не подтверждённым. Опять-таки, остаются потребности в виде тех задач, ради которых создан данный цифровой (или какой он там будет) конструкт - если это рабочая программа, то она как-то стимулируется на нужную деятельность, то есть будет получать условное удовольствие от процесса. Кроме этого зачастую считается, что как раз признаки разума - некоторые интеллектуальные потребности (любопытство, например).

Kaiserfrogling, если я правильно его понял, говорит просто об опасности использования ИИ как любой системы с недетерминированным поведением, особенно с учётом превосходства в возможностях, что он приравнивает к невозможности восстановления контроля при его утрате. Кстати, губительные последствия в этом случае могут быть случайными и никакой злонамеренности не иметь - прокладывающие дорогу люди, к примеру, могут совершенно не желать зла муравьям, чей муравейник оказался на пути, они могут просто не обратить на них внимания. Я вот считаю, что превосходство возможностей в чём-либо ещё не является абсолютной угрозой - требуется куча дополнительных условий.

Вашу мысль (если я её верно понял, опять-таки) я бы выразил так: потребности существа с условно-близким в начальный момент времени человеку самосознанием, но иными физическими возможностями будут отличаться и не факт, что войдут в конфликт с устремлениями "обычного" человечества, так? У Kaiserfrogling стоит довольно разумный тезис о том, что разумное существо, получающее удовольствие от деятельности Z, натыкаясь на ограничения в деятельности Z, будет воспринимать это как помеху, которую надо обойти.  В этом смысле сырьё для конфликта в общем-то есть, если деятельность Z может войти в противоречие с нужными человечеству вещами...   

[Son_of_Morning]

:off topic:

лемовской благосферы из "Осмотра на месте", когда сервисные устройства делали строго то, что в них было заложено

Геометр выражаю огромную благодарность.

Только начал и уже великолепно:

Код: [Выделить]

который  имеет  разумную  привычку  читать  газеты  не сразу, а
несколько недель  погодя,  когда  они  отлежатся....

Арабы по-прежнему изображают собой
слоеный пирог, в котором  их  государства  сливаются,  делятся,
объединяются  и  дерутся  между  собой по тысяче разных причин,
которых я даже не пробую  уразуметь.

[Kaiserfrogling]

Прежде чем сформулирую свои тезисы, сразу скажу что многое из моих мыслей пока что является гипотезами, с достаточно слабой доказательной базой. Однако многие известные гипотезы и теоремы были доказаны спустя много лет, великая теорема Ферма была доказана спустя 358 лет, гипотеза Пуанкаре через 98 лет, гипотеза Кеплера доказана компьютерно однако доказательство чрезвычайно велико, что добавило уверенности сторонникам близости "технологической сингулярности" .
Поэтому не исключено что ряд моих или ваших мыслей будут доказаны или опровергнуты много лет спустя. Поскольку ряд предположений рисует негативное будущее, надеюсь эти предположения будут только опровергнуты.

Начну с того, что я предполагаю "пирамиду мыслительных процессов" - более сложные процессы стоят на основании из более простых.   
Также я предполагают что развитие человеческого мозга не закончено, и ряд сложных мыслительных процессов находятся в зачаточном состоянии. Именно этот факт  я считаю причиной некоторых психической болезней, а также исчезающей и появляющейся одаренности.
Если я прав, то саморазвивающийся AI пройдет по всем ступеням этой эволюционной лестницы. От первых ступеней, на которых находится плесень, к средним на которых находятся животные, потом к высшим на которых находится человек. Далее он разовьет более сложные и более эффективные способы мышления чем Homo Sapiens.
Начиная с этого момента я не могу предсказать дальнейшее развитие событий, поскольку никаких аналогов такого сверхразума в природе нет, в сверхсуществ из мифов я не верю будучи научным атеистом. Даже если сверхразум в какой-то форме существует  (инопланетный или пришельцы из будущего) он по малопонятным причинам избегает контакта с нами, хотя скорее всего эти причины весьма серьезны.
Предложенный выше метод экстраполяции даст весьма ненадежные результаты.

Второй момент, о котором я бы хотел сказать - это ценность предупреждений и алармизма.
Герберт Уэллс в романе "Освобождённый мир" предсказал опасность атомной войны, правда он считал что бомбы будут сделаны из радия.
Карел Чапек в романе "Кракотит" также предсказал возможность создания сверхоружия.
Атомную гонку эти предсказания не остановили.
Карел Чапек в романе "Война с саламандрами" и "Фабрика Абсолюта" предсказал, что распространение опасной технологии или явления может произойти даже если люди открыто будут кричать об его опасности. Немецкая народная мудрость в таких случаях говорит "Звон монет громче голоса совести и криков умирающих" 

[Witcher]

Если я прав, то саморазвивающийся AI пройдет по всем ступеням этой эволюционной лестницы.

Коллега, никому нах не нужен *саморазвивающийся* AI общего назначения. Людей 10 миллиардов, дополнять это количество десятком людей искуственных просто нерационально. Нужны методы решения задач определенного типа, сформулированных на естественном языке, возможно с применением каких эвристик - и это самое близкое к тому, что надо. Способность к целеполаганию от AI не требуется и более того, в любом ТЗ она будет считатся признаком провала. 
Это значит, что любой AI, который когда-либо будет сконструирован, будет замыкать на людей, поскольку не будет способен к самостоятельному целеполаганию (а скорее всего еще и будет неполным по ряду факторов). Бунт машин в этом случае все еще возможен, но для этого должно совпасть множество факторов, и наиболее близким сценарием будет действительно "Осмотр на месте", возможно с элементами "Фиаско" и "Непобедимого"

[Kaiserfrogling]

Коллега, никому нах не нужен *саморазвивающийся* AI общего назначения. Людей 10 миллиардов, дополнять это количество десятком людей искуственных просто нерационально. Нужны методы решения задач определенного типа, сформулированных на естественном языке, возможно с применением каких эвристик - и это самое близкое к тому, что надо. Способность к целеполаганию от AI не требуется и более того, в любом ТЗ она будет считатся признаком провала. 
Это значит, что любой AI, который когда-либо будет сконструирован, будет замыкать на людей, поскольку не будет способен к самостоятельному целеполаганию (а скорее всего еще и будет неполным по ряду факторов). Бунт машин в этом случае все еще возможен, но для этого должно совпасть множество факторов, и наиболее близким сценарием будет действительно "Осмотр на месте", возможно с элементами "Фиаско" и "Непобедимого"

Во-первых, осмелюсь заметить что люди которые говорят за всех часто ошибаются. Seed AI нужен много кому - и в первую очередь военным. Если вы думаете, что фильм "Терминатор" их чему-то научил вы ошибаетесь
Во-вторых, 10 миллиардов искусственных людей будут работать намного быстрее и эффективнее настоящих, главное - не требуя зарплаты.
Третье и главное - создание саморазвивающегося AI частного значения это все равно отрезать от мозга четверть.

[Геометр Теней]

Так, пост в режиме внутреннего зануды. Уточняю сразу: не личного отношения к кому-то из, а только точности для.

Прежде чем сформулирую свои тезисы, сразу скажу что многое из моих мыслей пока что является гипотезами, с достаточно слабой доказательной базой. Однако многие известные гипотезы и теоремы были доказаны спустя много лет, великая теорема Ферма была доказана спустя 358 лет, гипотеза Пуанкаре через 98 лет, гипотеза Кеплера доказана компьютерно однако доказательство чрезвычайно велико, что добавило уверенности сторонникам близости "технологической сингулярности" .

Я сразу замечу, что тут очень странный набор примеров - примеры, которые вы приводите, являются математическими теоремами. Утверждения про роль ИИ - скорее социального, а то и философского плана. В социальных науках ещё очень далеко до математического и естественнонаучного уровня формализации, а в философии принципиально невозможно строгое доказательство (как только философия нарабатывает какие-то проверяемые методики, она перестаёт быть философией и вливается в ту или иную научную дисциплину).

Теперь собственно позвольте выразить некоторые сомнения или уточнения.

Начну с того, что я предполагаю "пирамиду мыслительных процессов" - более сложные процессы стоят на основании из более простых.   
Также я предполагают что развитие человеческого мозга не закончено, и ряд сложных мыслительных процессов находятся в зачаточном состоянии.

Тут ещё неявно проскакивает мысль об универсальности и линейности иерархии мыслительных процессов. Между тем пока это не подтверждено, а этология приводит скорее к мысли об обратном - похоже, что общественные насекомые "думают" на уровне сообщества иначе, чем человек, например. Что же до развития именно мозга (физиологической структуры), то он, собственно, за историю современного нам человечества фактически не развивался, и, похоже, где-то с неолита идёт скорее использование и перестройка старых резервов, а собственно физиологическая база упрощается - всё-таки развитый мозг штука энергетически затратная. Практически всё, что идёт со времён прорывов в области членораздельной речи и мелкой моторики идёт, похоже, на практически постоянной "элементной базе". Если же речь про развитие психики, то чёрт его знает опять-таки как там с иерархичностью. Но то, что мы наблюдаем в смысле человеческого развития - это скорее социальная эволюция и изменение подходов к обучению, а не кардинальные изменения на уровне мозга.

Второй момент, о котором я бы хотел сказать - это ценность предупреждений и алармизма...
 Если вы думаете, что фильм "Терминатор" их чему-то научил вы ошибаетесь

Не могу не заметить, что выбор примеров очень странный. Фантастические произведения и фильмы развлекательного характера - а "Терминатор" отнюдь не футуристический прогноз - может, конечно, и оказывают влияние на развитие человечества (хотя бы за счёт тех "массовых страшилок", про которые упоминалось выше), но отнюдь не являются основным механизмом этого влияния. Именно поэтому речь надо вести не про фильмы и книги. Играют роль собственно прогнозы. Играет роль устройство общества и идеалы в нём. Вообще, не надо зацикливаться на фантастике, надо смотреть на то, как устроено общество и принятие решений (зачастую наше общество устроено весьма нерационально, да, но это другой момент).

Контрпримеры к цитате выше - "Звон монет громче голоса совести и криков умирающих" - вообще говоря, тоже есть и они обильны. Скажем, классический пример который я люблю приводить в таких ситуациях, это отмена рабства в тех же США. Плантаторское рабство оставалось бы экономически выгодным до хлопкоуборочных комбайнов - это вторая четверть XX века. В реальности у аболяционизма было множество корней (как у любого масштабного явления), но моральные причины - не на последнем месте. Или, скажем, тот факт, что человечество смогло не допустить полномасштабных войн с применением ядерного оружия. Можно двинуться вглубь истории и посмотреть на примеры ограничений тем или иным способом, но вообще уже примеров выше хватит, чтобы понять: риск существует, но закономерность, слава всем богам, не универсальна.

Ну и:

Во-вторых, 10 миллиардов искусственных людей будут работать намного быстрее и эффективнее настоящих, главное - не требуя зарплаты.

Да не нужны пока что 10 миллиардов искусственных людей. Более того, и 10 миллиардов живых, увы, сейчас не особо нужны - как ни цинично это звучит, но если нынче бесследно исчезнет половина населения Африки, к примеру, это не так сильно затронет жизнь прочих людей на планете. Автоматизация - причём автоматизация, обходящаяся без собственно человеческого разума, гораздо более примитивными системами - уже сейчас позволяет радикально сократить число людей, занятых в производстве. Колоссальная масса народа сейчас обслуживает или некритичные для выживания потребности, или вообще де-факто занята "промыванием воды" (обслуживанием зачастую просто искусственно созданных потребностей) и получает деньги просто потому, что они нужны в экономике как потребители - из-за структуры современной экономики. В этом смысле они, как ни смешно, перспективнее гипотетического "андроида из фантастики" (который, впрочем, вряд ли будет создан именно для замены "человека вообще").

Занятная мысль мимоходом. В XVII-XIX и отчасти XX веках численность населения была существенным фактором могущества государства или похожего общества. По мере того, как роль человека на войне становилась всё меньше и бог переставал быть "на стороне больших батальонов", перебираясь на сторону лучше оснащённых и технически продвинутых, и аналогичные процессы происходили с производством, большое население зачастую превращается из фактора могущества в мешающий фактор, а то и в обузу... (Это довольно упрощённая схема, конечно, и тут я могу ошибаться даже в основе - надо будет посмотреть).

Собственно, областей где нужны именно люди во всей творческой силе, а не специализированный заменитель, не так уж и много. Условно говоря, на производствах прошлого было так много работников, потому что получить часть способностей человека в отрыве от всей его тушки (и мощностей мозга) не было возможности. Сейчас на автоматизированный завод нужно не так уж много голов, и совсем немного - полноценно мыслящих голов...

Вообще, интересно какие перспективы именно у совсем неограниченного в целеполагании АИ. Ну, кроме собственно эксперимента по созданию нового разумного вида, конечно. Даже военным с их перестраховкой не нужна система, которая заменит военных (если мы не про уровень рядового, а про уровень генерала), а нужна, которая их дополнит.

[Kaiserfrogling]

Вообще, интересно какие перспективы именно у совсем неограниченного в целеполагании АИ. Ну, кроме собственно эксперимента по созданию нового разумного вида, конечно.

Одна из главных целей создания AI с креативным и эвристическим мышлением - прорыв технологической сингулярности.
Сразу замечу, что попытка ее прорыва при помощи усиления мозга путем биотехнологий или кибернетики напоминает мне попытку установить реактивный двигатель на средневековую телегу

[GrayStranger]

Одна из главных целей создания AI с креативным и творческим мышлением - прорыв технологической сингулярности.
Сразу замечу, что попытка ее прорыва при помощи усиления мозга путем биотехнологий или кибернетики напоминает мне попытку установить реактивный двигатель на средневековую телегу

А попытка создать AI умнее себя напоминает попытку дойти до Луны пешком. Не говоря уж о том, что теоретики от сингулярности обычно редко учитывают закон убывающей полезности - с тем же успехом может оказаться, что чем дальше AI будет развиваться, тем меньше он будет от этого получать и в итоге упрётся в предел технологии/конструкции/программного обеспечения или ещё чего и никакой сингулярности вообще не будет. По крайней мере не в том виде в каком представляется.