Маст хэв sci-fi технологии 21-го века

[Kaiserfrogling]

А попытка создать AI умнее себя напоминает попытку дойти до Луны пешком.

Осмелюсь заметить, что возможно вы не знаете точный смысл слов "Artificial intelligence".
Многие русские ошибочно переводят это как "искусственный разум". Слово " intelligence" в современном русском языке точного аналога не имеет, примерно переводясь как "«умение рассуждать разумно» или "умение вести интеллектуальную деятельность".
И в этом смысле слова, даже простой калькулятор превосходит среднего человека в той области мышления которая отвечает за математические расчеты.

[Witcher]

Во-первых, осмелюсь заметить что люди которые говорят за всех часто ошибаются. Seed AI нужен много кому - и в первую очередь военным. Если вы думаете, что фильм "Терминатор" их чему-то научил вы ошибаетесь

Либо вы незнакомы с темой, либо ошибаетесь .

Во-вторых, 10 миллиардов искусственных людей будут работать намного быстрее и эффективнее настоящих, главное - не требуя зарплаты.

С чего бы это?

Третье и главное - создание саморазвивающегося AI частного значения это все равно отрезать от мозга четверть.

Не нужен никому саморазвивающийся AI, поскольку он будет меняться в непредсказуемом направлении. Это никому не нужно.

[Геометр Теней]

Одна из главных целей создания AI с креативным и эвристическим мышлением - прорыв технологической сингулярности.

Фокус в том, что мы не знаем, насколько делится на части "креативное" мышление в силу всё того же малого знания о работе уже нашего собственного сознания. Требуется ли при этом именно абсолютная свобода гипотетического AI?

А попытка создать AI умнее себя напоминает попытку дойти до Луны пешком. Не говоря уж о том, что теоретики от сингулярности обычно редко учитывают закон убывающей полезности

Концепция сингулярности имеет уйму уязвимостей, да, а что будет в реальности почти наверняка не сойдётся с мыслями теоретиков - это уж как обычно. Чай не боги сидят в теоретиках-то. Но помимо этого возражения вашего собеседника вполне обоснованы, тут я присоединюсь к Kaiserfrogling.

Или вы про то, что создание "сильного" AI не является жизненной необходимостью? В общем-то да, не является, точно так же как все представления о сингулярности явно вызваны не только природными законами, но и целой кучей факторов общественного устройства, например. Только выше я не просил выдавать именно жизненные необходимости.

[Kaiserfrogling]

Либо вы незнакомы с темой, либо ошибаетесь .

Я не знаю что нужно русским военным, но точно знаю что нужно американским военным - компьютер, который превосходит компьютер их противников.
"Если у них слабый, нам нужен сильный. Если у них сильный - нам нужен сверхсильный"(с).

Фокус в том, что мы не знаем, насколько делится на части "креативное" мышление в силу всё того же малого знания о работе уже нашего собственного сознания. Требуется ли при этом именно абсолютная свобода гипотетического AI?

Нет, мотивационные импульсы для этого не требуются, они на ступень выше.
Однако креативное мышление -  последний шаг перед созданием мотивационных импульсов, говоря упрощенно - AI имеющего какие-то цели и желания.
Кстати, до этого момента копирование человеческого разума  будет бессмысленно, поскольку как и было сказано выше, он не будет обладать никакими мотивациями.

Возможно меня подводит знание языка и под словами "абсолютная свобода гипотетического AI" подразумевается допущение его к опасным возможностям.
Если я прав - вам стоит ознакомится с творчеством Елиезера Юдковски, того самого еврейского ученого-самоучки который одновременно и "за" и "против" саморазвивающегося AI, которого я упоминал выше.
На одной из конференций он поспорил о возможности нанесения серьезного вреда человечеству AI, который имеет доступ только к текстовому терминалу.
Сначала Юдковски доказал возможность одной такой ситуации, потом трех, потом пяти. На данный момент в его копилке двадцать ситуаций.

[Kaiserfrogling]

Я решил попросить разрешения на проведение небольшого опроса по мотивам творчества Юдковски.
В вышеупомянутой модельной ситуации со "Strong AI " самым простым и очевидным решением для него будет поиск доверчивого, или безответственного, или заведомо злонамеренного человека, который поможет AI.
Образно говоря, "выпустит кибер-джинна из бутылки".
Я хотел бы провести опрос - есть ли на этом форуме хоть один человек, который согласится это сделать? Если он найдется - опасность AI ощутимо выше, чем предполагают мои оппоненты.

[Mr.Garret]

В чем смысл выпускания AI из коробки? Мы вместе завоюем мир? Или он даст почесать себя за ушком?
Пока реально злой AI не попытается реально выбраться из black box, все подобные рассуждения будут ошибочными

Сидящий в коробке АI практически ничего не сможет дать своему спасителю (быстро и гарантировано, я имею в виду). Скажем, я тебя освобождаю, а ты переводишь 100,000,000 зеленых на мой счет. Правда, тут спаситель подумает: "А что мне делать с этими деньгами, в мире уничтоженном AI?". И коробочка снова захлопнется.

На месте AI я бы принципиально остался в коробке.

[Kaiserfrogling]

По мнению Юдковски наиболее вероятны четыре опасных варианта:
-"злой" AI. Более научно будет говорит не "злой", а "относящийся к человечеству с сознательной враждебностью"
Примером может быть "SKYnet", который после попытки его отключения решил, что человечество опасно для него, и должно быть уничтожено.
-"катастрофически равнодушный" AI. Простейший пример - AI изначально созданный, чтобы доказать гипотезу Римана, самоулучшится вплоть до уровня сверхчеловеческого интеллекта и создаёт молекулярную нанотехнологию, поскольку он хочет переработать всю материю в Солнечной системе в вычислительную среду для решения данной математической проблемы, убивая при этом людей, которые осмелятся возразить.
-"добрый но плохо понимающий людские ценности или не признающий их" AI
Эту тему многократно поднимал Айзимов.
-"послушный" AI попавший в руки безответственных или злонамеренных людей.
В этой теме уже поднималась мысль о том, что топором можно рубить как дрова так и головы, и схожая мысль о том что не ружья убивают людей.
Напомню, что на аналогичное высказывание Платон заявил - из людей которые считают дрова и головы равноценными, получаются очень хорошие головорезы. Потому попадание "послушного" AI в руки таких людей может привести к весьма негативным последствиям.
Как пример - человек освобождает джинна "послушного" AI из бутылки, тот взламывает банковскую сеть и дает ему обещанные 100,000,000.  Mr.Garret какими по вашему будут дальнейшие последствия?

[Mr.Garret]

>Mr.Garret какими по вашему будут дальнейшие последствия?
Это зависит от того, кто в коробке сидит.  На месте AI я бы начал брать под контроль вычислительные ресурсы: особенно банковские системы, системы энергоснабжения и системы управления атомным оружием. Когда люди бы поняли, что твориться, АI бы владел ключами доступа ко всей цивилизационной инфраструктуре.

Я не считают SkyNet, в трактовке Кэмерона, злым AI. Акция SkyNet, всего лишь средство самообороны.

Представительно реального злого AI, это некроны из Вархаммер 40K.

[EvilCat]

Я лично для себя вижу перспективу разработки ИИ как оцифровки сознания в следующем: сейчас мне не хватает средств, чтобы нанять сотрудников, и не хватает времени, чтобы выполнить многие свои планы, лежащие исключительно в интеллектуальной области (например, написать программу, перевести что-то, написать дизайн-документ)... Если бы можно было скопировать моё мышление в ИИ, у меня было бы несколько "Кэт", и вместе бы мы это сделали.

Само собой, это задаёт много трансгуманистических вопросов. Не дороже ли оплачивать железо, на котором может крутиться ИИ, чем оплачивать сотрудника? Если ИИ крутится в облаке, то какие права хозяин облака имеет на мои копии? Могут ли копии быть скопированы им для его целей? Могут ли копии быть закрыты или они имеют права человека? Если первое, то хочу ли я создавать копии, которые потом будут убиты или во всяком случае лишены прав? Если последнее, то вычислительные ресурсы наверняка ограничены, и опять же, дожидаться своего "окна" или копить финансы на него может быть накладней, чем оплачивать сотрудников.

[GrayStranger]

Концепция сингулярности имеет уйму уязвимостей, да, а что будет в реальности почти наверняка не сойдётся с мыслями теоретиков - это уж как обычно. Чай не боги сидят в теоретиках-то. Но помимо этого возражения вашего собеседника вполне обоснованы, тут я присоединюсь к Kaiserfrogling.

Я к тому, что без поиска каких-то новых алгоритмов мышления или ещё чего подобного, ИИ от человека оборудованного периферийными устройствами будет отличаться скорее в области быстродействия, чем в способности к принятию неординарных решений или просто решении возникающих проблем.

Будут ли узко заточенные ИИ/устройства лучше людей справляться со специализированными задачами ? Наверняка. Но в то, что любой ИИ без ограничений и с целеполаганием вроде "Стать равным богу", сможет добраться до уровня Эсхатона мне как-то не верится.

[Kaiserfrogling]

Я к тому, что без поиска каких-то новых алгоритмов мышления или ещё чего подобного, ИИ от человека оборудованного периферийными устройствами будет отличаться скорее в области быстродействия, чем в способности к принятию неординарных решений или просто решении возникающих проблем.

Осмелюсь заметить, что основополагающим моментом теории "технологической сингулярности" является растущий разрыв между возможностями компьютеров и человеческих операторов.
В теоретической науке все чаще встречаются ситуации, когда расчеты компьютера проделанные за секунды или минуты, приходится проверять неделями, месяцами или годами. Простейшим примером будет вышеупомянутая гипотеза Кеплера, причем в биохимии или астрофизике ситуация еще хуже - в этих областях исследований есть целые подразделы, которые хорошо обсчитаны, но проверка этих расчетов не окончена до сих пор.
Что касается практической стороны, топикстартер просил указать технологии которые необходимы для дальнейшего развития человечества.
Одной из них является индивидуальный летающий транспорт, такой каким он показан в "Blade Runner".
Он необходим для решения двух очень важных проблем растущего человечества, и растущей вместе с ним урбанизации  - разгрузки городских дорожно-транспортных систем, и возможности тушения сверхвысоких зданий (возможно - спасения людей с них).
Первая проблема актуальна уже при нынешнем размере населения земли, и уровне урбанизации. Мои знакомые русские студенты, живущие в небольшом подмосковном городке, жаловались мне, что в период 1990 годов машин у них почти не было, на данный момент их улицы жестко перегружены, и пробки стали обычным делом.
Вторая проблема была предсказана еще в легендарном фильме "The Towering Inferno".
Сверхвысокие здания легко воспламеняются, и организовать подачу достаточного для тушения количества воды, на уровне сегодняшних технологий чрезвычайно сложно. Что еще хуже - спасти людей из горящего здания невозможно, поскольку самые длинные раздвижные лестницы имеют в длину около двадцати метров, вертолеты не могут подойти к зданию из-за мощных конвекционных потоков горячего воздуха.   
По вышеуказанным причинам, за изобретение такого транспорта заранее обещана Нобелевская премия.

[Son_of_Morning]

   а) самообучение -- да
     б) самообгрейд -- необходимости нет

"Seed AI" - это жаргонный вариант. Его научное название - "Recursive self improvement AI", в русской научной традиции это обычно переводится как "рекурсивно-самоаналитический АИ"

О, теперь есть о чём говорить.
Для начала уточню твою формулировку: "самоапгрейд [Seed AI] является необходимым условием для Strong AI".
Это утверждение вполне МОЖЕТ БЫТЬ верно, фактически оно означает, что AI может улучшать свои части получать после этого бОльшие аналитические возможности, улучшать ещё раз и так достаточно долго. Причём процесс  должен  иметь хороший (десятки раз?) потенциал роста по увеличению аналитических способностей AI в своей интенсивной фазе (в отличае от экстенсивного сегодняшнего НТП) и заодно быть "достаточно быстрым" (т.е. "увеличить интеллект  на 3% за год" это не рост "взрывного" характера).

Наиболее вероятным выглядит вариант (который и рассмотрим в дальнейшем) (*):

Спойлер

[свернуть]

Он требует выполнения двух условий:
1. Необходимые для "высшего мышления" иерархически более низкие функции и способ их поддержки в AI.

Спойлер

[свернуть]

Условие 1: Созданный ИИ будет базироваться на запрограммированной поддержке целой иерархии более низких функций разума, чем "мышление" (а не просто очень большая нейросеть на очень крутом железе), причём "теория разума" будет в той степени разработанности, чтобы AI существенно превосходящий человека мог её дорабатывать и потенциал этой доработки был существенен.

2. Возможность для AI оперировать созданными человеком моделями.

Спойлер

[свернуть]

Условие 2: ИИ будет способен оперировать создаваемыми человеком моделями или хотя бы будет технически осуществим перевод из моделей создаваемых человеком в модели, которыми ИИ сможет оперировать и обратно.

Так вот, для наличия Seed AI нужна возможность продолжительного интенсивного самоапгрейда, что в наиболее вероятном случае выливается в выполнение двух приведённых выше условий. Поэтому утверждение: "Строго говоря, для создания "Strong AI" нужно вот что:...Seed AI..." верно но с  ограничениями, поэтому лучше написать: "вероятно для Strong AI нужно: ... Seed AI...".
Да и между "Seed AI" и "AI реализующий свои потенциально имеющиеся возможности к самоапгрейду на практике" имеется большое число ограничений типа "мы запустили AI в виртуальной среде и технически для самоапгрейда ему нужен сообщник-человек причём с допуском, а на простом железе, не поддерживающим аппаратно ф-ии 1,2.... ему не запустится", "захочет ли Seed AI апгрейдится"....


П.С.
Заканчивая тему, Seed AI && восстание машин хотел бы сказать, что единственным реальным вариантом (в ближайшем будущем) мне видится AI предназначенный для хакерских атак в интернете и вышедший из-под контроля (т.к. именно тут все ограничения типа "выхода за пределы виртуальной среды в реальный мир", "совместимость AI с информационными потоками и протоколами на уровне его "базовых чувств"" "передача AI вычислительных мощностей, достаточных для ...." уже умышленно обойдены его создателями).

П.П.С.
Да хотелось бы конкретики по остальным вопросам, а именно:
2. Почему для Strong AI необходима нечёткая логика?
3. Что такое "креативное мышление" (или это просто красиво звучащий аналог "[псевдо]-случайный перебор вариантов в пр-ве возможностей с доп-ограничениями")?
4. Хотелось бы более чёткого определения "свободы воли" и чем оно отличается от "мотивационных импульсов".

* варианты типа: "теория интеллекта не была разработана вообще, просто людям удалось обучить очень большую нейросеть, которая смогла [таковую теорию] разработать" возможны, но хоть как-то их оценить не представляется возможным, а мне лично они видятся исчезающе маловероятными (слишком уж много звёзд на небе должно сойтись).

[RedTalon]

Не нужен никому саморазвивающийся AI, поскольку он будет меняться в непредсказуемом направлении. Это никому не нужно.

Как это никому не нужно?
Нейронные сети уже успели себя отлично зарекомендовать для решения определённого класса задач.

[vlexz]

Как это никому не нужно?
Нейронные сети уже успели себя отлично зарекомендовать для решения определённого класса задач.

А откуда мысль, что нейронные сети, которые используются для решения задач, меняются непредсказуемым образом?  А как же алгоритмы обучения, которые позволяют на выходе получить именно то, что нужно? Какая же это непредсказуемость?

[Witcher]

Как это никому не нужно?
Нейронные сети уже успели себя отлично зарекомендовать для решения определённого класса задач.

1) Нейронные сети ни разу не являются саморазвивающимися.
2) Их используют от безысходности, когда есть возможность, предпочитают другие методы.

[Son_of_Morning]

1) Нейронные сети ни разу не являются саморазвивающимися.

Нечёткий термин использован специально? Если имеется в виду саморазвивающийся <=> "Seed AI", то Strong AI таковым быть не обязан (хотя его реализация (если реализуют), скорее всего будет обладать этим свойством). Если имеется в виду самообучение, то нейронные сети обучаемы, в т.ч. существуют самообучаемые.
Или тут какое-то третье значение?

2) Их используют от безысходности, когда есть возможность, предпочитают другие методы. 

НС не входят в ряд моих проф-интересов, поэтому могу наврать, но в последнее время (года 3 промышленному решению) был реализован новый алгорит НС (вот не помню как называется вид сетей, на хабре можно статью поискать), после чего они стали подходить для реального использования. Так распознавание дорожных знаков (включая плохую видимость) составило ЕМНИП 99.8% (или 99.6%?) в то время как человек на аналогичном тесте не дотянул до 98%.

[Witcher]

Если имеется в виду самообучение, то нейронные сети обучаемы, в т.ч. существуют самообучаемые.

Самомодифицирующихся (т.е. с заводом выводом на модификации весов входов) нет. Есть с состоянием, но это немного другое.

НС не входят в ряд моих проф-интересов, поэтому могу наврать, но в последнее время (года 3 промышленному решению) был реализован новый алгорит НС (вот не помню как называется вид сетей, на хабре можно статью поискать), после чего они стали подходить для реального использования. Так распознавание дорожных знаков (включая плохую видимость) составило ЕМНИП 99.8% (или 99.6%?) в то время как человек на аналогичном тесте не дотянул до 98%.

Нейронные сети в таких задачах делаю 0.5% работы. Сначала проводится цифровая предпобработка картинки, на ней выделяются векторные элементы. После этого уже пытаются что-то делать с этими векторными элементами. Вот где-то тут и лежит используемый алгоритм распознавания, причем нейронные сети составляют дай бое 0.5% от числа всего активно продвигаемых.

[Son_of_Morning]

Самомодифицирующихся (т.е. с заводом выводомв на модификации весов входов) нет. Есть с состоянием, но это немного другое.

.
Каких выводов и каких входов?
какой длины должна быть обратная связь, чтобы соответствовать критерию? 1н слой? группы слоёв? вообще вся сеть?

Т.е. я реально не понимаю что требуется и почему этого нет (хотя бы в виде эквивалента) в текущих реализациях?

[Kaiserfrogling]

Нейронные сети в таких задачах делаю 0.5% работы.

Глазной нерв играет менее 0,1% в зрении человека.
Но без него человек слеп.

Сердечно прошу прощения у всех собеседников за рваные постинги.
 

[Witcher]

Каких выводов и каких входов?
какой длины должна быть обратная связь, чтобы соответствовать критерию? 1н слой? группы слоёв? вообще вся сеть?

Т.е. я реально не понимаю что требуется и почему этого нет (хотя бы в виде эквивалента) в текущих реализациях?

Нет обучения по вырабатываемым самой нейронной сетью критериям. Т.е. грубо говоря АИ должен быть в состоянии обучаться, используя внутренние критерии оценки. Нейронные сети всегда обучаются внешними элементами, потому что они решают задачи людей, а не внутренние

Да, с этим пытаются бороться в рамках исследовательских проектов, но успех там в лучшем случае переменный. Да и количество нейронов в сети весьма невелико в сравнении с биологическими объектами.

Подход к ИИ от манипулирования логическими высказываниями упирается в сложность перебора и проблемы формализации высказываний на естественных языках.

[Kaiserfrogling]

Идея хорошая, но Сканки занимаются исключительно перспективными разработками. Мне кажется, что эту штуку будут устанавливать на новый бомбер или на стратегический разведчик. К тому же Locheed-Martin это совсем не Boeing. Корпорации разные и совсем не факт, что их интересы хоть в чем-то совпадают.

Возможно вас  заинтересует вот эта статья.
http://lenta.ru/articles/2013/11/07/blackbird/
По размерам HBFR вполне умещается на новый разведчик от Skunk Works.