Три главные школы сингулярности.
Е.Юдковски.
Дискуссия о сингулярности, судя по всему, разделилась на три основные школы мысли: Ускорение изменений, Горизонт событий, и Взрыв Интеллекта.
Ускорение изменений.
Основное заявление: наши представления об изменениях линейны; мы ожидаем, что в будущем произойдёт примерно столько же изменений, сколько имело место в прошлом в течение нашей жизни. Но технологические изменения усиливают сами себя, и за счёт этого ускоряются. Изменения сейчас быстрее, чем 500 лет назад, которые, в свою очередь , быстрее, чем были 5000 лет назад. Наше недавнее прошлое не является надёжным источником знаний о том, что мы должны ожидать в будущем.
Сильное утверждение: Технологические изменения следуют плавным кривым, в основном экспоненциальным. В силу этого мы можем предсказать с достаточно большой точностью, когда новые технологии появятся, и когда они пересекут определённые пороговые уровни, такие, как создание ИИ.
Сторонники: Рей Курцвел, Элвин Тоффлер(?), Джон Смарт.
Горизонт событий.
Основное утверждение: В течение последних нескольких сот тысяч лет люди были умнейшими существами на планете. Весь наш социальный и технологический прогресс был создан человеческими мозгами. Коротко говоря, технологии будут ускоряться до той точки, когда станет возможным улучшение человеческого интеллекта (интерфейс мозг-компьютер, ИИ). Это создаст будущее, гораздо более странное, чем то, что описывается в большинстве произведений научной фантастики: оно будет качественно другим, а не просто заполнено сияющими удивительными гаджетами.
Сильное утверждение: Чтобы знать, что будет делать сверхчеловеческий интеллект, вы должны быть по крайней мере настолько же умным. Чтобы знать, как пойдёт Дип Блю при игре в шахматы, вы должны играть на его уровне. Таким образом, будущее после создания сверхчеловеческого интеллекта станет абсолютно непредсказуемым.
Сторонники: Вернор Виндж.
Взрыв интеллекта.
Основное заявление: интеллект всегда был ядром технологии. Если технология сможет значительно улучшить человеческий интеллект – создать умы, более умные, чем самые интеллектуальные люди – то тогда кольцо замкнётся и возникнет положительная обратная связь. Что люди с интерфейсом мозг-компьютер будут делать со своим усиленным интеллектом? Весьма вероятно, что они будут создавать следующее поколение интерфейсов мозг-компьютер. Усиление интеллекта – это классическая точка перелома. Чем умнее вы становитесь, тем больше интеллекта вы можете использовать, чтобы стать ещё умнее.
Сильное заявление: Этот цикл положительной обратной связи начнёт резко усиливаться, подобно цепной ядерной реакции, когда достигается критическая масса. Каждое усиление интеллекта приводит к >1.000 усилений интеллекта в следующем цикле такого же масштаба – хотя и не обязательно в виде гладкой экспоненциальной кривой. Технологический прогресс начинает происходить с характерной скоростью работы транзисторов (или супер-транзисторов), а не человеческий нейронов. Рост резко ускоряется и быстро создаёт суперинтеллект (на много порядков превосходящий человека) – до того, как он достигает физических пределов роста.
Сторонники: И.Гуд, Е.Юдковски.
Главная особенность этих трёх различных школ Сингулярности состоит в том, что в то время как все три основных заявления поддерживают друг друга, все три сильных заявления противоречат друг другу.
Если вы экстраполируете нынешнюю версию закона Мура на время после возникновения превосходящего человека ИИ, чтобы сделать предсказания о 2099 годе, то тогда вы будете противоречить строгим версиям Горизонта Событий (который говорит о том, что вы не можете делать предсказаний, поскольку вы будете пытаться перехитрить превосходящий человека ум) и сильной версии Взрыва Интеллекта (поскольку прогресс станет происходить быстрее, когда умы, превосходящие человеческие, и нанотехнологии перенесут прогресс на скорость работы транзисторов, а не нейронов).
Я нахожу очень тревожащим то, что эти три школы мысли смешались в одну кучу под маркой «Сингулярности». Ясное мышление требует различий.
Но ещё более раздражающим является то, что когда некто читает блог-пост о какой-нибудь газетной статье о Сингулярности, он уходит от все этих трёх интересных тезисов, и спонтанно заново придумывает четвёртое ужасающее значение Сингулярности:
Апокалиптизм: Люди, вы слышали? Там есть группа придурков, которые думают, что какая-то неопределённая гадость должна скоро случиться. Что за чудаки! Это же религия компьютерных фанатов.
Я слышал много других определений Сингулярности, но в большинстве случаев им не хватало разделения предпосылок и следствий. Например, в старом Extropian FAQ используется определение Сингулярности как Точки Заражения (Inflection Point) – как того времени, когда технологическое развитие достигнет максимальной скорости и непосредственно перед этим моментом начнёт замедляться. Но что делает это интересным местом в истории, кроме как это определение? Каковы последствия этого предположения? Чтобы стать школой мысли или хотя бы тезисом, требуется внутренняя структура аргумента, а не просто определение.
Если вам интересно, что из перечисленного было исходным значением термина Сингулярность, то это был «Горизонт событий» Вернора Винджа, который и ввёл этот термин.
Е.Юдковски.
Дискуссия о сингулярности, судя по всему, разделилась на три основные школы мысли: Ускорение изменений, Горизонт событий, и Взрыв Интеллекта.
Ускорение изменений.
Основное заявление: наши представления об изменениях линейны; мы ожидаем, что в будущем произойдёт примерно столько же изменений, сколько имело место в прошлом в течение нашей жизни. Но технологические изменения усиливают сами себя, и за счёт этого ускоряются. Изменения сейчас быстрее, чем 500 лет назад, которые, в свою очередь , быстрее, чем были 5000 лет назад. Наше недавнее прошлое не является надёжным источником знаний о том, что мы должны ожидать в будущем.
Сильное утверждение: Технологические изменения следуют плавным кривым, в основном экспоненциальным. В силу этого мы можем предсказать с достаточно большой точностью, когда новые технологии появятся, и когда они пересекут определённые пороговые уровни, такие, как создание ИИ.
Сторонники: Рей Курцвел, Элвин Тоффлер(?), Джон Смарт.
Горизонт событий.
Основное утверждение: В течение последних нескольких сот тысяч лет люди были умнейшими существами на планете. Весь наш социальный и технологический прогресс был создан человеческими мозгами. Коротко говоря, технологии будут ускоряться до той точки, когда станет возможным улучшение человеческого интеллекта (интерфейс мозг-компьютер, ИИ). Это создаст будущее, гораздо более странное, чем то, что описывается в большинстве произведений научной фантастики: оно будет качественно другим, а не просто заполнено сияющими удивительными гаджетами.
Сильное утверждение: Чтобы знать, что будет делать сверхчеловеческий интеллект, вы должны быть по крайней мере настолько же умным. Чтобы знать, как пойдёт Дип Блю при игре в шахматы, вы должны играть на его уровне. Таким образом, будущее после создания сверхчеловеческого интеллекта станет абсолютно непредсказуемым.
Сторонники: Вернор Виндж.
Взрыв интеллекта.
Основное заявление: интеллект всегда был ядром технологии. Если технология сможет значительно улучшить человеческий интеллект – создать умы, более умные, чем самые интеллектуальные люди – то тогда кольцо замкнётся и возникнет положительная обратная связь. Что люди с интерфейсом мозг-компьютер будут делать со своим усиленным интеллектом? Весьма вероятно, что они будут создавать следующее поколение интерфейсов мозг-компьютер. Усиление интеллекта – это классическая точка перелома. Чем умнее вы становитесь, тем больше интеллекта вы можете использовать, чтобы стать ещё умнее.
Сильное заявление: Этот цикл положительной обратной связи начнёт резко усиливаться, подобно цепной ядерной реакции, когда достигается критическая масса. Каждое усиление интеллекта приводит к >1.000 усилений интеллекта в следующем цикле такого же масштаба – хотя и не обязательно в виде гладкой экспоненциальной кривой. Технологический прогресс начинает происходить с характерной скоростью работы транзисторов (или супер-транзисторов), а не человеческий нейронов. Рост резко ускоряется и быстро создаёт суперинтеллект (на много порядков превосходящий человека) – до того, как он достигает физических пределов роста.
Сторонники: И.Гуд, Е.Юдковски.
Главная особенность этих трёх различных школ Сингулярности состоит в том, что в то время как все три основных заявления поддерживают друг друга, все три сильных заявления противоречат друг другу.
Если вы экстраполируете нынешнюю версию закона Мура на время после возникновения превосходящего человека ИИ, чтобы сделать предсказания о 2099 годе, то тогда вы будете противоречить строгим версиям Горизонта Событий (который говорит о том, что вы не можете делать предсказаний, поскольку вы будете пытаться перехитрить превосходящий человека ум) и сильной версии Взрыва Интеллекта (поскольку прогресс станет происходить быстрее, когда умы, превосходящие человеческие, и нанотехнологии перенесут прогресс на скорость работы транзисторов, а не нейронов).
Я нахожу очень тревожащим то, что эти три школы мысли смешались в одну кучу под маркой «Сингулярности». Ясное мышление требует различий.
Но ещё более раздражающим является то, что когда некто читает блог-пост о какой-нибудь газетной статье о Сингулярности, он уходит от все этих трёх интересных тезисов, и спонтанно заново придумывает четвёртое ужасающее значение Сингулярности:
Апокалиптизм: Люди, вы слышали? Там есть группа придурков, которые думают, что какая-то неопределённая гадость должна скоро случиться. Что за чудаки! Это же религия компьютерных фанатов.
Я слышал много других определений Сингулярности, но в большинстве случаев им не хватало разделения предпосылок и следствий. Например, в старом Extropian FAQ используется определение Сингулярности как Точки Заражения (Inflection Point) – как того времени, когда технологическое развитие достигнет максимальной скорости и непосредственно перед этим моментом начнёт замедляться. Но что делает это интересным местом в истории, кроме как это определение? Каковы последствия этого предположения? Чтобы стать школой мысли или хотя бы тезисом, требуется внутренняя структура аргумента, а не просто определение.
Если вам интересно, что из перечисленного было исходным значением термина Сингулярность, то это был «Горизонт событий» Вернора Винджа, который и ввёл этот термин.
