Интеллект - вот тот "выигрышный билет", который позволил человеку подняться над прочими животными и сделал его фактически "царем зверей". Человек создал машины, которые с успехом компенсировали недостаток его силы, ловкости, подвижности. Они помогли ему выжить и обрести могущество.
Но долго ли продлится наше господство на Земле и не угрожает ли нам опасность? Ведь мы победили животных только потому, что уровень их интеллекта значительно ниже нашего. Но как быть с машинами и роботами, которые день ото дня становятся все более "интеллектуальными"? Нет ли здесь скрытой угрозы для человечества? Что будет, если в один прекрасный день машины вдруг станут умнее людей? И возможно ли такое в принципе?
На эти и другие темы рассуждает Кевин Уорвик, профессор отделения кибернетики Университета Рединга (Великобритания), специалист в области робототехники и искусственного интеллекта. Статья написана по просьбе редакции журнала "Наука и жизнь".
Напомним, что в конце октября - начале ноября 1999 года Кевин Уорвик (Kevin Warwick) посетил Москву и Санкт-Петербург (см. "Наука и жизнь" № 12, 1999 г.), где прошли демонстрации его роботов, а также презентация русского издания книги "Наступление машин". Важно отметить, что визит этот стал возможен благодаря финансовой и организационной поддержке отдела науки Британского Совета, представляющего Великобританию за рубежом в областях науки, культуры, образования и профессиональной подготовки (сайт в Интернете www.britishcouncil.ru). Британский Совет осуществляет программы, направленные на развитие международного партнерства и взаимопонимания между странами, на научно-техническое и культурное сотрудничество, а также на совершенствование преподавания английского языка, обучение менеджменту, теории и практике бизнеса.
МАШИНЫ ВОКРУГ НАС
Прежде всего нужно выяснить, что мы понимаем под словом "машины"?
Речь идет обо всех небиологических конструкциях и механизмах, включая ракеты, снаряды, инкубаторы, конвейеры и так далее. В первую же очередь мы имеем в виду компьютеризированные машины, например автомобиль с бортовым компьютером.
Машины могут выглядеть по-разному. Автомобиль совершенно не похож на слуховой аппарат, который, в свою очередь, сильно отличается от компьютера, а тот - от космической ракеты. Но все это - машины, предназначенные для выполнения различных задач. Одни машины созданы для того, чтобы помочь людям сделать что-то, другие - чтобы вовсе заменить людей, выполнять за них неприятную работу. А третьи - делают то, чего люди никогда не могли делать, не могли даже себе этого представить, пока не появились машины.
Давайте теперь поговорим о том, что могут делать машины сегодня.
В производстве уже более тридцати лет применяются так называемые роботы-манипуляторы. Они предназначены для выполнения определенного задания: их специально программируют, и они четко, в нужной последовательности производят все действия. Их главное преимущество в том, что они способны выполнять некоторые действия более точно и аккуратно, чем человек, работая на конвейере по 24 часа в сутки, по 7 дней в неделю, не ошибаясь и не уставая. Если раньше для управления манипуляторами требовался оператор, то сейчас, благодаря более совершенным программам, машина "сама" делает то, чему ее научили.
Не так давно роботов наделили органами чувств, например, снабдили камерой для получения элементарной зрительной информации. "Зрячие" роботы способны заменить людей на потенциально опасных работах. Так, компания GEC использует "змееподобных" роботов, которые "ползают" по земле в непосредственной близости от ядерного реактора. Они оснащены осветительными приборами и камерами. При помощи такого робота оператор, находясь на безопасном расстоянии, управляет работой реактора. Подобные устройства используют также и для размещения мин и снарядов, разминирования отдельных участков и даже для работы в шахтах. Причем в последнем случае оператору не нужно спускаться под землю - робот позволяет ему на расстоянии наблюдать за всем, что там происходит.
Люди постепенно и неуклонно устраняются от участия в процессе производства. Уже есть заводы, где целые этажи полностью заняты машинами. Людям остается лишь управлять машинами, обслуживать и чинить их. Но и этих обязанностей год от года становится все меньше. Например, созданы машины, которые могут "следить" за другими машинами и определять причину сбоя.
Что еще могут делать машины? Ну, например, играть в шахматы, примерно на уровне чемпиона мира. Вспомним, что в феврале 1996 года шахматный компьютер Deep Blue победил в одной игре чемпиона мира Гарри Каспарова. В 80-х годах машины обыгрывали людей в трик-трак, а еще раньше робот своими механическими пальцами собрал Кубик Рубика менее чем за четыре минуты. Существуют роботы, которые могут играть в бильярд и пинг-понг, а у нас в Рединге есть робот, который бросает и ловит мяч. На самом деле со многими задачами, которые требуют от человека умения и даже таланта, легко справляются довольно примитивные роботы с несложной программой и небольшим набором сенсоров.
А вот пример не такого уж ординарного робота - Wabot 2, созданный в Токийском университете, который может играть на органе, фортепьяно и уже выступал с симфоническим оркестром. У него есть "пальцы", чтобы ударять по клавишам, "ноги", чтобы нажимать на педаль органа, и визуальная система, читающая ноты.
В германской автомобильной компании БМВ сконструировали робота-заправщика, который знает, сколько бензина нужно залить, потому что "считывает" информацию с автомобильного датчика. Он знает, с какой стороны заливать бензин в машину и какой тип горючего используется. Этот робот обслужит вас меньше чем за четыре минуты.
Есть робот, который может сам себя "конструировать" из кубиков. Это позволяет ему менять форму и тем самым принимать позу, необходимую для преодоления различных препятствий. Его используют в системе коммуникаций, чтобы находить утечку газа или измерять уровень радиации.
Существует множество "роботов-полицейских". В компании Denning Mobile Robotics созданы подвижные роботы ростом в четыре фута, которые надзирают за заключенными в тюрьмах. Они совершают ночной обход по тюремным коридорам, передвигаясь со скоростью 5 метров в час. Они видят, слышат и улавливают запахи. Их можно отправить прямо на место, где происходит бунт заключенных: благодаря им охрана увидит и услышит, что там происходит.
Машины широко применяются и в сельском хозяйстве. Они сажают рассаду и картофель, собирают овощи и фрукты, сортируют их, фасуют и отбраковывают. С конца 80-х годов машины используются для дойки коров.
В университете Западной Австралии создана машина для стрижки овец. На основе данных о строении тела тысяч овец была составлена детальная карта. Во время стрижки машина удерживает овцу в нужном положении; в концы "ножниц" встроены специальные сенсоры, которые следят за тем, чтобы состригать только шерсть, не повреждая кожи. Скользя вдоль тела, "ножницы" чувствуют и учитывают даже дыхание животного.
В быту может быть очень полезен "робот-помощник". Уже создано множество машин, которые прекрасно выполняют различные виды домашних работ, но сконструировать универсального робота, который мог бы конкурировать с опытной домохозяйкой, пока не удается.
Группа Мартина Купера из отделения кибернетики в Рединге совместно с Possom Controls UK разработала целый "умный дом", в котором человек может, не меняя положения, открывать и закрывать окна и двери, включать телевизор и тому подобное. Это просто спасение для тех, кто ограничен в движении.
В Японии существует робот Meldog, который заменяет собаку-поводыря. В память робота заложена детальная карта города, и он может с помощью различных сенсоров "читать" дорожные знаки и указатели улиц, фиксировать перекрестки, приближение транспорта. Он может двигаться по заданному маршруту, регулируя свою скорость в зависимости от пожеланий человека, которого сопровождает.
Пожалуй, наиболее интересное направление в развитии "медицинских роботов" - это хирургия. "Роботы-хирурги" могут, например, гораздо аккуратнее вживлять имплантат в тазобедренный сустав, удалять опухоли на голове и шее, проводить пластические операции. С 1989 года роботы используются для проведения операций на мозге; при этом время операции удается сократить вдвое, что очень важно для состояния пациентов.
Мы привели лишь некоторые примеры роботов, используемых сегодня в самых различных сферах человеческой деятельности. Чтобы рассказать обо всех машинах, понадобилась бы не одна книга. Ясно одно: уже сегодня у нас есть целая армия машин, которые намного лучше нас выполняют отдельные задания; во многих конкретных видах деятельности машины оказываются гораздо "умнее" нас. Однако пока им не хватает универсальности и способности к обобщению. В будущем машин в нашей жизни станет еще больше, и будут они более "интеллектуальными".
ИНТЕЛЛЕКТ МАШИННЫЙ И ЧЕЛОВЕЧЕСКИЙ
Что можно считать признаком интеллекта, а что нет? Это целая философская и научная проблема, с которой не разобраться в одной статье. Любопытно, что сегодня наши взгляды на то, что можно считать проявлением "ума", а что нет, заметно меняются.
Когда я был юношей, про людей, которые могли производить в уме фантастически трудные вычисления, говорили, что они очень умны. То же говорили про людей, способных запоминать множество фактов и историй. Однако сегодня мы знаем, что машины могут и вычислять, и запоминать намного лучше, чем люди. Поэтому сегодня мы все чаще предпочитаем называть эти способности "вычислительными", а не умственными.
Вспомним знаменитый фильм "Человек дождя". Герой Дастина Хоффмана болен аутизмом. Не имея на первый взгляд никаких физических изъянов, он совершенно не способен делать многие обыденные вещи. Но вот на пол падает коробка с зубочистками, и персонаж Хоффмана, едва взглянув на этот беспорядок, в точности определяет число упавших предметов. По ходу фильма также выясняется, что он обладает феноменальной памятью и может мгновенно производить в уме сложнейшие математические вычисления, но при этом не способен ... завязать себе шнурки на ботинках. Заметим, что герой Дастина Хоффмана во многом действует и мыслит как машина: некоторые задания он выполняет блестяще - гораздо лучше, чем обычные люди, а с другими, самыми обычными, не может справиться вовсе. Возникает вопрос: обладает ли герой Дастина Хоффмана интеллектом?
Способности принимать решения и обучаться прежде также считались (и отчасти продолжают считаться) верными признаками "интеллекта", но сегодня выяснилось, что и то и другое машины могут делать гораздо лучше, чем мы. Поэтому и такое определение "интеллекта" нас уже не устраивает.
Можно заметить, что в наши дни определения интеллекта "работают" не более двух-трех лет, а потом безнадежно устаревают, потому что машины обзаводятся каким-нибудь новым качеством, часто намного превосходящим то же качество у человека. Не кажется ли вам, что мы, сами того не замечая, ищем каждый раз такое определение разума, из которого по-прежнему было бы ясно, что человек намного лучше машины? Но год от года мощность и эффективность машинных "мозгов" возрастают, и нам становится все труднее отыскивать те аспекты понятия "интеллект", которые демонстрировали бы явное превосходство человека.
Даже такие "сугубо человеческие" качества, как способность к творчеству и эмоциональность, постепенно входят в список свойств, присущих машинам. Машины тоже способны производить новое - нечто такое, о чем никто раньше не думал. Собственно, они занимаются творчеством уже сейчас: сочиняют новые мелодии, разрабатывают новые способы организации производства. Точно также машины могут делать такие вещи или приходить к таким выводам, которые людям и в голову не придут.
Несколько труднее представить себе машину, наделенную эмоциями. Роботы, созданные в отделении кибернетики Университета Рединга, убегают прочь, когда к ним приближается нечто агрессивное, некий "хищник". Но чувствуют ли они при этом страх? Сегодня у нас, по-видимому, нет способа узнать, могут ли машины испытывать эмоции, подобные человеческим. Лично я думаю, что могут. Но эти эмоции, конечно, "машинные". Если в будущем искусственный мозг станет работать, как человеческий, тогда, вероятно, его эмоции и чувства тоже будут сходны с нашими. Мы можем, однако, с полным правом сказать, что уже сегодня машины демонстрируют поведение, которое можно расценивать как эмоциональное.
Очевидно, что по своим характеристикам машинный интеллект должен сильно отличаться от человеческого. Мозг человека - биологического происхождения, в то время как мозг машины, например компьютера, - электронный. Такие свойства, как способность к творчеству, к обучению, эмоциональность, тоже будут различаться, по крайней мере до некоторой степени. Человек наделен своим набором приемлемых и ожидаемых ощущений и рефлексов. Однако мы не можем ожидать, что у машины этот набор будет точно таким же.
Поэтому сравнивать машинный и человеческий интеллекты очень сложно. И все же с большой долей уверенности можно предсказать, что мозг машины уже в следующие десять лет станет намного совершеннее и его превосходство будет качественно иным. Заметим, что процесс усовершенствования человека, напротив, протекает крайне медленно, если вообще можно говорить о таком процессе.
БУДУТ ЛИ МАШИНЫ КОГДА-НИБУДЬ ТАК ЖЕ УМНЫ, КАК ЛЮДИ?
Есть три ответа на этот вопрос: "да", "нет" и "может быть". Возможно, мы были бы счастливы ответить "нет", но сегодня мы уже не можем сделать это со стопроцентной уверенностью. Разрыв между машинным и человеческим интеллектом стремительно сокращается, и нет такого закона, который бы запретил им сравняться. Сказав "нет", мы поступили бы подобно страусу, который прячет голову в песок при виде опасности.
Однако и ответ "да" кажется нам неубедительным, поскольку также не может быть ничем доказан.
Единственный разумный ответ сегодня: "Может быть, когда-нибудь машины станут так же умны, как и человек". Беда в том, что, как только наши интеллекты сравняются, машины почти сразу начнут превосходить нас, поскольку наш мозг в отличие от машинного ограничен в размерах и скорости работы. Если к тому времени мы не научимся расширять возможности нашего мозга, подключая к нему дополнительную память или "объединяя" мозг нескольких людей, мы очень быстро окажемся далеко позади машин, чей мозг, не ограниченный размерами и другими параметрами, стремительно развивается.
СМОЖЕМ ЛИ МЫ СОХРАНИТЬ КОНТРОЛЬ НАД МАШИНАМИ?
Кто-то может сказать: даже если машины превзойдут нас по уровню интеллекта, "мы" все равно будем осуществлять контроль над ними. До тех пор, пока "мы" можем включать и выключать их по нашему желанию, - все будет в порядке. Я намеренно выделил слово "мы", поскольку неплохо бы выяснить, кто имеется в виду. Если понятие "мы" включает именно вас или, по крайней мере, тех, кому вы доверяете, все обстоит нормально. Но представьте себе, что это некая группа людей, которые используют машины для личной выгоды или для уничтожения других людей? Как вам это понравится? Представьте и такую ситуацию: есть лишь несколько человек, которые могут управлять некой очень умной, мощной и опасной машиной. И вдруг они умирают, не оставив никаких инструкций. С их смертью человечество теряет контроль над машиной, и она начинает действовать самостоятельно.
Возможны и другие ситуации, когда человечество лишится своих контрольных позиций. Например, машина сама решит, что пора поменяться местами. С какой стати более умной машине во всем подчиняться человеку? Много лет назад над этим вопросом размышлял фантаст Айзек Азимов и даже вывел "Три закона робототехники" - правила, которые, будучи внесенными в программу роботов, позволили бы человеку сохранять контроль над ними. Но мы должны четко понимать, что законы Азимова - чистая фантастика, они действуют в выдуманном мире. В реальном мире роботы им не подчиняются.
Уже сегодня люди, часто того не замечая, очень зависимы от машин. Мы настолько привыкли доверять им, что потеряли всякую бдительность. Представим себе машину (компьютер), которая следит за заключением сделок на большой финансовой бирже, решая покупать или продавать те или иные акции и товары. Допустим, она обучилась на собственном опыте, как лучше поступать в различных ситуациях, с тем чтобы получать максимальную прибыль. И вот машина решает, например, что не нужно больше закупать бразильский кофе, поскольку кенийский стал гораздо более прибыльным. Решение компьютера выполняется немедленно и влечет за собой огромные перемены на рынке. Машина тем самым вершит судьбы тысяч людей в Бразилии и Кении! Причем правильность ее решения никто не станет проверять - на это ушло бы слишком много времени.
С каждым годом мы зависим от машин все больше и больше. Мы передаем им нашу информацию, а также право давать нам советы и принимать решения. Тем самым мы автоматически наделяем их все большей властью над нами. Сегодня значительная часть машин связана в единую сеть, которая позволяет им обмениваться информацией друг с другом. Никто не в состоянии контролировать эту сеть целиком, это уже совершенно особый организм, который слишком сложен для нашего понимания.
МАШИНЫ И СОЗНАНИЕ
Есть ли у человеческого мозга возможность сохранить лидерство, или полная победа машин - всего лишь вопрос времени?
В фантастической пьесе Карела Чапека "R.U.R." (где, кстати, впервые упоминается слово "робот" в современном значении) роботы, захватившие весь мир, внезапно понимают: они не знают, что им дальше делать с собой. Им нужен человек, чтобы дать им смысл к существованию. Чапек тем самым затронул очень важный вопрос: способны ли машины сознавать себя (есть ли у них сознание), и имеет ли это какое-либо значение?
Сознание - то качество человеческого мозга, которое, судя по тому, что нам известно сегодня, просто не может быть воспроизведено в машинной версии. Поэтому для тех, кто верит в вечное превосходство человека над машинами, сознание - один из основных аргументов: "Как бы ни были могущественны машины, у них никогда не будет человеческого сознания, поэтому они никогда не смогут делать все то, на что способен человек".
Трудно определить, что такое человеческое сознание. Мы знаем только, что оно есть. Мы знаем, что мы, люди, обладаем сознанием, но мы никогда не сможем точно объяснить, что это такое. Поскольку сознание представляет собой нечто, чего мы еще не можем понять до конца и, следовательно, не можем воспроизвести в искусственном интеллекте. Но, возможно, это дело будущего. Есть, например, мнение, что работу мозга можно понять, только изучив его на квантово-механическом уровне.
Иногда, правда, говорят еще и о неком "магическом компоненте" человеческого мозга, который вообще не поддается научному объяснению. Без этого компонента машинный мозг никогда не сможет делать все то, что делает человеческий, и, следовательно, никогда не сможет его превзойти. Однако я не считаю такой аргумент серьезным. Разговоры о чем-то магическом, чего мы никогда не сможем понять, - это просто способ избежать спора.
Мне также не кажется, что человеческое сознание может оказаться препятствием для машинного интеллекта.
С одной стороны, у нас нет никаких причин считать, что машины не могут обладать сознанием, что оно свойственно только человеку. Разумные машины могут обладать своим собственным, машинным, сознанием. Мы, люди, способны смотреть на машину только со стороны. Только в том случае, если б у нас были машинные мозги, мы могли бы сказать, обладают ли машины таким же сознанием, что и мы.
С другой стороны, сознание - это только одна из характеристик деятельности человеческого мозга. Но есть еще и ряд других. Многие из этих характеристик менее абстрактны и поддаются измерению. Из тех, что можно измерить, есть такие, по которым машины уже превзошли людей: например, по быстродействию и объему памяти. Есть такие, по которым, как легко убедиться, машины в недалеком будущем тоже нас перегонят: это, например, соотношение интеллектуальной мощности и размера.
Машинный разум может обойтись и без сознания, чтобы превзойти нас. Может быть, оно вообще здесь ни при чем. Но даже если предположить, что в этой "гонке разумов" сознание все же играет важную роль, то все равно - оно остается лишь последним препятствием на пути машин к победе.
СОЮЗ МАШИНЫ И ЧЕЛОВЕКА?
В последнее время некоторые фантасты и многие ученые предлагают некий симбиоз человека и машины - получеловек-полумашина, или киборг.
В октябре 1998 года 53-летнему парализованному жителю Атланты (США) был вживлен в мозг электронный имплантат, с помощью которого он смог по радиосвязи управлять удаленным компьютером. Это позволило ему общаться с людьми: контролируя положение курсора на экране монитора, он мог заставить компьютер синтезировать речь.
Возможно, в будущем имплантат позволит человеку управлять компьютером лишь посредством мысли. Тем самым отпадет потребность не только в клавиатуре и мыши, но даже и в мониторе.
Прямая связь между компьютером и мозгом позволила бы расширить возможности человеческого мозга, снабдив его дополнительной памятью и способностью воспринимать мир с помощью различных сенсоров - инфракрасных, ультрафиолетовых и т. д. Но сможет ли человеческий мозг справиться с обилием новой информации? Сможет ли человек понять информацию от ультразвуковых или радиосенсоров, если она будет поступать непосредственно в мозг, или для этого все же потребуются некие преобразователи?
Передача информации от компьютера непосредственно в мозг человека открывает новые возможности. Чтобы попасть в виртуальную реальность, больше не понадобятся ни специальные шлемы, ни очки. Возможно, когда информация будет поступать прямо в мозг, человек уже не сможет отличить реальное от нереального. А подключив к мозгу дополнительную память, он обретет живые воспоминания о том, чего никогда не делал в действительности.
Представьте, что люди с имплантатами смогут соединяться друг с другом через Интернет. Тогда станет возможна передача мыслей от одного человека к другому, как бы далеко друг от друга они ни находились.
В августе 1998 года в качестве научного эксперимента в мое левое предплечье вживили микросхему. С помощью этого имплантата я мог взаимодействовать с компьютерной сетью, расположенной в здании отделения кибернетики Редингского университета. В результате, входя в дверь, я слышал: "Добрый день, профессор Уорвик!" Когда я приближался к своему кабинету, на экране моего компьютера появлялась моя домашняя страничка с информацией о всех пришедших на мой адрес сообщениях. Двери лаборатории открывались передо мной автоматически.
Имплантат состоит из стеклянной капсулы с электромагнитной катушкой и несколькими силиконовыми чипами. Его длина - 23 миллиметра, диаметр - 3 миллиметра. Когда радиочастотный сигнал поступает на катушку, в ней возникает электрический ток, который заставляет микросхему вырабатывать 64-битный сигнал. Компьютерная сеть распознает этот сигнал.
Примерно через год мне вживят другой имплантат, на этот раз рядом с нервным стволом. Сигналы от микросхемы будут передаваться в компьютер и обратно. Это позволит мне напрямую связываться с Интернетом. Возможно, скоро этот способ станет общедоступным. Вместо того чтобы пользоваться обычными телефонами или носить с собой повсюду сотовые, люди смогут общаться с помощью крохотных силиконовых чипов, которые можно будет легко вживлять хирургически или даже просто вводить под кожу путем инъекции. Посредством Интернета можно будет передавать импульсы от одного имплантата к другому, то есть от одной нервной системы к другой.
Возможно, вскоре, по крайней мере на Западе, человек, не имеющий такого имплантата, будет чувствовать себя выпавшим из жизни, отрезанным от мира - подобно тому, как сегодня чувствует себя человек, лишенный телефона. Однако, поскольку компьютеры будут иметь прямой доступ к нашему мозгу, наши мысли больше не будут принадлежать нам. Более того, мы не сможем больше отличить наши собственные мысли от тех, что были переданы в наш мозг извне.
И вновь мы приходим к тому, с чего начали: будущее человечества напрямую зависит от интеллекта машин. Как только машинный интеллект сравняется с нашим, у нас возникнут серьезные проблемы, преодолеть которые нам вряд ли удастся. Подключившись к компьютерной сети, мы превратимся в крошечные узлы огромной машинной системы. Но даже если мы и не будем включены в единую сеть, огромная система умных и мощных машин при желании все равно сможет превратить нас в беспомощные игрушки.
ТАК ЧТО ЖЕ НАС ЖДЕТ?
Итак, увеличение мощности компьютеров, их быстродействия, объема памяти, возможностей обучения, творчества и так далее - все указывает на то, что разрыв между человеческим и машинным мозгом стремительно сокращается. Не существует ни теоретических, ни физических, ни магических препятствий к тому, чтобы искусственный интеллект сначала сравнялся с человеческим, а затем и обогнал его.
Когда же все это произойдет? Некоторые считают, что лет через сто или, может быть, через несколько столетий. Правда, скорость, с которой развиваются технологии, и чрезвычайно быстрый прогресс исследований машинного интеллекта заставляют нас думать иначе; сотни лет - это слишком консервативная оценка. По-моему, это просто попытка успокоить себя, нежелание портить себе настроение: если мы, люди, вынуждены согласиться с тем, что когда-нибудь искусственный интеллект превзойдет человеческий, хотя нам и очень не хочется с этим соглашаться, то пусть это произойдет как можно позже, через столетие или даже несколько столетий.
Некоторые ученые считают, что до того момента, когда машина сравняется с человеком по интеллекту, осталось 10-20 лет. Американский исследователь Ганс Моравек (Н. Moravec), опираясь на достижения в области искусственного интеллекта и вполне разумно предположив, что скорость, с которой развиваются технологии, будет постоянно увеличиваться, рассчитал, что это событие произойдет примерно в 2030 году.
Кто знает, быть может, эволюционное развитие не заканчивается на человеке и дарвиновскую теорию можно распространить и на машины? Быть может, мы находимся в положении динозавров, время которых уходит, и человеческая раса сейчас играет свою последнюю партию?
Если период нашего господства на Земле подходит к концу, мы можем надеяться лишь на то, что машины будут обращаться с нами так, как мы обращаемся с другими животными: они сделают нас рабами или поместят в зоопарк. Разве этого мы хотим? Не следует ли нам по крайней мере создать международную организацию, которая проводила бы мониторинг, а может быть, даже и контроль за тем, что происходит?
Перевела А. ШИШЛОВА.
