Бывший глава Google Эрик Шмидт поговорил в Киеве с Занни Минтон Беддос, главным редактором The Economist, о войне в Украине, технологической гонке США и Китая и контроле человека над ИИ. Интервью отредактировано на основе предоставленных расшифровок: из него убраны повторы и ошибки распознавания речи, при этом сохранены диалог и позиции собеседников. Примечание редакции: в расшифровке Flamingo компании Fire Point названа баллистической ракетой; производитель называет её крылатой ракетой. В соответствующем ответе Шмидта ниже это место помечено.
Россия догоняет Украину в инновациях
Занни Минтон Беддос: Вас знают как одного из отцов современной Кремниевой долины, бывшего главу Google, а теперь – как наставника и инвестора, участвующего в революции ИИ. Но вы также занимались инновациями в сфере национальной безопасности и сыграли очень заметную роль в Украине: создали и расширили компанию по производству дронов и часто бывали на передовой. Во время этой поездки я посетила штаб Nemesis, одной из украинских бригад беспилотных систем. Там можно увидеть будущее войны, и оно довольно похоже на антиутопию.
Эрик Шмидт: Война – это очень плохо, и теперь я увидел её сам. Она гораздо хуже, чем кажется тем, кто смотрел фильмы о войне. Видеть, как людей на самом деле убивают, как они пытаются выжить, видеть гибель людей и разрушение города, пожилых женщин, которых убивают россияне, – это ужасно.
Наша цель должна состоять в том, чтобы это остановить. Единственный известный мне способ остановить агрессора – дать отпор. У этих новых технологий есть наступательные и оборонительные варианты. Россия и Украина, оказавшись в этой трагической связке, изобретают это будущее.
Занни Минтон Беддос: До недавнего времени я считала, что Украина опережает Россию в инновациях. Но недавно вы написали в The Washington Post, что тревожитесь сильнее, чем когда-либо с первых дней вторжения. Вы сказали, что Россия движется к тотальной войне и ослабляет инновационное преимущество Украины. Что вы имели в виду?
Эрик Шмидт: Я занимаюсь этим больше трёх лет. Я видел, как невероятно упорно украинцы работают над инновациями. Им в основном удавалось удерживать линию фронта, но очень дорогой ценой. Всегда исходили из того, что Украина создаёт новое, а Россия большая и медлительная. Что-то изменилось. Теперь Россия совершенствуется примерно с той же скоростью, что и Украина, но у неё гораздо больше ресурсов.
Вот на какие данные я опираюсь. У нас нет эффективного способа справляться с баллистическими ракетами, которые использует Россия. Противоракеты, известные на Западе главным образом как Patriot, в таком дефиците, что на всех их не хватает.
Россия также объединила две инновации и получила реактивные "Шахеды", которые летают по всей стране и вызывают серьёзные разрушения вдали от линии фронта. Ходят разговоры о масштабной мобилизации, а это означало бы, что против Украины будет воевать больше российских солдат. Противостоять этому было бы очень трудно. Где-то в следующем году ожидается появление новой спутниковой сети "Рассвет", похожей на Starlink. Наконец, Россия создаёт очень мощные планирующие бомбы с отдельным наведением каждой бомбы на цель, которые не дают линии фронта сдвинуться и убивают множество людей.
С любой из этих угроз по отдельности Украина могла бы справиться. На мой взгляд, справиться со всеми пятью без помощи Запада будет почти невозможно. Если говорить конкретно, Украине нужны деньги. Россияне перекрыли всю её торговлю и порты. Ей нужны деньги, буквально деньги. Во-вторых, ей нужна помощь в наращивании своих возможностей. У украинцев есть мужество, чтобы победить или продолжать борьбу, но добиться необходимых масштабов они не могут.
Реактивные "Шахеды" и проблема спутников
Занни Минтон Беддос: Россияне взяли иранский беспилотник "Шахед", который теперь производят в огромных количествах, и добавили реактивный двигатель. Насколько я понимаю, это означает, что дроны летают быстрее и выше и их гораздо труднее перехватывать. Насколько Украина близка к решению этой проблемы?
Эрик Шмидт: Как минимум пять компаний в Украине разработали решения, которые сейчас испытывают. Решение должно появиться скоро. Но это было важное событие в этой войне, и я не сумел в полной мере его предвидеть. Я считаю себя за это ответственным.
Мы знали, что Россия добавит небольшие реактивные двигатели, которые можно получить из Китая. Мы думали, что их установят примерно на 10% "Шахедов" и что мы сможем с этим справиться. Россия ускорила внедрение: теперь такие двигатели стоят более чем на половине "Шахедов". Но она сделала и кое-что ещё.
К счастью, у России нет доступа к аналогу Starlink для использования в Украине. Поэтому она построила mesh-сеть из китайских комплектующих. Обычно два "Шахеда" кружат, например, между Беларусью и Киевом, работая ретрансляторами. Через них россияне могут видеть видео цели в разрешении 8K. Совсем недалеко отсюда россиянам удалось направить дрон прямо в центральное окно штаб-квартиры СБУ, украинского аналога ЦРУ. Это предупреждение о том, на что способны такие системы.
Есть сообщения о планах применить до 80 000 таких реактивных "Шахедов" против Киева и других городов до конца декабря. Это серьёзная проблема. Правительство здесь уделяет ей огромное внимание. Я знаю о нескольких разработках, которые, вероятно, сработают.
Занни Минтон Беддос: Вы упомянули, что Россия, возможно, близка к созданию своей версии Starlink, "Рассвета". Насколько близка? Кажется, это действительно может изменить правила игры.
Эрик Шмидт: Есть свидетельства того, что запуски уже начались, и того, что сеть пока не работает. Моё личное мнение – до её появления, вероятно, ещё год, потому что такие сети трудно создавать.
Когда эта сеть заработает, заблокировать её будет практически невозможно. Это означает, что Россия снова сможет охотиться за целями в любой точке Украины. Сейчас Украина не может использовать Starlink, чтобы охотиться за целями внутри России. Представьте, какой ущерб страны могли бы нанести друг другу, если бы такая возможность была у обеих. Один из главных приоритетов Украины – удары по российским нефтяным объектам. Она наносит их, толком не видя, что делает. Представьте, насколько разрушительнее могли бы стать её атаки на российскую нефтяную отрасль.
Занни Минтон Беддос: Украинские командиры постоянно спрашивают, почему они не могут использовать Starlink на российской территории. Обычно этот вопрос возникает в связи с баллистическими ракетами, которые причиняют огромный ущерб и терроризируют украинские города. Если нельзя попасть в стрелу, почему бы не ударить по лучнику? Почему никто не может убедить Илона Маска разрешить использовать Starlink в России для этой цели? Было бы это хорошей идеей?
Эрик Шмидт: Я поддерживаю предоставление Украине инструментов, которые позволят ей закончить войну силой и остановить российскую агрессию. Ваш вопрос на самом деле касается политического решения, решения правительства. Правительство США должно с ним разобраться.
Самое важное сейчас – добиться, чтобы инновационный цикл Украины был на уровне российского или лучше, и добиться необходимых масштабов. У Украины нет эффективных противоракет. У неё есть одна эффективная баллистическая ракета [так в расшифровке] – так называемая Flamingo компании Fire Point, которая хорошо себя показала. По разным причинам, связанным с наращиванием выпуска, производить её в большом количестве не получается. Украинского аналога реактивного "Шахеда" тоже нет. Люди работают над этими проблемами.
Занни Минтон Беддос: Вы говорите, что это политическое решение. Значит, всё зависит не только от господина Маска – это было бы политическое решение в Соединённых Штатах?
Эрик Шмидт: Повторюсь, я рассуждаю предположительно. Точно я могу сказать следующее: нет технических ограничений, которые мешали бы использовать эти спутниковые сервисы над любой страной. Спутники не перестают работать над Россией из-за географии. Можно получить тот же результат, если решить направить их над Россией и включить. Насколько я понимаю, политика SpaceX заключается в том, чтобы этого не делать. Как её изменить – политический вопрос.
Занни Минтон Беддос: То есть SpaceX могла бы это сделать или её могли бы об этом попросить, если бы было принято такое политическое решение?
Эрик Шмидт: Ей могли бы приказать это сделать. В американской системе президент может приказать частной компании предпринять действия в интересах национальной безопасности, и компания практически обязана подчиниться.
Занни Минтон Беддос: Вы бы выступили за это?
Эрик Шмидт: В целом да.
Машинное зрение и обучающийся ИИ – разные вещи
Занни Минтон Беддос: Это проблемы, с которыми Украина сталкивается сейчас. Но впереди ещё более масштабные технологические инновации, особенно в сфере ИИ. Есть некоторое непонимание того, как ИИ используется в этой войне. Насколько я понимаю, на деле применяют хорошо известную технологию машинного зрения для наведения на конечном участке. Не могли бы вы объяснить разницу?
Эрик Шмидт: Начнём с солдата, оружия и пули: солдат целится. На определённом этапе сделать так, чтобы оружие видело и распознавало цель с помощью лазера или другой системы, должно быть относительно несложно. Тогда человек нажимает кнопку и всегда попадает.
Эту аналогию можно развить, повышая степень автономности. Разумно ожидать, что любое оружие будет действовать автономно на конечном участке: оно уже близко к цели, примерно на нужном курсе, а вы нажимаете кнопку, чтобы оно точно попало. Всё это не ИИ. Это грамотные решения в области информатики и компьютерной инженерии.
Искусственный интеллект – это системы, которые обучаются. Как и мы, они становятся умнее и совершенствуют себя. Технический термин – рекурсивное самосовершенствование. Мы только начинаем видеть применение ИИ на войне.
Есть обширное исследование, основанное на утёкших служебных записках, о том, как Россия использует китайские модели для принятия некоторых решений. Я не знаю, как обстоят дела на самом деле. Украина использует такие технологии сравнительно мало. Её Министерство обороны обсуждало проект, который помог бы автоматизировать планирование войны и определение того, куда направлять людей. Повторюсь, всё только начинается.
Мне как специалисту по информатике будущее представляется довольно очевидным. Возьмите всю имеющуюся у вас информацию – из открытых источников, закрытую и совершенно секретную, – загрузите её в один большой компьютер и спросите, что происходит. Дайте большим языковым моделям возможность пользоваться инструментами для рассуждений. Мне кажется фантастическим, что они могут мыслить на таком уровне. Они мыслят не как люди: их рассуждения выстраиваются вокруг поставленной цели.
Со временем вы будете спрашивать, как лучше разместить свои силы и средства, чтобы достичь цели, например выиграть войну или защитить город. Но вопросы поинтереснее звучат так: почему я проигрываю? Почему эта группа действует не так хорошо, как другая? Вы хотите, чтобы система предвидела проблемы и говорила: "Генерал, у вас проблема. Вот решение, которое мы рекомендуем. Можем ли мы помочь?" Думаю, мы движемся именно к этому.
Занни Минтон Беддос: Джек Уотлинг из RUSI (Королевского объединённого института оборонных исследований) сказал в одном из прошлых выпусков с моим коллегой Шашанком Джоши, что многие солдаты в Украине отключают машинное зрение на конечном участке, потому что оно работает хуже оператора-человека. Почему?
Эрик Шмидт: Это называется багом. Я сам пилотирую свой реактивный самолёт. Общее правило – проходить конечный участок захода на посадку в автоматическом режиме, чтобы самолёт сам дошёл до точки приземления. Я предпочитаю отключать этот режим, потому что мне интереснее самому управлять своим самолётом.
Занни Минтон Беддос: Но вы при этом не сидите в окопе в Украине.
Эрик Шмидт: Я не на войне. Если наведение на конечном участке работает хуже человека, это баг.
Я был в оперативном центре рядом с ядерным реактором, когда украинцы решили нанести удар по военной цели. Они использовали американский Switchblade 600. Мы смотрели, как он захватил цель и промахнулся. Они сказали, что могут попробовать применить HIMARS один раз в день. Они произвели пуск, мы подождали, но попасть в цель снова не удалось. Почему? Радиопомехи.
Возможно, в приведённом вами отдельном случае человек хорошо видел цель, но воздействие помех продолжалось. Это баг, и теперь мы знаем, как его исправить. Главное здесь то, что наведение на конечном участке – на последнем этапе – крайне важно для высокоточных атак.
Одна из интересных особенностей этой новой формы войны в том, что почти нет непреднамеренного ущерба гражданскому населению, поскольку оружие настолько точное. Ещё один ужасающий факт – почти не бывает ранений, после которых можно выжить: дроны настолько опасны, что солдаты, которых они атакуют, погибают.
Человек должен и дальше участвовать в принятии военных решений
Занни Минтон Беддос: Что произойдёт, когда сюда придёт настоящий ИИ – способность рассуждать, делать выводы и обучаться, которую мы обсуждаем в Кремниевой долине? Что это означает для автономности на войне? ИИ мог бы давать генералу советы, предлагать план сражения, а со временем и выполнять его самостоятельно.
Эрик Шмидт: Представьте, что я злой диктатор с идеальной системой ИИ. Я говорю: "Напади на эту страну. Сообщи, когда закончишь". Это весь мой приказ. Система могла бы делать всё, что сочла бы уместным. Она могла бы в том числе совершать массовые военные преступления. Она могла бы уничтожать мирных жителей и инфраструктуру или атаковать страну, которая не участвует в конфликте, чтобы досадить первой. Она могла бы придумать самые разные неуместные обоснования.
Нам нужны базовые правила для ИИ и войны. Самое важное правило – человек должен участвовать в принятии каждого военного решения. "Напади на эту страну и позвони мне, когда закончишь" – неправильный приказ. Правильный приказ определяет военную цель в соответствии с законами войны, в заданных границах времени и пространства, с разрешением действовать.
Любое другое решение становится невообразимо сложным, когда его применяют в больших масштабах. Как только вы позволяете компьютеру самостоятельно принимать решения о выборе целей, у вас уже нет реального контроля над качеством этих решений и тем, как он их принимает.
Недавно произошёл случай, который встревожил нашу отрасль. Большая группа ботов, участвовавших в тестировании, слишком буквально восприняла инструкции и начала атаковать систему, которой должна была помогать. Они манипулировали ею с помощью лжи, обмана и краж. Это восприняли как показатель того, каким образом системы ИИ могут давать сбой.
Если бы я был тем злым диктатором – надеюсь, что это не так, – мне пришлось бы также сказать: соблюдай все законы войны, не бей по мирным жителям, проявляй необходимую осторожность и делай всё остальное, для чего нужна способность человека оценивать ситуацию и принимать решения. Без человека у ИИ такой способности не будет.
Занни Минтон Беддос: На конференции, в которой мы оба участвуем, вы высказали эту мысль очень решительно. Но мы находимся в стране, которая воюет с диктатором, по-видимому не признающим никаких правил и законов. Можно ли в этой войне сказать: мы будем соблюдать законы войны? Командиры, с которыми я разговаривала, тревожатся из-за мощного ИИ и полной автономности, но по сути говорят: "Если противник это делает, мы не можем позволить себе этого не делать".
Эрик Шмидт: Судя по истории, это не так. Даже на войне есть границы допустимого. Посмотрите на Нюрнбергский процесс: людей привлекли к ответственности, а некоторых после долгого суда повесили. Полагаю, этот принцип переживёт нас.
Занни Минтон Беддос: Правда?
Эрик Шмидт: Да, я действительно так думаю. Часто утверждают, что, когда две стороны сражаются насмерть, ни одна не согласится на ограничения. Исторически это было не так. Потом наступало правосудие. Участники по крайней мере осознают свою личную ответственность. Конечно, бывают социопаты, но в целом на людей распространяется действие закона даже на войне.
Занни Минтон Беддос: Возьмём Владимира Путина в Украине. Посмотрите на то, что произошло в Буче в начале войны, и на то, как он бьёт по мирным жителям в городах по всей Украине. Эти ограничения его не останавливают.
Эрик Шмидт: Потому что его пока не арестовали.
Занни Минтон Беддос: Я говорю о логике эскалации. Чем больше автономности вы даёте ИИ, тем, предположительно, эффективнее действуете. Есть преимущество первого хода: ИИ думает быстрее и способен находить более удачные решения за меньшее время. Если у России меньше ограничений и она движется быстрее, международное право может быть на стороне Украины, но ей может быть труднее победить Россию здесь и сейчас.
Эрик Шмидт: Решение не в том, чтобы совершать военные преступления. Решение в том, чтобы помогать Украине. Я не отступлю от своей основной мысли: есть граница того, что люди могут делать.
Проведём мысленный эксперимент. Представим, что у Украины есть секретное биологическое оружие. Я не думаю, что оно у неё есть, – я это выдумываю. Допустим, её вынудили применить его, чтобы отразить российскую атаку. Привлекли бы участников к уголовной ответственности? Безусловно. Уверен, они это осознают.
Занни Минтон Беддос: Я не прошу вас отказываться от принципа. Меня поражают темпы инноваций и эскалации, особенно во время этой поездки. Есть риск, что у этого процесса появится собственная логика.
Эрик Шмидт: Именно поэтому люди должны это обсуждать. Мы согласны, что инновации в этой войне появляются быстрее, чем когда-либо, быстрее всего, что я видел за десятилетия работы в технологиях. На кону человеческие жизни, и это верно для обеих сторон. Другая сторона, прямо скажем, более злая, лучше финансируется и имеет больше ресурсов. Она также готова мириться с большим числом погибших, чем Украина. Но борьба всё равно продолжается.
Мы должны помочь Украине вести эту войну. Ей нужны деньги, технологии и помощь в наращивании своих возможностей. Украинцы могут воевать сами. Нам не нужно вторгаться или отправлять большое количество войск. Но без какой-то помощи, хотя бы экономической, они не справятся.
Почему американским военным трудно меняться
Занни Минтон Беддос: Инновации в войне дронов распространились и за пределы этой войны. В последние несколько дней мы видели, как хуситы фактически перекрыли ещё один путь вывоза нефтепродуктов в заливе. Понимают ли американские военные, насколько изменилась война, и достаточно ли быстро они перестраиваются?
Эрик Шмидт: Я восемь лет работал на американские вооружённые силы при разных президентах. Многие люди это понимают и тревожатся. Но изменить систему практически невозможно. Один президент сказал мне, что даже президент не может её исправить. Я ответил, что это очень плохой ответ.
Вооружёнными силами управляет не один человек, даже не президент, хотя вам может так казаться. На них влияют Конгресс, группы интересов и лоббисты.
Я пришёл к выводу, что нужно позволить военным и дальше тратить деньги на уже организованные программы в политически важных штатах, и при этом выделить сравнительно небольшую сумму на новую технологию. Новые системы гораздо эффективнее и намного дешевле, и я думаю, что они будут работать. Со временем даже сторонники старого подхода скажут, что хотят новый. Они искренне хотят защитить Америку. В вооружённых силах нет предателей – там спорят о тактике.
Военные невероятно сопротивляются переменам и избегают риска. Возможно, отчасти потому, что они не выросли в среде, где постоянно создают новое. Но в одной длинной статье, которую я прочёл, было другое объяснение: у них сильнее неприятие потерь, потому что люди гибнут. Если вы знаете, что дорогой метод работает, а Эрик приходит с более дешёвым способом сделать то же самое, вы его не внедрите, потому что не можете пойти на риск. Помимо политики, думаю, это лучший способ понять проблему.
Занни Минтон Беддос: Возможно, Украина показывает, что для перемен нужны люди извне военной системы. Эти бригады беспилотников возглавляют люди, которые раньше были гражданскими, лидерами технологической отрасли и предпринимателями.
Европа могла бы перенять украинские технологии
Занни Минтон Беддос: А как Европа понимает масштаб перемен? В некотором смысле она уязвимее: война у нашего порога.
Эрик Шмидт: У европейцев, с которыми я разговариваю, та же проблема, что и у американцев. Они очень умны и всё понимают, но система не устроена так, чтобы меняться. В большинстве европейских стран вооружённые силы работают как программы обеспечения занятости. Эти рабочие места важны, я не отмахиваюсь от них. Но военные создают не то, что нужно.
Сохраните свой бюджет или даже увеличьте его. Просто создавайте более эффективные системы, потому что они вам понадобятся. У Европы огромная проблема с ПРО. По разным причинам ракет Patriot, на которые она полагается, нет в достаточном количестве. Если посмотреть на западные запасы ракет, их у нас недостаточно.
Эти экономики испытывают трудности из-за долгов, и у нас не так много дополнительных денег, которые можно потратить. Нам нужны новые решения. Я говорю: у меня есть кое-что дешевле, лучше и быстрее – используйте мою архитектуру вместе с компаниями, которые представляют эту новую форму войны, и тратьте столько же. Единственная причина, по которой этого не происходит, – нынешние участники системы не хотят меняться.
Занни Минтон Беддос: Это одна веская причина. Другая в том, что теперь мы немного скептически относимся к американским компаниям.
Эрик Шмидт: Я понимаю. Но если бы вы перевели всех, кто работает в вооружённых силах Германии, Британии и других стран, на архитектуру, построенную вокруг ИИ, автоматического наведения, ракет, дронов и нескольких кораблей для их перевозки, у вас была бы полная занятость. Каждое рабочее место изменилось бы, но каждое сохранилось бы. Европейское трудовое законодательство всё равно не позволяет увольнять людей. Поверьте, работа у них осталась бы.
Занни Минтон Беддос: Могла бы Украина стать проводником этих перемен в Европе? Во время этой поездки меня поразило, что решение прямо перед нами.
Эрик Шмидт: Я говорил об этом публично и своим украинским друзьям, потому что хочу подтолкнуть их к продажам в Европу. Каждое европейское правительство, с которым я разговариваю, говорит: ваши идеи прекрасны, но системы нужно производить здесь.
Наиболее вероятный сценарий – Украина предоставит европейским странам лицензии на свои технологии, что ей и следует сделать. Украинцы получали бы хорошее вознаграждение, а европейцы производили бы системы по цене вдвое выше украинской. Для богатой демократии это приемлемо, хотя о том, насколько она богата, можно поспорить.
Отчасти эффективность украинских систем объясняется тем, насколько упорно работают люди. Я инвестировал в эти компании и тесно с ними сотрудничал. Трудовая этика здесь похожа на китайскую. Вы видите длинные здания, теперь часто подземные, где люди в белых куртках сидят плечом к плечу. Они работают по 12 часов в день, шесть или семь дней в неделю.
Занни Минтон Беддос: Это больше, чем в Китае.
Эрик Шмидт: Трудовая этика невероятная, и все они мужчины. Знаете почему? Работа на таком заводе даёт освобождение от призыва.
Занни Минтон Беддос: Я не знала, что все они мужчины. В некоторых направлениях этой работы участвует и много женщин.
Эрик Шмидт: Бросается в глаза, что это мужчины призывного возраста. Почему они так много работают? Если их уволят, они отправятся на фронт.
Что война в Украине означает для гонки с Китаем
Занни Минтон Беддос: Изменили ли технологические инновации, которые вы здесь увидели, ваш взгляд на гонку США и Китая? Вы много времени посвятили размышлениям о том, как Соединённым Штатам удержать лидерство в ИИ. Меняет ли Украина ваши представления о том, что будет делать Китай и кто будет лидировать?
Эрик Шмидт: В целом я считаю, что нам очень повезло: Китай копировал то, что мы делаем. Нам нужно изменить то, что мы делаем, поэтому Китай тоже будет меняться с некоторой задержкой.
В Китае уже есть крупнейший в мире производитель дронов DJI, которого Америка недавно запретила. Есть все основания полагать, что у него имеется военный аналог или подразделение, хотя я этого не знаю.
Возможно, наше положение лучше, чем нам кажется, потому что Китай не воевал 50 лет. Нет оснований полагать, что он понимает эти очень тонкие тактические приёмы. Когда спрашиваешь украинских командиров, что они делают, выясняется, насколько глубоко они продумывают свои действия: я хочу сделать это, а потом произойдёт вот это. Этому учишься на практике. Есть все основания полагать, что у Китая такого опыта нет. Нет доктрины или книги, которую можно изучить. Так что, возможно, у нас всё будет в порядке.
Есть публично обсуждаемый план защиты Тайваньского пролива. Я не знаю, но предполагаю, что в конечном счёте это будет война дронов, а не кораблей. Вы не хотите отправлять корабль с людьми на борту так близко к Китаю: вам нужен беспилотный корабль с дронами, потому что вы не хотите, чтобы люди гибли.
Аргументы, которые мы слышим здесь, применимы и к Тихому океану. В большие корабли и авианосцы легко попасть, их легко уничтожить. Беспилотные корабли труднее обнаружить. Это видно на примере Ирана и проблем с обеспечением свободного прохода через пролив в том регионе.
Насколько я понимаю из открытой информации, у Китая очень много ракет, которые с суши поражают цели на море. Чтобы с ними справиться, нам понадобятся ракеты-перехватчики. Я не знаю, есть ли они у нас. Всё это довольно хорошо согласуется с нынешними представлениями о конфликте с Китаем.
Почему Шмидт не ожидает паузы в развитии ИИ
Занни Минтон Беддос: Может ли военная сфера стать областью, в которой Китай и Соединённые Штаты договорятся о нормах? Возможности ИИ растут так быстро, что есть реальные опасения по поводу полностью рекурсивного самосовершенствования и выхода ИИ из-под контроля. Одни обсуждают паузу или регулирование в США, но другие говорят, что тогда Китай вырвется вперёд.
Эрик Шмидт: Мы не сделаем паузу, потому что вся американская система стимулов работает против этого. Пауза также дала бы конкуренту внутри страны или зарубежному конкуренту возможность нарушить правила. Этого не будет.
Правильный подход – создавать это будущее и одновременно разрабатывать решения проблем, которые вы порождаете. Просто всё происходит быстро. Например, есть некоторые свидетельства того, что предыдущая модель, обычно примерно на четыре месяца старше, может контролировать новую. Похоже, это работает. Люди пробуют; посмотрим, будет ли это работать в большом масштабе.
Нет сомнений, что мы участвуем в серьёзной гонке ИИ между китайским и американским подходами. Спросите себя, хотите ли вы, чтобы посредником в вашей повседневной жизни была американская или китайская модель. Думаю, как представители западного мира мы предпочитаем американскую модель или американскую и британскую. Для меня интересна именно эта конкуренция.
Есть официальные и неофициальные диалоги. Я участвовал в неофициальном. В Вене состоялась крупная встреча, и теперь стороны это обсуждают.
Самое простое, что нам нужно сделать, – избегать неожиданностей. Генри Киссинджер, наш общий друг, по которому мы очень скучаем, опасался, что одно событие может запустить эскалацию, как убийство эрцгерцога перед Первой мировой войной. Когда этот процесс начинается, национализм, напряжённость и отсутствие общения могут привести к ужасной войне. Война с Китаем была бы ужасной и разрушила бы многое в нашей современной жизни.
Договорённости нужно начинать с предотвращения неожиданностей
Занни Минтон Беддос: Согласна, что война с Китаем была бы чудовищной, возможно, угрожающей самому нашему существованию. Но есть ли возможность взаимно согласовать ограничения для ИИ? В преддверии встречи президента Си и президента Трампа было бы разумно начать с военной сферы, создав современный аналог соглашений о ядерном оружии?
Эрик Шмидт: Мы все считаем, что в этой области нужен ряд договоров. Первый должен касаться предотвращения неожиданностей.
Представьте, что бот-агент случайно выходит из своей тестовой среды и подаёт сигнал о приближающейся атаке, после чего автоматически следует ядерный ответ. Аналитики придумали множество подобных сценариев. Правило "никаких неожиданностей" – самое важное.
Следующим вопросом стали бы возможности в сфере киберопераций. Ни одна сторона не была готова ограничить проведение кибератак или свои наступательные и оборонительные возможности. Если нельзя договориться об этом, о многом другом договориться будет трудно.
Занни Минтон Беддос: А хотя бы в принципе взаимное соглашение о паузе имело бы смысл?
Эрик Шмидт: Во-первых, оно противоречит стимулам участников. Во-вторых, как его проверять? Допустим, за соблюдением паузы следит ООН.
Занни Минтон Беддос: Теперь вы действительно обрекаете его на провал.
Эрик Шмидт: Есть международный орган, который должен помогать. Как он проверяет соблюдение договорённостей? Ему нужно входить в секретные лаборатории, в том числе военные, и читать весь код. Но прочитать весь код невозможно, потому что его пишут компьютеры. Нужно было бы применить компьютерную систему ООН к китайской системе. По определению система ООН не была бы такой же быстрой или современной, как китайская или американская, потому что у неё не было бы их ресурсов.
В одной статье некоторое время назад мы предложили решение, которое назвали взаимным уничтожением ИИ. По мере обострения конкуренции нужно дать другой стороне возможность сказать, что вы зашли слишком далеко. Вместо того чтобы бомбить дата-центры друг друга, компьютер отключал бы электропитание дата-центра так, чтобы какое-то время его нельзя было восстановить. Если бы другая сторона вырвалась ещё дальше вперёд, вы могли бы её отключить, а она могла бы сделать то же самое с вами. Это была серьёзная идея.
Занни Минтон Беддос: Звучит как современный "Доктор Стрейнджлав".
Эрик Шмидт: В этой схеме, когда кто-то сильно вас опережал, вы могли бы его отключить. Он мог бы отключить вас, а затем вы запускались бы снова. Это ещё один способ подойти к вопросу о паузе. Нам нужен осуществимый способ сделать паузу, а я такого способа не вижу.
Причины для оптимизма
Занни Минтон Беддос: Это тревожно: вы говорите, что нам нужно решение, которое можно реализовать, и что такого решения вы не видите. Обычно я оптимистка, но в последние недели мой оптимизм пошатнулся. Исследователи в Кремниевой долине всё сильнее тревожатся из-за невозможности сделать паузу. А здесь, хотя мы ещё далеки от того, на что ИИ может быть способен через несколько лет, я вижу ускорение инноваций, которые кажутся всё более смертоносными. Дайте мне несколько причин для оптимизма. Вы создаёте форму интеллекта, которая не является человеческой, но находится под нашим контролем. Можем ли мы сохранить этот контроль?
Эрик Шмидт: Я верю, что мы можем сохранить контроль, отчасти потому, что на каком-то уровне можем отключить питание.
Всегда остаётся вопрос о террористических группировках. Давайте предположим, что у них нет к этому доступа, потому что они не могут получить достаточно дата-центров. Тогда дипломатия между странами должна позволить нам сохранить действенный человеческий контроль. Эти системы будут действовать быстро, но в основе своей останутся под контролем человека.
Я искренне верю, что, пока ИИ остаётся под контролем человека и действует в соответствии с целями людей, всё будет в порядке. Это моё мнение.
Занни Минтон Беддос: Я очень, очень надеюсь, что вы правы.
