НЬЮ-ЙОРК – Новейшие достижения в сфере искусственного интеллекта трудно не назвать радикальными. Искусственный интеллект (сокращённо ИИ) преображает едва ли не все отрасли человеческой деятельности – от транспорта до медицины и обороны. Именно поэтому нам стоит задуматься о том, что произойдёт, когда ИИ станет ещё более продвинутым, чем сегодня.
Согласно апокалиптическим представлениям, машины, управляемые ИИ, станут умнее людей, захватят мир и всех нас убьют. Такой сценарий часто появляется в научной фантастике, и от него достаточно легко отмахнуться, поскольку люди сохраняют за собой полный контроль. Тем не менее, многие специалисты по искусственному интеллекту серьёзно относятся к этой апокалиптической перспективе, и они совершенно правы. Всему остальному обществу следует поступить точно так же.
Чтобы лучше понять, что именно стоит на кону, надо обратить внимание на различие между так называемым «узким ИИ» и «общим искусственным интеллектом» (сокращённо AGI). Узкий ИИ может оперировать лишь в одной-двух областях в конкретный момент времени, поэтому он способен превзойти людей лишь в выполнении некоторых конкретных задач; он всегда остаётся под контролем человека.
Напротив, AGI может осмыслять очень широкий спектр видов деятельности и, следовательно, может копировать многие интеллектуальные навыки человека, сохраняя при этом все преимущества компьютеров, например, идеальную память. Работая на ультрасовременной компьютерной технике, AGI может превзойти когнитивные способности человека. Более того, очень трудно себе представить верхний порог развития продвинутого AGI.
На сегодня большинство ИИ являются узкими. И даже самые продвинутые современные системы обладают лишь ограниченной степенью генерализации. Например, система AlphaZero компании Google DeepMind научилась играть в го, шахматы и сёги. Благодаря этому, у неё появилась более высокая степень генерализации, чем у большинства других систем ИИ, которые можно применять только к какому-нибудь одному конкретному виду деятельности. Тем не менее, данная система продемонстрировала свои способности лишь в ограниченных рамках нескольких жёстко структурированных настольных игр.
Многие специалисты отрицают перспективу появления продвинутого AGI. Одни, например, Селмер Брингсйорд из Политехнического института Ренсселера и Дрю Макдермотт из Йельского университета, доказывают, что у искусственного интеллекта не возможности стать умнее человечества. Другие, например, Маргарет Боден из Университета Сассекса и Орен Этциони из Института искусственного интеллекта им. Аллена, считают, что достижение искусственным интеллектом уровня человека может стать возможным в далёком будущем, но сейчас ещё слишком рано начинать об этом беспокоиться.
At a time when democracy is under threat, there is an urgent need for incisive, informed analysis of the issues and questions driving the news – just what PS has always provided. Subscribe now and save $50 on a new subscription.
Subscribe Now
Эти скептики не являются маргинальными фигурами, подобными тем безумцам, которые пытаются поставить под сомнение науку об изменении климата. Это выдающиеся учёные в сфере компьютерных наук и связанных областях, к их мнению следует относиться серьёзно.
Но есть и другие выдающиеся учёные (в их числе Дэвид Чалмерс из Нью-Йоркского университета, Аллан Дефо из Йельского университета, Стюарт Рассел из Калифорнийского университета в Беркли, Ник Бостром из Оксфордского университета, Роман Ямпольский из Университета Луисвилля), которые обеспокоены тем, что AGI может стать серьёзной, даже экзистенциальной угрозой человечеству. Поскольку эксперты пока спорят по этому вопросу, нам следует сохранять объективность.
AGI является предметом значительных научных исследований. Недавно я завершил обзор проектов исследований и разработок в сфере AGI, обнаружив 45 таких проектов в 30 странах на шести континентах. Многие из этих программ реализуются либо в крупных корпорациях, например, Baidu, Facebook, Google, Microsoft и Tencent, либо в ведущих университетах, например, Карнеги-Меллон, Гарвард, Стэнфорд, а также в Китайской академии наук. Было бы просто неразумно полагать, что ни один из этих проектов никогда не добьётся успеха.
Ещё один метод оценки потенциальной угрозы AGI – сравнить этот риск с рисками других катастроф. В 1990-е годы Конгресс США посчитал полезным, чтобы агентство НАСА следило за крупными астероидами, которые могут столкнуться с Землёй, хотя вероятность такого столкновения составляет 1 к 5000 в течение ста лет. В случае AGI вероятность наступления катастрофы в течение века намного выше – 1 к 100 или даже 1 к 10, всё зависит от темпов научных разработок и степени озабоченности экспертов.
Тем самым, возникает вопрос: а что с этим делать? Прежде всего, мы должны гарантировать, чтобы научные исследования велись ответственно, безопасно и этично. Для этого потребуется более глубокий диалог между теми, кто работает в сфере ИИ, с одной стороны, и властями, социологами и встревоженными гражданами, с другой. Специалисты по ИИ разбираются в технологиях, и именно они будут создавать ИИ в соответствии с согласованными стандартами. Но они не должны в одиночку решать, какими должны быть эти стандарты. Многие люди, занятые разработкой программ ИИ, не привыкли думать о последствиях своей работы для общества. Изменить ситуацию можно, лишь подвергнув их внешней оценке.
Властям придётся заняться и международным аспектом AGI. Сейчас основная масса исследований в сфере AGI ведётся в США, Европе и Китае, но многие коды являются открытыми, а это означает, что данная работа потенциально может проводиться где угодно. Тем самым, введение стандартов и базовых этических правил, в конечном счёте, является задачей всего международного сообщества, хотя научно-исследовательские центры должны задавать тон в этой работе.
В перспективе отдельные усилия по решению проблемы рисков, создаваемых AGI, могут опираться на те политические инициативы, которые уже появились в связи с проблемами «узкого ИИ». Пример такой инициативы – новая двухпартийная группа по вопросам ИИ, созданная Джоном Делейни, конгрессменом-демократом из Мэриленда. Есть много возможностей для синергии между теми, кто занят краткосрочными рисками ИИ, и теми, кто думает о долгосрочной перспективе.
Впрочем, вне зависимости от того, рассматриваются ИИ и AGI вместе или раздельно, самое важное, чтобы мы предприняли конструктивные действия сейчас с целью минимизировать риск катастрофы в будущем. Это не та задача, выполнение которой мы можем откладывать до последней минуты.
To have unlimited access to our content including in-depth commentaries, book reviews, exclusive interviews, PS OnPoint and PS The Big Picture, please subscribe
At the end of a year of domestic and international upheaval, Project Syndicate commentators share their favorite books from the past 12 months. Covering a wide array of genres and disciplines, this year’s picks provide fresh perspectives on the defining challenges of our time and how to confront them.
ask Project Syndicate contributors to select the books that resonated with them the most over the past year.
НЬЮ-ЙОРК – Новейшие достижения в сфере искусственного интеллекта трудно не назвать радикальными. Искусственный интеллект (сокращённо ИИ) преображает едва ли не все отрасли человеческой деятельности – от транспорта до медицины и обороны. Именно поэтому нам стоит задуматься о том, что произойдёт, когда ИИ станет ещё более продвинутым, чем сегодня.
Согласно апокалиптическим представлениям, машины, управляемые ИИ, станут умнее людей, захватят мир и всех нас убьют. Такой сценарий часто появляется в научной фантастике, и от него достаточно легко отмахнуться, поскольку люди сохраняют за собой полный контроль. Тем не менее, многие специалисты по искусственному интеллекту серьёзно относятся к этой апокалиптической перспективе, и они совершенно правы. Всему остальному обществу следует поступить точно так же.
Чтобы лучше понять, что именно стоит на кону, надо обратить внимание на различие между так называемым «узким ИИ» и «общим искусственным интеллектом» (сокращённо AGI). Узкий ИИ может оперировать лишь в одной-двух областях в конкретный момент времени, поэтому он способен превзойти людей лишь в выполнении некоторых конкретных задач; он всегда остаётся под контролем человека.
Напротив, AGI может осмыслять очень широкий спектр видов деятельности и, следовательно, может копировать многие интеллектуальные навыки человека, сохраняя при этом все преимущества компьютеров, например, идеальную память. Работая на ультрасовременной компьютерной технике, AGI может превзойти когнитивные способности человека. Более того, очень трудно себе представить верхний порог развития продвинутого AGI.
На сегодня большинство ИИ являются узкими. И даже самые продвинутые современные системы обладают лишь ограниченной степенью генерализации. Например, система AlphaZero компании Google DeepMind научилась играть в го, шахматы и сёги. Благодаря этому, у неё появилась более высокая степень генерализации, чем у большинства других систем ИИ, которые можно применять только к какому-нибудь одному конкретному виду деятельности. Тем не менее, данная система продемонстрировала свои способности лишь в ограниченных рамках нескольких жёстко структурированных настольных игр.
Многие специалисты отрицают перспективу появления продвинутого AGI. Одни, например, Селмер Брингсйорд из Политехнического института Ренсселера и Дрю Макдермотт из Йельского университета, доказывают, что у искусственного интеллекта не возможности стать умнее человечества. Другие, например, Маргарет Боден из Университета Сассекса и Орен Этциони из Института искусственного интеллекта им. Аллена, считают, что достижение искусственным интеллектом уровня человека может стать возможным в далёком будущем, но сейчас ещё слишком рано начинать об этом беспокоиться.
HOLIDAY SALE: PS for less than $0.7 per week
At a time when democracy is under threat, there is an urgent need for incisive, informed analysis of the issues and questions driving the news – just what PS has always provided. Subscribe now and save $50 on a new subscription.
Subscribe Now
Эти скептики не являются маргинальными фигурами, подобными тем безумцам, которые пытаются поставить под сомнение науку об изменении климата. Это выдающиеся учёные в сфере компьютерных наук и связанных областях, к их мнению следует относиться серьёзно.
Но есть и другие выдающиеся учёные (в их числе Дэвид Чалмерс из Нью-Йоркского университета, Аллан Дефо из Йельского университета, Стюарт Рассел из Калифорнийского университета в Беркли, Ник Бостром из Оксфордского университета, Роман Ямпольский из Университета Луисвилля), которые обеспокоены тем, что AGI может стать серьёзной, даже экзистенциальной угрозой человечеству. Поскольку эксперты пока спорят по этому вопросу, нам следует сохранять объективность.
AGI является предметом значительных научных исследований. Недавно я завершил обзор проектов исследований и разработок в сфере AGI, обнаружив 45 таких проектов в 30 странах на шести континентах. Многие из этих программ реализуются либо в крупных корпорациях, например, Baidu, Facebook, Google, Microsoft и Tencent, либо в ведущих университетах, например, Карнеги-Меллон, Гарвард, Стэнфорд, а также в Китайской академии наук. Было бы просто неразумно полагать, что ни один из этих проектов никогда не добьётся успеха.
Ещё один метод оценки потенциальной угрозы AGI – сравнить этот риск с рисками других катастроф. В 1990-е годы Конгресс США посчитал полезным, чтобы агентство НАСА следило за крупными астероидами, которые могут столкнуться с Землёй, хотя вероятность такого столкновения составляет 1 к 5000 в течение ста лет. В случае AGI вероятность наступления катастрофы в течение века намного выше – 1 к 100 или даже 1 к 10, всё зависит от темпов научных разработок и степени озабоченности экспертов.
Тем самым, возникает вопрос: а что с этим делать? Прежде всего, мы должны гарантировать, чтобы научные исследования велись ответственно, безопасно и этично. Для этого потребуется более глубокий диалог между теми, кто работает в сфере ИИ, с одной стороны, и властями, социологами и встревоженными гражданами, с другой. Специалисты по ИИ разбираются в технологиях, и именно они будут создавать ИИ в соответствии с согласованными стандартами. Но они не должны в одиночку решать, какими должны быть эти стандарты. Многие люди, занятые разработкой программ ИИ, не привыкли думать о последствиях своей работы для общества. Изменить ситуацию можно, лишь подвергнув их внешней оценке.
Властям придётся заняться и международным аспектом AGI. Сейчас основная масса исследований в сфере AGI ведётся в США, Европе и Китае, но многие коды являются открытыми, а это означает, что данная работа потенциально может проводиться где угодно. Тем самым, введение стандартов и базовых этических правил, в конечном счёте, является задачей всего международного сообщества, хотя научно-исследовательские центры должны задавать тон в этой работе.
В перспективе отдельные усилия по решению проблемы рисков, создаваемых AGI, могут опираться на те политические инициативы, которые уже появились в связи с проблемами «узкого ИИ». Пример такой инициативы – новая двухпартийная группа по вопросам ИИ, созданная Джоном Делейни, конгрессменом-демократом из Мэриленда. Есть много возможностей для синергии между теми, кто занят краткосрочными рисками ИИ, и теми, кто думает о долгосрочной перспективе.
Впрочем, вне зависимости от того, рассматриваются ИИ и AGI вместе или раздельно, самое важное, чтобы мы предприняли конструктивные действия сейчас с целью минимизировать риск катастрофы в будущем. Это не та задача, выполнение которой мы можем откладывать до последней минуты.