В мае 2017 года скончался полковник Станислав Петров. Этот офицер в 1983 году своими профессиональными действиями предотвратил ядерную войну. Во время его дежурства пришел сигнал со спутников наблюдения о старте нескольких ракет с территории США. Ядерная атака. Петров должен был принять роковое решение. В этой критической ситуации он мгновенно перепроверил информацию по другим источникам и принял решение, что это – ложная тревога. Возможный ответный ядерный удар не состоялся. Подобные ситуации бывали и в американских ядерных силах. И всякий раз, к нашему счастью, люди принимали верное решение.

А вот искусственный интеллект – какое он принял бы решение в такой ситуации? Человек ведь существо моральное. Станислав Петров осознавал цену своего решения с нравственных позиций. Ученые смогут впихнуть в искусственный интеллект мораль? Это первый вопрос. А второй: если этот искусственный интеллект будет сам развиваться, это саморазвивающаяся система, он, может быть, себе свою новую мораль придумает. И совсем не такую, как наша. И в этой его моральной системе, мы, люди, не окажемся лишними?

Когда была осознана колоссальная разрушительная мощь ядерного оружия, сразу заговорили о невозможности его применения. Цена будет слишком велика. А сейчас, когда человечество, возможно, стоит на пороге создания искусственного интеллекта, кто-нибудь обсуждает серьезно опасности и риски? Почти все пребывают в состоянии эйфории: какие новые возможности перед нами открываются! Может, и открываются, а может, и закрываются.

Еще совсем недавно это казалось фантастикой, и вот уже безнадежно устарело – бросать компьютерный чип в кипящую сталь в попытке предотвратить восстание машин теперь бесполезно, микропроцессоры куда более мощные, чем у Терминатора образца 1991 года. Сейчас повсюду искусственный разум стремится к человеческому, а люди, кажется, приняли грядущее уничтожение как нечто неизбежное.

• Источник: Человечество тратит миллиарды на развитие искусственного разума