Полный текст программы

Ведущий: Что такое «искусственный интеллект», и возможно ли восстание машин? Обо всем об этом в сегодняшнем выпуске.

— К концу XXI века мы все-таки доведем этот искусственный интеллект до состояния разумности.

— Существенную часть угроз мы еще не осознаем.

— Основная угроза — когда мы делегируем искусственному интеллекту, компьютеру, алгоритму выносить решение о судьбе человека.

— Надеюсь, что это несовершенство техники продлится достаточно долго, для того чтобы человек мог понять, что все то, что от него происходит, он за это несет ответственность.

— За всей этой автоматизацией мы действительно забываем о человеческих взаимоотношениях. Мы этому удивляемся, а вот это, мне кажется, самое страшное.

Ведущий: Данила, а что, в принципе, это такое — искусственный интеллект?

Данила Медведев: Искусственный интеллект появился, наверное, в ХХ веке, когда мы научились механически выполнять какую-то интеллектуальную работу. Самые первые эксперименты — это были системы зенитные противовоздушные во Вторую мировую войну, когда нужно было угадывать, где будет самолет, когда до него долетит снаряд.

И вот эта вот волшебная способность машины математической предсказывать что-то, что произойдет в реальном мире, она потом и привела, по сути, к искусственному интеллекту. То есть то, что мы сегодня называем по-сложному «предиктивная аналитика», когда, там, магазин знает, когда нужно заказывать наш любимый товар, это все идет от 40-х годов прошлого века.

Искусственный интеллект — это когда сложная интеллектуальная работа, которая раньше, до ХХ века, считалась чисто человеческой, вот, а теперь это иногда перекладывается на машину с разными последствиями.

Ведущий: В каких формах это все проявляется? В самых разных?

Роман Злотников: Ну, в принципе, да. То есть холодильник, который заказывает кончившееся у него масло через интернет, он уже обладает некими зачатками искусственного интеллекта. То есть он получает…

Ведущий: А такой холодильник-то уже существует?

Роман Злотников: Существует. Вот. Это как раз интернет вещей так называемый. То есть он получает информацию об окружающем его мире или о своем собственном внутреннем мире из… из каких-то датчиков, радиометок, которые нанесены на продукты на ви… которые хра… в нем хранятся — масло, значит, растительное масло, сыр, хлеб и так далее.

И когда упаковка с этой радиометкой исчезает из нутра холодильника, вот, он связывается с интернет-порталом, организующим доставку, и дает заказ на какой-то товар.

На самом деле, это еще не совсем интеллект, но уже некая автоматизация мыслительных функций, о которой говорили, значит, предыдущие выступающие.

Ведущий: Отец Александр, получается, появилось нечто, с чем или уже с кем человек разговаривает на равных?

Протоиерей Александр Абрамов: Вот я бы здесь все-таки провел грань между интеллектом и умом. Вот когда на вас идет хулиган в подворотне, вы оцениваете вес этого хулигана, вы оцениваете его физические данные, вашу способность с ним взаимодействовать, в том числе силовым образом, и принимаете решение — либо в драку вступать, либо в нее не вступать.

Но, вне зависимости от того, какое решение вы примете, вас не назовут умным человеком. Это просто некоторое интеллектуальное действие, которое вас приводит к результату. Вот таким же образом, мне кажется, вот говорят — система «умный дом». А чего в ней умного? Она механизированная, она автоматизированная.

Ум — это способность писать сонеты, ум — это способность как раз алогически повести себя там, где ожидается логика, или еще что-то, другое значение, более сложный комплекс понятий. Поэтому мы имеем дело на данном этапе, вопреки всяким таким преждевременным прогнозам, мы имеем дело все-таки именно с интеллектуальной чисто деятельностью, такой алгебраической, я бы сказал.

Ведущий: Алгебраическая ли она? Потому что ведь уже даже появляются проекты, интернет-проекты, где, ну, искусственный интеллект пишет стихи.

Протоиерей Игорь Фомин: Ну, не только стихи, и, в общем-то, музыку. Я читал футбольную статью, которая была написана абсо… полностью, в общем-то, таким искусственным интеллектом. Знаете, я сначала даже не понял, что вообще компьютер написал, да? Все очень грамотно, эмоционально, и так далее, и тому подобное.

Я здесь соглашусь с отцом Александром и, скажем так, немножко напрягусь в этом плане, потому что, действительно, интеллект — это то, что, ну, наверное, можно посчитать, можно обмануть, подложить пустой пакет, да, и он будет думать, что… и до зарплаты так дотянуть, чтоб холодильник тебя полностью не разорил, да?

То, что вот сейчас уже говорят, что машины уже создали свой внутренний язык, который мы уже можем, скажем так, увидеть, но еще не можем отследить и не можем понимать, о чем они там беседуют, вот это уже умная деятельность, о которой, скажем так, ну, надо задуматься.

Ведущий: Вот мы об этом сегодня задумаемся, но прежде, мы очень много произносим «искусственный интеллект», но интересно, а каковы проявления? То есть это… это роботы, это… Только ли это холодильник, который сам заказывает масло? В чем это еще проявляется? Какие конкретные примеры, Данила?

Данила Медведев: Конкретные проявления, самое понятное для человека, когда человек приходит, например, в банк, пытается открыть счет, получить кредит, то решение при… вроде бы говорят ему люди, но принимается оно на основе скоринговой программы, на основе искусственного интеллекта.

Когда в Америке человек совершает или не совершает преступление, и ему нужно оказаться в суде, и вначале ему предлагают внести залог, то искусственный интеллект принимает решение, какую сумму залога установить. А когда человек подает, допустим, документы на гражданство, искусственный интеллект зачастую принимает решение тоже с помощью оценки количественной, алгебраически, принимает решение, поддержать его заявку или нет.

То есть человек сталкивается с искусственным интеллектом сейчас очень часто, когда мы взаимодействуем с государством или с какими-то такими безличными институтами, с организациями. В быту это, конечно, там, магазины, это логистика.

То есть, к примеру, когда мы ездим на поездах РЖД, поезда РЖД практически, там, наверное, процентов 90 идут на так называемом автоведении, то есть когда компьютерная программа у машиниста ведет поезд сама. Машинист отвечает только за подъезд к станции и за общее управление этим процессом. То есть сталкиваемся мы с этим постоянно. Когда летим на самолете, пилоты, скорее всего, спят большую часть полета, вот…

Протоиерей Игорь Фомин: Не пугайте, не пугайте.

Данила Медведев: Да. Ничего страшного в этом нет, потому что самое сложное — взлет и посадка — здесь они обычно присутствуют.

Протоиерей Игорь Фомин: Бодрствуют.

Данила Медведев: Ну, по край… по крайней мере, при взлете, да, при посадке — уж как повезет, вот. Поэтому человек сталкивается с элементами вот этого искусственного мышления, я бы назвал его, постоянно, но при этом, когда мы говорим про вот таких роботов или самостоятельных… там, самостоятельных роботов, самостоятельный искусственный интеллект, то это находится в будущем, и вот здесь очень важно не смешивать.

Когда-нибудь мы однозначно придем к вопросу, а что делать с самостоятельным искусственным интеллектом, который не уступает человеку в чем-то, и который требует себе, там, права, какой-то статус, может быть, он сам начинает развиваться. Но не нужно это смешивать с роботом-пылесосом, потому что тут совершенно разные проблемы возникают и решения человеческие наши у общества тоже должны быть совершенно другие.

Ведущий: Вы же занимаетесь непосредственно, как предприниматель, искусственным интеллектом. Каковы еще проявления, еще примеры, чтобы зрителям было понятно и всем нам?

Станислав Ашманов: Всем понятна, например, поисковая система, да? Все уже привыкли, что это такая стартовая страница интернета, куда зашел, если что-то нужно найти. На самом деле, под капотом это огромный ансамбль методов машинного обучения искусственного интеллекта, который по запросу пользователя находит самые релевантные, самые полезные статьи для него, страницы в интернете.

Это то, с чем, в общем, каждый сталкивается каждый день. И есть такие примеры как автодополнение в СМС-ках, тоже все постоянно с этим работают, тот самый пресловутый Т9, который приводит к анекдотичным ситуациям, когда он неправильно угадывает…

Ведущий: Функция на телефоне, которая дополняет то, что вы начали писать.

Станислав Ашманов: Да, дополняет, да, да, иногда слишком своевольничает.

Ведущий: В какой-то момент искусственный интеллект что-то попросит. Мы не так сказали, но самостоятельно обратится и скажет, и в этот момент становится, я уже процитирую отца Игоря, немножко напряжно.

Протоиерей Александр Абрамов: Ну, вот я сейчас трех специалистов услышал. Я так понял, что все же мы имеем дело в первую очередь с программами, с алгоритмами, и, во всяком случае, с неантропоморфными формами деятельности.

Антропоморфные формы деятельности — они впереди, но для меня совершенно очевидно, как для священника, что, если возможна умная деятельность, то теоретически возможна и умна́я, то есть, например, молитва.

Вот ваш образ футбольного репортажа — он очень интересен и ценен, потому что футбольный репортаж, даже написанный машиной, исходя из обработки массива написанных людьми текстов, не вызывает эмоций изнутри. Это не эмоции машины, это эмоции человека, поставленные в силу алгоритма в нужное время в нужном месте, но они ею самой, машиной, не испытываются и не переживаются.

Я так понимаю, что мы находимся очень далеко на данном этапе от такой фазы, при которой начнется самостоятельная, именно умная, а за ней еще более сложная какая-то деятельность. То есть сейчас речь идет о выполнении заданий, вполне себе утилитарных, той или иной степени сложности, которые, тем не менее, совершенно ясно предписаны человеком, и ограничения их известны тоже.

Есть же… В то же самое время есть довольно серьезное направление алармистов. Вот, например, такой крупный человек как Джеймс Барт, который пишет о том, что если мы эту ситуацию упустим, если мы разрешим, например, военным, которые, допустим, очень преуспели в развитии дронов, боевых роботов, около 60 стран их имеют, продолжать усовершенствовать эту технику до степени отрыва от воли человека, здесь возможны опасные последствия.

Ведущий: А какие еще угрозы несет, на Ваш взгляд, искусственный интеллект?

Роман Злотников: На самом деле, существенную часть угроз мы еще не осознаем. Я имею в виду, не отдельные представители человечества, а человечество в целом, вот. Например, одним из наиболее, наверное, выгодных областей использования искусственного интеллекта является управление экономикой.

Дело в том, что очень многие совершенно прагматичные и такие реалистичные вещи — они для людей неприемлемы с точки зрения морали и нравственности. Например, очень эффективным и прагматичным способом является каннибализм. Очень хорошо — не теряется белок, люди, которые неспособны дальше приносить пользу сообществу, они быстро утилизируются, сообщество не тратит на них дополнительных ресурсов, только на полезных членов.

Почему бы нет с точки зрения искусственного интеллекта? Это вполне хорошее решение. С точки зрения нас, сидящих здесь, это, ну, ужас.

Данила Медведев: Обычно те люди, у которых нет моральных ограничений такого рода, у них есть достаточно денег на более роскошную еду, чем человеческое мясо, а те люди, у которых денег не хватает, у них как раз моральные качества сильнее.

Роман Злотников: Хорошо, но для искусственного интеллекта, значит, надо прописать какие-то моральные ограничения. А как?

Данила Медведев: Смотря, кого он обслуживает.

Роман Злотников: А как?

Ведущий: То есть Вы хотите сказать, что…

Протоиерей Александр Абрамов: На каком-то этапе… На каком-то… Это вот тут такой спорный тезис, потому что…

Роман Злотников: Если он будет развиваться, то он может перейти за какие-то эти ограничения.

Протоиерей Александр Абрамов: Вот об этом… Это же очень важно. Ему будет совершенно безразлично, кто социально перед ним стоит.

Данила Медведев: Вот смотрите, здесь нужно различать. Одно дело — это действительно просто программа, которая автоматизирует мышление, то есть, например, решает, кого депортировать из страны, кого посадить в тюрьму, кого освободить.

Протоиерей Александр Абрамов: Это же очень формальные вещи.

Данила Медведев: Да, это формальные вещи, которые уже сейчас можно автоматизировать, и, более того, есть аргументы о том, что мы таким образом снижаем ошибки.

Например, вот если говорить о людях, судьях, да, было исследование про израильских судей, о том, что они четкую показывают зависимость между временем, которое прошло с момента обеда, и тем, насколько у них доброе какое-то решение, то есть готовы ли они отпустить человека, сократить ему срок.

Выясняется, что если человек только что поел, то статистически, там, в несколько раз он более вероятно человеку скажет: «О’кей, хорошо, условное освобождение». А если…

Протоиерей Александр Абрамов: Это очень важно для тех, кто сдает экзамены.

Данила Медведев: Это важно, это важно. Но при этом, когда мы пытаемся сделать решение объективным, да, то мы иногда здесь совершаем ошибку. Мы подменяем человека непонятного, но, по крайней мере, нам близкого, то есть у нас есть какая-то общая платформа для понимания, мы его подменяем на алгоритм, который написан непонятно, кем, то есть про это мы можем услышать, наверное, от специалиста из IT-отрасли. То есть этот алгоритм написан субподрядчиком субподрядчика субподрядчика, и программист реально сидел в Индии где-нибудь, в Бангалоре, а ТЗ писал…

Протоиерей Александр Абрамов: Без учета социальной реальности.

Данила Медведев: Без всякой. А ТЗ до этого писал какой-то американец. И при этом, значит, наша какая-нибудь, там, ФСИН, допустим, или МВД купит эту программу, потому что непонятно, значит, откуда она пришла, и никто не отвечает.

Ведущий: Сейчас короткая пауза, после которой мы продолжим. Не переключайтесь.

Данила Медведев: Это работа механическая. Ее должны были бы делать компьютеры, а человек должен был бы делать что-то более интересное — либо творческое, либо руками, либо связанное с заботой о других людях.

Роман Злотников: То мы изобретаем что-то такое, от чего это человечество приходит в ужас, потом приходится из этой ситуации, там, выходить.

Протоиерей Александр Абрамов: Никому в голову не приходит спрогнозировать возможные моральные катастрофические последствия в случае, если вы пускаете то или иное технологическое направление на самотек.

Ведущий: Главная угроза, поправьте меня, если я ошибаюсь, что искусственный интеллект в какой-то момент сам решит, что он может делать, а что не может делать. Так получается? Потому что это сценарий всех, значит, голливудских боевиков, посвященных на эту тему практически.

Станислав Ашманов: На мой взгляд, здесь основная угроза — она не далекая, а она действительно уже близко находится, это как раз-таки в этих случаях, когда мы делегируем искусственному интеллекту, компьютеру, алгоритму выносить решение о судьбе человека и…

Ведущий: Но стремимся ли мы вот к этой грани, после которой искусственный интеллект скажет, что имеет право сам решать?

Станислав Ашманов: Такие звоночки о том, что все больше мы вещей делегируем искусственному интеллекту, в том числе касательно высылки людей и посадки их в тюрьму, на мой взгляд, это вот именно те шаги на пути к этому.

То есть мы сейчас… дико себе представить, что мы когда-нибудь ему доверим, там, распределять наших детей по специальностям в школе, да, там, но вот именно такими шагами и выстраивается эта дорога.

Протоиерей Игорь Фомин: Проблема эта социальная. Это будет касаться многих-многих людей, и многие страны уже об этом задумываются. Там, в Финляндии ввели пособие, потому что гражданин Финляндии, там, 2 тысячи евро, если я не ошибаюсь, да, в Швеции, там, отказались от этого и так далее.

Почему? Потому что вот это развитие, в котором потом будет, ну, принимать участие, именно техническое развитие уже искусственного интеллекта, это будет семимильными шагами идти, оно просто в ближайшее время должно на обочине жизни большую часть общества.

Ведущий: Сейчас кажутся многие вещи, о которых мы говорим, абсолютно фантастическими. Но вот и моя жена вчера в магазине расплатилась телефоном за хлеб. То есть она поднесла телефон, значит, к аппарату, и деньги… Значит, если бы я…

Я представил, как 15 лет назад бабушке я рассказываю, как телефоном… а в ее понимании телефон был совсем другим, мы понимаем, проводным, она будет расплачиваться в магазине за хлеб по воздуху. Значит, она бы, естественно, покрутила бы у виска, но сегодня это реальность. То есть, получается, что мир будет стремительно меняться и дальше.

Роман Злотников: Ну, конечно. Более того, мы на… мы набрали разгон, наверное, со Второй мировой и до сих пор не можем остановиться, вот. Что касается вот действительно выпадения, причем довольно скорого, целых профессий, исчезновения как таковых, ну, это, действительно, это реальность, и с этим уже точно никуда мы не денемся, потому что, если мы вдруг не сделаем этого, мы проиграем в экономическом соревновании.

Но вопрос в другом — что, вполне возможно, могут появиться какие-то другие профессии. Для меня, например, кажется уже очевидным, что человечество совершило гигантскую ошибку, прекратив исследования космоса, а также совершило гигантскую ошибку, прекратив исследования мирового океана.

Ведущий: Много веков назад тоже ручной труд заменили мануфактуры и фабрики, и жизнь, в принципе, стала только лучше. Ну, 45% будет заниматься искусством, например. Что в этом плохого, Данила?

Данила Медведев: Спасибо, вот что в сторону ошибок нас направили, но, на самом деле, там все несколько по-другому.

Ведущий: Во-первых, это плохо или хорошо, что 45%…

Данила Медведев: Во-первых, это не так. Во-первых, это не так. Значит, рассказываю, как. Сначала про платежи. Значит, посмотрим 200 лет назад. Я приходил 200 лет назад в магазин и без всякого телефона, без всяких карточек я просто говорил хозяину магазина: «Я возьму вот это, вот это и вот это», — и он записывал на бумажке.

Роман Злотников: На мой счет.

Данила Медведев: Да, и в конце месяца мы рассчитывались, вот. Поэтому мы всего лишь возвращаемся чуть-чуть назад. Второй момент — по поводу ускорения, которое началось после Второй мировой войны. На самом деле, после Второй Мировой войны был в 50-60-е годы период вот этого роста и очень большого оптимизма, когда и космос, и атомная энергия, и все остальное, там, холодильники, морозильники, вот это все появилось.

Но, начиная с 70-80-х годов, рост экономический замедлялся, проблемы накапливались очень серьезные, и социальные, и экологические, и поэтому говорить о том, что у нас сейчас идет ускорение прогресса, это неверно. И вот тут вот мы подходим к тому, где была сделана ошибка.

С моей точки зрения, ошибка была сделана до отказа от космоса и океана, ошибка была сделана в 60-е годы, когда мы стали использовать не ту модель компьютеров. Потому что то, что мы говорим сегодня, да, искусственный интеллект, значит, это все основано на компьютерах.

А для чего компьютеры изначально были созданы? Они были созданы не для того, чтобы создать отдельно от нас искусственный интеллект и ему передать все функции. Они были созданы для того, чтобы наши способности усилить, то есть, чтобы мы могли думать лучше.

А что происходит здесь? Здесь происходит другая ситуация. Мы вкладываем очень много в то, чтобы сделать компьютеры более человечными, и параллельно вкладываем очень много в то, чтобы сделать людей более автоматическими.

То есть, когда мы говорим про образовательную платформу, например, про электронную школу, мы говорим о том: «А не могли бы, дорогие дети, вы быть чуть-чуть более похожими на алгоритмы и на машины? Нам так проще». Вот.

И это, на мой взгляд, является как раз самой главной ошибкой, потому что, если посмотреть, что сейчас происходит с занятостью, то произошел переход огромного количества людей в так называемые услуги. Но не услуги — делать кофе кому-то или чистить обувь, а в услуги страховые, финансовые, чиновничьи, когда люди сидят и выполняют работу машин — перекладывают бумажки, пишут что-то, куда-то что-то рассылают, принимают информацию, куда-то еще отправляют.

Эта работа механическая, ее должны были бы делать компьютеры, а человек должен был бы делать что-то более интересное, либо творческое, либо руками, либо связанное с заботой о других людях.

Протоиерей Игорь Фомин: Но тогда, если мы передаем, значит, обучение машине, да, творчество здесь сразу, скажем так, понижается, правильно? И тогда мы увидим в музыкальных школах одних Свиридовых, допустим, да, потому что в программе заложены не только Бах, Свиридов, и еще кто-то, да, и все, или только Марков Шагалов, да, которые вот целая… Целая школа Марка Шагала, да, вот они одинаково рисуют.

Данила Медведев: У нас не будет просто запроса на то, чтобы воспитывать творческие способности. Потому что, если у нас есть цифровой канал для доставки любо… любых музыкальных и других произведений, то…

Протоиерей Александр Абрамов: То зачем еще столько?

Данила Медведев: То зачем нам нужно еще кого-то учить играть на скрипке, чтоб он 20 лет…

Ведущий: То есть угроза-то в чем заключается главная?

Данила Медведев: Угроза заключается в том, что мы не контролируем и не понимаем вообще структуру общества и экономики. Мы должны вот эти технологии развивать, для того чтобы быть конкурентоспособными.

Если мы говорим про конкуренцию, например, на уровне смыслов, на уровне справедливости, то это вообще никак не алгоритмизируется. То есть, если задаться вопросом, в какой стране, например, сейчас лучший проект будущего, это никак не связано с тем, кто быстрее разрабатывает робот-автомобиль.

Ведущий: Еще одна тема — это вопрос безопасности. Значит, сейчас есть технология определения, и Вы этим, насколько я понимаю, занимаетесь, определения лиц. То есть, если меня сфотографировали где-то, то Ваша программа определит, что это не просто какой-то молодой человек, который идет по улице, это Александр Яковлев такого-то года рождения, проживающий там-то и там-то.

И вот здесь мне становится страшно, потому что, получается, что в любую секунду, а не только в студии телеканала «Спас», на меня направлена камера, и кто-то где-то там, за бесконечным количеством экранов, в любой момент времени знает, где я, и чем я занимаюсь.

Протоиерей Игорь Фомин: И может сказать Вашей жене. Вы этого боитесь?

Ведущий: Это тема отдельного выпуска нашей программы.

Станислав Ашманов: Смотрите, тут, как и вообще, в принципе, в мире машинного обучения, здесь дьявол кроется в данных. То есть вот я не могу сказать, где Вы живете, потому что даже я этого не знаю. Это знает, там, Ваш…

Ведущий: Вы просто за 10 минут узнаете эту информацию.

Протоиерей Александр Абрамов: Это знает, кто следует.

Станислав Ашманов: Да, в принципе, я мог бы узнать. Там, знают Ваши родственники, паспортный стол, государство, в принципе, знает. Возможно, там, социальные сети знают, где Вы живете, потому что Вы там каждый день появляетесь вечером и утром оттуда уходите. Наверное, Вы там живете.

То есть вопрос здесь в том, кто эти данные контролирует. Алгоритмы распознавания лиц — они, в общем, доступны сейчас, то есть даже в сети есть, в интернете, свободные для скачивания доступные алгоритмы.

Сейчас как бы уровень порога входа намного снизился, именно в сферу распознавания лиц и анализа данных, поэтому сейчас только у ленивого нету своего алгоритма распознавания лиц, и здесь вопрос именно в регулировании этого всего дела, то есть, и есть уже информация о том, что это внедряется и в Москве, и, в принципе, по регионам.

Ведущий: Социальные сети, да, значит, популярны, самая популярная в мире социальная сеть. Любой человек может сфотографировать меня в толпе, и программа автоматически покажет ему, что вот это, там, Александр Яковлев, если я зарегистрирован в этой социальной сети.

Протоиерей Игорь Фомин: Давайте я вам больше скажу.

Ведущий: Это вопрос уже не про государство. Это вопрос, что вообще кто угодно знает, где я, и кто я.

Станислав Ашманов: Кто контролирует данные, тот контролирует людей.

Протоиерей Игорь Фомин: Давайте я вам больше скажу. Германия перед Второй мировой войной знала полностью офицерский и рядовой состав всех стран — Франции, ну, вот всех, абсолютно всех, только анализируя газетные статьи. Все. Вот это было тогда, когда не было компьютеров. Что сейчас говорить? Сейчас вообще никаких проблем с этим нету, да?

Данила Медведев: Если эти технологии, вот как, допустим, в 30-е годы, использовали, прежде всего, спецслужбы, сейчас мы ничего не вкладываем в технологии усиления наших собственных способностей — моральных, этических, интеллектуальных, творческих. Мы очень много вкладываем в спецслужбы, потому что кто-то же должен все это контролировать, и мы очень много вкладываем в искусственный интеллект.

Возникает вопрос: вот представим себе, 25-30 лет прошло, кто дальше всего продвинется вот в этой эволюционной гонке — мы, в которых никто не вкладывает, наоборот, забирают что-то, спецслужбы или искусственный интеллект?

Я думаю, что это будут спецслужбы и искусственный интеллект. И какой мир мы тогда получим? Ну, вот тот, который мы сейчас строим, исходя из приоритетов.

Ведущий: Отец Александр.

Протоиерей Александр Абрамов: Ну, вот когда я слышу о том, что высвобождающиеся рабочие руки будут перенаправлены в сферу творчества и так далее, это у меня вызывает колоссальные подозрения, колоссальные подозрения. Такой Томас Мор, Кампанелла, но только с усиливающимся тоталитарным элементом.

Дело в том, что вот Роман Валерьевич говорил о территориальных проблемах, провалах в космосе и в мировом океане, Данила говорил о провале, связанном с неправильным эволюционным путем, компьютерами, а мне-то кажется, что основная проблема и острие небезопасности сконцентрировано вот на каком направлении — тотальной обессмысленности.

Никто не ставит ни моральных ограничений, не отвечает на вопрос, зачем мы чего-либо хотим, зачем мы хотим конкурировать в экономической сфере. Кто с кем, действительно, отдельно взятые центры, в которых международные номады находятся, или страны между собой? Совершенно обратной стороной того же самого является инструментализация человека, где он начинает восприниматься как материал.

В школах говорят не о том, что дети должны иметь знания, умения и навыки, совершенно очевидные для нас, а должны обладать мифическими компетенциями. Это то же самое, что у них должны быть быстродействия — двухъядерные, там, четырехъядерные, еще какие-то. Это поиск быстродействия, это уподобление машинной цивилизации.

Вопрос именно в том состоит, что никому в голову не приходит спрогнозировать возможные моральные не просто издержки, а катастрофические последствия в случае, если вы пускаете то или иное технологическое направление — не только искусственный интеллект, но вообще любое технологическое направление — на самотек. У вас на каком-то этапе ракеты начнут сами взлетать и сами определять…

Данила Медведев: Сейчас, получается, что они просто не взлетают вообще? Это спасает, да.

Протоиерей Александр Абрамов: Ну, это… это слава Богу. Это слава Богу.

Ведущий: Сейчас мы ненадолго прервемся, после чего продолжим наш разговор. Не переключайтесь.

Протоиерей Игорь Фомин: Не все подвержено логике.

Станислав Ашманов: Все, что пишут в газетах, это правда, до тех пор, пока не пишут о том, в чем ты понимаешь.

Данила Медведев: Мы можем дойти до таких вопросов как справедливость, там, душа зачем существует, а компьютер пока что нет.

Ведущий: Отец Игорь, складывается ощущение, что главная угроза заключается в том, что технологическое… темпы технологического развития колоссальные, а вот развитие общества и понимание, куда мы движемся, зачем мы этим занимаемся, значительно отстает.

Протоиерей Игорь Фомин: Закон Мура, когда с каждым разом все в два раза больше, в общем-то, развитие увеличивается. Начали мы с калькулятора, и вот 52 этапа прошло, да, и вот теперь мы имеем совершенные компьютеры.

Ведущий: В смысле, этот объект на моем столе — он и калькулятором тоже является, но еще, значит, 5 тысяч функций.

Протоиерей Игорь Фомин: И это не предел. Но он сейчас замедляется, этот закон Мура, и здесь надо тоже быть, скажем так, понимать, что не все подвержено логике. Скажу больше, вообще ничего не подвержено логике.

Вот мы не можем прогнозировать, что с нами будет через 5 минут, да? У нас совершенно меняется картина перед глазами, и мы по-другому начинаем на все окружающее реагировать. Мы не знаем, на каком языке будут говорить те люди, которые живут в тех или иных областях традиционно, там, на земном шаре.

Но самое, в общем-то, печальное, что вот за всей этой автоматизацией мы действительно забываем о том, о чем говорили абсолютно все. Мы забываем, в общем-то, о человеческих взаимоотношениях, и так далее, и тому подобное. Мы этому удивляемся, а вот это, мне кажется, самое страшное.

И то, что нас ждет социальное изменение, вот здесь этот закон Мура — он будет, мне кажется, очень… еще с большей степенью. Потому что мы бросаем все силы на интеллектуальный… этот интеллект, да, искусственный интеллект, и совершенно не задумываемся о социальных последствиях от всего от этого.

Данила Медведев: Не столько социальные последствия искусственного интеллекта важны, сколько в целом социальная динамика вообще. Мы не понимаем, у нас нету языка, чтобы сказать, а какое мы хотим общество через 30-40-50 лет. То есть, есть много принципов, старых, классических, там…

Протоиерей Александр Абрамов: Есть основные постулаты.

Данила Медведев: Постулаты, да, но нету модели, чтоб можно было сказать: «О’кей, как же будет… как же мы хотим, чтоб был устроен мир через 50 лет, когда, там, вот будет вот это, вот это, с Китая, там, с Америки будет вот это вот, в Арктике будет вот это, и мы хотим, чтобы было вот так».

Вот то, что делал как раз, там, Томас Мор, да, или Кампанелла, они худо-бедно давали какую-то модель, которую можно было критиковать и обсуждать.

Протоиерей Игорь Фомин: Действительно, и развитие искусственного интеллекта, непонятно, для чего. Для улучшения жизни, ну, чтобы больше лежать на диване? Вы знаете, тогда какой-нибудь политик или, там, ученый говорит, что: «Моя задача менеджера — чтобы люди жили все лучше, лучше и лучше», — я считаю, это преступление.

Протоиерей Александр Абрамов: Ну, надо еще обсуждать, что такое «лучше».

Протоиерей Игорь Фомин: Ну, естественно, человек с мирским мышлением считает, что 2018 год — 3-х комнатная квартира, в 2022-м — 4-х комнатная квартира, да? Вот я считаю, что это преступление, потому что человек не об этом должен думать, на самом деле.

Ведущий: Роман Валерьевич, вот поправьте меня, если я ошибаюсь, но как развивалось человечество в ХХ веке? Значит, ведущие страны бежали за ядерным оружием, в какой-то момент добежали. У ключевых, у ведущих стран оно появилось, и потом все вместе они думали и думают до сих пор, как сделать так, чтобы это ядерное оружие не попало в плохие руки.

Значит, не получается ли так, что у нас с искусственным интеллектом, в принципе, и с системами контроля, вот со всей этой историей похожая ситуация? То есть мы сейчас все бежим вперед, а потом мы будем думать, как сделать так, чтобы это не попало в руки террористов.

Роман Злотников: Я бы начинал… Я бы начинал это не с ХХ века. Я думаю, что все здесь знают, что такое оружие как арбалет в свое время было запрещено Католической Церковью, потому что… как самое страшное и античеловечное.

И мы на протяжении всех этапов развития человечества регулярно сталкиваемся с тем, что мы изобретаем что-то такое, от чего это человечество приходит в ужас, и потом приходится из этой ситуации, там, выходить, там.

До атомного оружия были боевые отравляющие вещества, и реально в 1911 году, по-моему, вот на первой конференции по разоружению… ну, с годом могу ошибаться, были предложения запретить пулеметы и запретить скорострельные пушки, вот.

Причем часть пацифистов, наоборот, категорически выступала против этого предложения, потому что они говорили, что пулеметы, скорострельные пушки, там, я не знаю, бронированные корабли — они сделают войну настолько ужасной, что человечество никогда не рискнет больше воевать.

Я считаю, что очень много страшилок в человеческой истории. Например, еще во времена Геродота была страшилка о том, как исчезнет олово. Все рудники олова окажутся исчерпаны, и поэтому производить бронзу, на которой была построена цивилизация, там, древняя, античная, больше будет нельзя, и человечество, и цивилизация человеческая рухнет.

Был период, когда говорилось, что, ну, будет ужасно, и человечество настолько размножится, что земля не сможет кормить. Сейчас человечество кормит 12% населения Земли, ну, приблизительно так, и ничего, справляется.

Более того, во многих этих странах при переходе на интенсивное сельское хозяйство площади сокращаются, причем довольно солидно, в 1,5-2 раза. При этом мы еще не используем в достаточной мере, допустим, мировой океан, вот.

Поэтому я считаю, что, конечно, мы… мы вот… мы… Человечество построено так, что оно регулярно само, благодаря своим усилиям, вляпывается в гигантские проблемы, а потом героически их преодолевает.

Я думаю, что и с искусственным интеллектом, и со всем вот этим развитием будет приблизительно точно так же. То есть мы в какой-то момент вдруг придем в ужас от того, что мы натворили, вот, и начнем искать выход.

Данила Медведев: Вы описываете ошибку индейки. Индейка каждый день думает, что человек приходит и ее кормит, а потом наступает День благодарения, и вот вся ее модель, которая у нее была выстроена, выясняется, что она была ошибочна.

То есть до того, как человечество погибнет, каждый день все, в принципе, нормально. И потом — хопа! Поэтому я бы не был здесь оптимистичным вообще ни разу. У нас риски серьезные.

Роман Злотников: Ну, вот видите, мы… мы на разных полюсах.

Ведущий: Станислав, на каком полюсе Вы?

Станислав Ашманов: Я… Значит, у меня мнение такое. Неспроста искусственный интеллект часто сравнивают с электричеством, что электричество, в принципе, может быть полезно в любой сфере, и везде можно, там, в животноводстве, в школах, там, в армии найти применение, где, если раньше не использовалось электричество и электрические приборы, то там эффективность или качество повысится.

Так же и с искусственным интеллектом. Он может помогать человеку лучше работать, он может, ну, быть помощником и так далее.

Ведущий: Вот смотрите, вот Вы говорите об электричестве, но вот тут стоит рубильник. Я его выключу, и свет вырубится в этой студии.

Станислав Ашманов: Ну, конечно, да.

Ведущий: Но при этом, поправьте меня, если я ошибаюсь, у нас одному роботу уже было дано гражданство, предоставлено гражданство. Что это за история?

Станислав Ашманов: Ну, это, на самом деле, чисто медийная история, которая раздута из ничего.

Ведущий: Но Вы расскажите все-таки, что это.

Станислав Ашманов: Робот София, созданный какой-то неизвестной компанией, активно рекламируется в СМИ, делают какие-то манифесты, заявления о том, что это первый робот, который мыслит.

Саудовская Аравия, у которой, значит, и с правами женщин, в принципе, не очень хорошо, но вот роботу-женщине они дали гражданство, тоже просто вписались в медийную историю, чтобы порекламироваться. У них же там, по-моему, вместо искусственного интеллекта…

Ведущий: Но Вы же понимаете, что наверняка где-то стоял стол, на котором сидели такие же умные люди 2-3 века назад и говорили: «Ну, связь по воздуху — это, конечно, такая медийная, — ну, в других словах, — ну, это какая-то медийная, значит, такая шутливая история, понимаете?

Станислав Ашманов: Понимаете, ну, все, что пишут в газетах, это правда, до тех пор, пока не пишут о том, в чем ты понимаешь. Вот в этом случае я…

Данила Медведев: Вот насчет Софии — это же, по сути, то же самое Окно Овертона. Потому что, когда появится наконец разумный робот, уже будет история вот этих пиар-кейсов.

Станислав Ашманов: Кейс такой, да, будет.

Данила Медведев: Да. Известно то, что София неразумна, это понятно, но то, что происходит, когда наши отношения формируются, и фреймится тоже вопрос, о’кей, допустим, можем ли мы дать Софии право быть судьей, да, ну, вот то, о чем мы вначале разговаривали. Да, конечно, потому что, ну, она же получила гражданство в Саудовской Аравии, пусть теперь…

Протоиерей Александр Абрамов: Значит, имеет все остальные права.

Данила Медведев: Да, имеет все остальные права.

Станислав Ашманов: Это моделирование ситуации такое, действительно, такое аккуратное сдвигание на миллиметрик этого Окна Овертона. В принципе, на самом деле, про вот восприятие робота человеком, человек очень легко одушевляет предметы и, в принципе, неживые объекты. То есть, это понятно.

Дети в большей степени — они, там, думают, что игрушки живые, там, что… легко очень верят в это, а, ну, вот по нашему опыту, мы делаем виртуальных собеседников, ну, чат-ботов, да?

Ведущий: Послушайте, вот вы говорите «виртуальные собеседники». Но эти виртуальные собеседники уже могут определять, где мы находимся, определять наши лица. Они решают, давать нам кредит или нет, значит, они занимаются всеми нашими внешними контактами, телефон, интернет и так далее, и так далее, и не получится ли в какой-то момент, что робот София…

Протоиерей Игорь Фомин: Александр, Вы… Вы… Вы… Вы отстало… Вы отстало мыслите. Они формируют общественное мнение, это… это вот самая большая проблема.

Роман Злотников: Главное — они разрешают нам переходить через улицу или запрещают.

Ведущий: Они… они… они уже определяют… Действительно, ведь лента в социальных сетях автоматически формируется и…

Станислав Ашманов: Да. То, что называется «алгоритмическая лента», она формирует вокруг человека такой информационный пузырь.

Ведущий: То есть они… они уже туда залезли. И не получится ли, что в какой-то момент робот София скажет: «Не нужна биомасса», — в отношении 4-х, или сколько сейчас… 6-ти миллиардов…

Данила Медведев: Александр, не София, а тот, кто его разрабатывал. Потому что вот то, о чем я говорил 15 минут назад, смотрите, мы же сами все, вот и мы, и общество, принимаем решение, в кого вкладывать деньги. Вот мы говорим, а что же, там, робот София, а что же, там, роботы, с которыми мы разговариваем, и мы ничего не говорим о том, а как сделать нас, или наших детей, или наших родителей умнее.

Соответственно, если мы будем об этом забывать и откладывать, то действительно вот все ваши страшные параноидальные прогнозы — они все сбудутся, потому что, ну, действительно, если очень долго вкладывать деньги в виртуальных собеседников, рано или поздно они пройдут и тест Тьюринга, и все остальное, и, скажем…

Ведущий: А что такое «тест Тьюринга»?

Данила Медведев: Тест Тьюринга — это один из пионеров вообще кибернетики, компьютеров, искусственного интеллекта. Алан Тьюринг, который расшифровал фашистские перек…

Станислав Ашманов: Код «Энигмы».

Данила Медведев: Да, код «Энигмы», фашистский секретный код для переговоров подводных лодок, вот он же предложил такой тест, как можно отличить программу компьютерную от человека. Давайте просто будем… создадим возможность чата, то есть виртуальный собеседник, и мы… судья какой-то, например, там, я или Вы, должен определить, с кем мы разговариваем — с человеком или с программой.

Ведущий: И никогда программы до недавнего времени этот тест не проходили.

Данила Медведев: Они начинают более или менее проходить, но тут вопрос…

Ведущий: Но тут прошли ведь недавно.

Данила Медведев: Знаете, тут вопрос философский. Когда вы разговариваете с компьютером, если вы с человеком встречаетесь просто, не знаю, в метро, например, вы говорите: «Вы выходите?» — и вам ответ: «Нет, не выхожу. Вилли, проходите, пожалуйста». Это очень простой маленький контекст, с которым программа может справиться.

Идея вообще Тьюринга, идея теста Тьюринга в том, что человек, вот мы с вами, мы можем моделировать что-то сложное. То есть, если у нас достаточно времени есть, то мы можем дойти до таких вопросов как справедливость, да, там, душа, а зачем все существует, а компьютер пока что нет.

Ведущий: Сейчас короткий перерыв, после которого мы продолжим наш разговор.

Роман Злотников: Если бы человек освоил еще парочку планет, то даже ошибка на одной из них уже не была бы для человечества фатальной.

Станислав Ашманов: Если бы у нас было одно государство на планете, то тогда бы мы запросто отказались бы вообще от оружия. А у нас, там, есть западные партнеры, с которыми, если мы не будем бежать вровень, то тогда мы отстанем и прекратим существование.

Протоиерей Александр Абрамов: Мне не хочется неизбежного блага, мне хочется такого блага, которое я мог бы избежать в силу своей воли.

Станислав Ашманов: Есть ежегодные конкурсы, которые проводятся где-то в европейских городах по вот прохождению теста Тьюринга. На самом деле, во-первых, что я хочу сказать? Это довольно искусственное мероприятие, то есть, ну, победа там в эстафете — она не гарантирует, что ты будешь лидером в космосе, да, там, допустим.

Это конкретно лабораторные условия вот такого… Это не значит, что робот прошел тест Тьюринга, все, караул, скоро роботы будут продавать нам товары в магазине.

Ведущий: Отец Александр.

Протоиерей Александр Абрамов: Ну, видите, я бы на два аспекта обратил внимание. Пример с Геродотом — он хорош, пример с пулеметом лучше, еще лучше, но все-таки Геродот, ну, Аттика. В Аттике жило 20 тысяч человек времен Геродота, 20 тысяч человек.

В Первой мировой войне участвовало 75 стран, примерно 75 стран, население которых, там, меньше одной трети населения земного шара. Все-таки, мне кажется, глобализующий эффект — его не надо совсем уж сбрасывать со счетов.

То есть опасность Чернобыля существенно выше опасности Хиросимы, и это, я думаю, так более или менее очевидно. Значит, опасность постчернобыля, например, в его технологическом каком-нибудь измерении еще будет выше, поскольку мы все-таки довольно близко все живем. Это первый момент.

А второй момент… А второй момент — мы, пока обсуждаем, действительно, вот замечание Данилы очень важное, возможна ли ситуация, если человек упускает из виду этический вектор, возможна ли ситуация, при которой роботы Софии будут делать роботов Софий, и тогда уже человеку будет нечего делать. Пока мы имеем дело с конкретным доктором Зло или отсутствием доктора Зло, и тогда можно просто его казнить.

Роман Злотников: Я вот хотел сказать еще по поводу Вашего первого посыла, по поводу того, что глобализация увеличивает опасность для человека как для существа, вот.

Дело в том, что моя как бы позиция по поводу того, что мы ушли из космоса и явно свернули не в ту сторону, именно основана, в том числе, и на том, что, если бы человек освоил еще парочку планет, то даже ошибка на одной из них уже не была бы для человечества фатальной, а сейчас это…

Данила Медведев: С одной стороны, войны те же мировые стали бы возможны, потому что я могу себе представить, как, допустим, марсианское правительство будет истерию развивать.

Роман Злотников: Войны межгосударственные возможны и сейчас.

Данила Медведев: Но меньше все-таки, чем полвека назад.

Ведущий: И вот, смотрите, как удивительно у нас разворачивался сегодня разговор. Мы начали с холодильника, который сам заказывает масло, а закончили межгала… межпланетными войнами.

Посему я хочу все-таки спросить, за гла… главный вопрос нашего эфира сегодня у всех наших гостей-экспертов. Все же вот это стремительное развитие искусственного интеллекта во всех проявлениях — это в целом зло или благо? Ну, или как сделать так, чтобы это точно не превратилось в безусловное зло? Станислав.

Станислав Ашманов: Мое мнение, что это благо, но так же, как и с автомобилями, где введены правила дорожного движения, должны быть и правила дорожного движения, но в плане применения методов искусственного интеллекта.

Потому что военные действительно очень рады, видя вот эти кунштюки, которые творятся на базе методов машинного обучения. Они дойдут до предела, когда уже боеголовка сама будет решать, какой сам…

Протоиерей Александр Абрамов: Куда ей лететь.

Станислав Ашманов: Куда лететь, да. И, в общем, на мой взгляд, тут нужно немножко остановиться, вздохнуть и выработать эти правила. Конечно, тут есть такой аспект, что, ну, если бы у нас было одно государство на планете, то тогда бы мы запросто отказались бы вообще от оружия, а у нас, там, есть западные партнеры, с которыми, если мы не будем бежать вровень, то тогда мы отстанем и прекратим существование.

Но это все-таки такие задачи уже не того уровня, как вот мой мозг может осмыслить. Поэтому, в общем, на мой… мой как бы посыл, что нужно смотреть и в пла… в направлении регулирования этого, то есть не просто на корню рубить разработку методов, а… а, скорее, смотреть, как это должно быть правильно отрегулировано.

Ведущий: Роман Валерьевич.

Роман Злотников: Я полностью присоединяюсь. То есть, действительно, я считаю, что это благо, причем, я не знаю, там, к худу, или к добру, или неизбежное благо. То есть мы никуда не денемся с этого пути прогресса, вот, может быть, даже, к сожалению, все-таки, вот. Но, действительно, надо вырабатывать некие общие правила.

Как есть, там, я не знаю, в том же ядерном оружии договор ОСВ, договор о нераспространении ядерного оружия, приблизительно то же самое придется делать и в этой области, потому что мы от этого никуда не уйдем, вот. И в этом смысле…

Станислав Ашманов: В гражданской сфере это тоже, на самом деле, это регулирование требуется.

Ведущий: Данила.

Данила Медведев: Да. Один из великих парадоксов заключается в том, что человек неспособен осознать ограниченность своих мыслительных возможностей и свою неспособность осознать то, что происходит.

Развитие искусственного интеллекта какое угодно, но только не стремительное. В этом месяце компания Sony с большой помпой выпустила робота за 3 тысячи долларов, робота-собаку, забыв всем напомнить о том, что этот робот был, примерно такой же, выпущен 20 лет назад, в конце 90-х, и ничего с тех пор не поменялось.

То есть нету сейчас стремительного научно-технического прогресса, это миф, и нету стремительного развития искусственного интеллекта. Это тоже некоторое преувеличение.

А что происходит сейчас — это очень забавно. Человек, не имея вот эту перспективную какую-то умную машину, имея очень слабые, глючные, рушащиеся программы, вкладывает в них время и ресурсы вот уже полвека, вместо того чтобы вкладывать их в себя.

И я могу совершенно точно сказать, что, конечно же, к концу XXI века мы все-таки исправим эти ошибки, мы доведем этот искусственный интеллект до состояния разумности, до состояния умности и радостно отдадим ему ключи от квартиры, ключи от умного холодильника, и, соответственно, сложим ручки и скажем: «Ну, а что нам теперь делать?»

И это та проблема, которую можно было бы исправить, этого можно было бы избежать, если бы человечество сейчас поставило вопрос усиления интеллекта нашего собственного, а также усиления наших моральных, этических качеств, способности воображать на первое место, а уже на второе — развитие внешних технологий. Тогда у нас были бы все шансы.

При этом сделать этот выбор мы пока еще можем, но я боюсь больше всего того, что вот я буду, как футуролог, наблюдать в течение XXI века, и я буду каждый год сталкиваться с одним и тем же — с тем, что опять на повестке дня у нас большие данные, интернет вещей, умная пыль, умные роботы, умные микророботы, умные РАИ, умные холодильники, и умные люди так никогда в ТОП-10 трендов и не попадут.

Ведущий: Отец Игорь, отец Александр, ваши итоги нашего разговора сегодня.

Протоиерей Александр Абрамов: Вот Роман Валерьевич использовал выражение «неизбежное благо». Мне не хочется неизбежного блага, мне хочется такого блага, которое я мог бы избежать в силу своей воли. То есть, если благо неизбежное, то это не благо, и все…

Роман Злотников: Я именно поэтому так и сформулировал.

Протоиерей Александр Абрамов: Да-да-да, я это понял, я это, да, понимаю. Я не хочу неизбежного блага. Я, с другой стороны, понимаю, вот Данила об этом, в общем, сейчас говорил. Вы пойдите в один банк, который, я думаю, ну, я, во всяком случае, очень не люблю, там очень много говорят о блокчейне, о Биг-дате, вы пойдите, 500-рублевую купюру с первого раза в банкомат положите, вот.

Вот некоторые издержки говорения — они компенсируются все-таки несовершенством техники, и я очень надеюсь, что… Я не луддит ни в малейшей степени, но я надеюсь, что это несовершенство техники продлится достаточно долго, для того чтобы человек мог этически сгруппироваться.

В первую очередь этически сгруппироваться и понять, что все то, что от него происходит, он за это несет ответственность, и он должен это оценить, в первую очередь, в моральных категориях, а затем принимать осмысленные решения, а не решения, исходящие из логики безудержной полоумной гонки.

Ведущий: Отец Игорь.

Протоиерей Игорь Фомин: Творческое начало в человеке — оно неизбежно, так как мы — образ и подобие Божие. И пока человек будет контролировать свое творение, вот пока человек будет понимать, что это находится под контролем, это, естественно, будет приносить благо. Это, скажем так, может, даже бесспорно, потому что оно будет направлять на те или иные аспекты, в общем-то, своей жизни.

Но как только он, а это наверняка совершится, если мы строим, в общем-то, прогнозы именно в логическом плане, а не с божественной точки зрения, что мы сделать не можем, это понятно всем, да, вот, в логическом плане, наступит момент, когда он выйдет из нашего контроля, и, естественно, опять же, умные люди будут искать способ писать программы, как спрятаться от этого умного интеллекта.

Данила Медведев: Но людей уже не будет.

Протоиерей Игорь Фомин: Ну, наверное, будут, которые захотят спрятаться от умного интеллекта, да. Поэтому неизбежность вот этого блага, о котором замечательно сейчас, в общем-то, здесь сказано, это, конечно, плачевная перспектива, вот.

И хочется, конечно, свободы, а свобода эта только в том, от чего ты не зависишь, а свободно выбираешь.

Ведущий: Спасибо большое всем за этот интересный разговор. На этом все. До новых встреч в эфире!