Везде
От автобеспилотников до автономных дронов: диапазон социально-этических рисков
Оглавление
Аннотация Оценить Содержание публикации
Библиография Комментарии
Поделиться
QR
Метрика
От автобеспилотников до автономных дронов: диапазон социально-этических рисков
Аннотация
Код статьи
S207054760022754-6-1
DOI
10.18254/S207054760022754-6
Тип публикации
Статья
Статус публикации
Опубликовано
Авторы
Соколова Марианна Евгеньевна 
ORCID: 0000-0002-4899-9058
Должность: Старший научный сотрудник
Аффилиация: Институт США и Канады им. академика Г.А. Арбатова Российской академии наук (ИСКРАН)
Адрес: Российская Федерация, Москва
Выпуск
Выпуск № 5
Аннотация

В статье рассматривается ряд этических коллизий, связанных с несовершенством технологий алгоритмизации распознавания и принятия решений на опыте США, России и Китая. Особое внимание уделено социально-этическим рискам и институционализации алгоритмической этики. Подчёркивается роль рисков использования автономного оружия, ударных автономных БПЛА (проект Maven, США). На примере конфликта американской исследовательницы Тимнит Гебру с руководством компании «Гугл» (Google) рассматриваются институциональные риски исследователей. На примере забастовок гиг-работников (Gig workers) китайских цифровых платформ по доставке еды показывается, к каким социальными рискам ведёт бизнес-использование алгоритмов без учёта интересов работников.

Ключевые слова
алгоритмы, этика алгоритмов, институционализация этики ИИ, искусственный интеллект (ИИ), БПЛА, автономные дроны, автономное оружие
Классификатор
Получено
28.08.2022
Дата публикации
24.10.2022
Всего подписок
11
Всего просмотров
270
Оценка читателей
0.0 (0 голосов)
Цитировать Скачать pdf
Доступ к дополнительным сервисам
Дополнительные сервисы только на эту статью
Преимущества сервисов
100 руб. / 1.0 SU
1

Введение

 

Интерес к социально-этическим проблемам в области искусственного интеллекта (ИИ) носит сегодня не только академический характер. Рассматривая их, исследователи получают возможность определить наиболее важные направления дальнейшего нормативно-правового регулирования в этой области. Новые социально-этические коллизии, возникающие в процессе социальной адаптации технологических инноваций, маркируют настоящие и будущие социальные риски и «болевые точки». Алгоритмическая этика помогает выявить социальные последствия несовершенства технологий распознавания и принятия решений, что для нашей страны в контексте современных проблем технологического развития имеет немаловажное значение.
2

Этика алгоритмов

 

В связи с широким внедрением в нашу жизнь разнообразных применений алгоритмов и расширением их использования, вплоть для самостоятельного принятия решений, во всех странах предпринимаются попытки регулирования правовых, этических, правозащитных вопросов, связанных с искусственным интеллектом и робототехникой.
3

Социально-нормативное регулирование этических рисков, установление стандартов и правил наряду с исследованиями, промышленной частью, внедрением и профессиональным образованием являются частью государственной стратегии ИИ. Сейчас уже многие страны приняли такие государственные стратегии. В России «Национальная стратегия развития искусственного интеллекта на период до 2030 г.» была принята в 2019 г., а в октябре 2021 г. был принят «Кодекс по этике искусственного интеллекта». Но специальное регулирование систем алгоритмического принятия решений (АПР) в РФ пока находится на начальном этапе. При этом диапазон социально-этических рисков при применении систем АПР достаточно велик. Это прежде всего риски для неприкосновенности частной жизни, связанные со сбором и обработкой персональных данных. Риски дискриминации граждан при использовании алгоритмов обработки данных появляются в результате предубеждений самих разработчиков, которые они намеренно или бессознательно перенесли в архитектуру алгоритмов, или из-за недостатков входных данных. Особенно негативное отношение сейчас вызывают риски манипулирования индивидуальным и общественным мнением, последствия так называемых «информационных пузырей». Немаловажны и риски, связанные с последствиями неправильных управленческих решений. Регулирование этих рисков основано на внесении прозрачности и объяснимости в разработку и применение систем АПР. Зная, с чем связана причина дискриминационного решения – с исходными данными или с качеством самого алгоритма, можно исправить неточные данные или заставить операторов алгоритмов внести соответствующие изменения. В результате появляется возможность оспорить дискриминационное алгоритмическое решение и защитить права его жертвы1.

1. Правовые аспекты использования искусственного интеллекта: актуальные проблемы и возможные решения: доклад НИУ ВШЭ. М.: Издательский дом Высшей школы экономики, 2021. С.36.
4

Таким образом, этические проблемы, связанные с развитием ИИ и использованием алгоритмов, сегодня стоят на повестке дня. В настоящее время становление этического регулирования ИИ тесно взаимосвязано со становлением юридических норм. Новое специализированное «право роботов» вместе с кибернетической этикой будет основываться на учёте программных правил, зафиксированных в машинных алгоритмах2.

2. Хабриева Т.Я. Право, искусственный интеллект, цифровизация. Человек и системы искусственного интеллекта. СПб., 2022. С. 74-75.
5 В целом можно говорить как об этических коллизиях, связанных с последствиями использования ИИ в качестве автономного субъекта, который может принимать решения и нести за них ответственность, так и о различных этических аспектах деятельности тех, кто занимается его созданием, распространением, внедрением, применением в различных областях, таких как использование результатов обработки больших данных, увеличение степени контроля за поведением человека, цифровизацией различных отраслей. И если при рассмотрении первых прежде всего надо учитывать, что создание «сильного» ИИ пока ещё является не близкой перспективой, то вторые как раз вполне актуальны и доступны для выявления и анализа. Именно о проблемах второго ряда идёт речь в данной статье. Самым важным сейчас является кооптировать этические принципы, представление о социально-ответственном, доверенном ИИ в бизнес, реальную деятельность компаний, опираясь на установку, что это не ограничение для развития бизнеса, инновационной среды, а необходимое условие для защиты её от долгосрочных рисков, а этическое измерение – не помеха инновациям, а залог их сбалансированного развития.
6 Рассматривая проблемы этики алгоритмов, важно помнить и о различии стандартов регулирования обработки и сбора данных в соответствии с различием культурных, правовых, экономических традиций каждой страны. Опыт различных стран, прежде всего таких технологических гигантов, как США и Китай, имеет свою ценность. Здесь недопустимы неправомерные, не основанные на всестороннем широком анализе подходы, выводы и рекомендации без учёта различий культурного контекста. Принести реальную пользу России в условиях предстоящих экономических трудностей может только реалистическая, объективная оценка опыта других стран и фактору культурных традиций здесь принадлежит значительная роль.
7 Высоки риски причинения вреда человеку, связанные с использованием алгоритмов, прежде всего в транспорте, финансово-банковской сфере, медицине, военных технологиях, судопроизводстве.
8

Если говорить о транспортных беспилотниках, но здесь прежде всего предметом оживлённых дискуссий является вопрос, кто виноват в автодорожных происшествиях: ИИ, разработчик, производитель, водитель, пешеход? Сейчас чаще всего предлагается в судебном порядке скрупулёзно, всесторонне разбираться, какова здесь доля вины каждого из участников. Но, как вполне реальная перспектива, уже стоит и вопрос о вине ИИ как такового, то есть о юридическом оформлении правосубъектности ИИ и применении к электронным субъектам мер уголовно-правового характера, вплоть до появления в уголовных кодексах соответствующего раздела3.

3. Хабриева Т.Я. Право, искусственный интеллект, цифровизация. Человек и системы искусственного интеллекта. СПб, 2022. С. 74-75.
9 В сфере финтеха сбои трейдерских алгоритмов могут привести к серьёзным биржевым колебаниям и обвалам. Банки, находясь в фарватере инновационно-технологического развития, сами страдают от проблем с информационной безопасностью, той волны информационной преступности, которую порождает форсированная цифровизация финансовых и банковских процессов. В настоящий момент это прежде всего проблемы с обработкой биометрических данных, утечки которых могут привести к серьёзным репутационным рискам клиентов.
10 Актуальны и этические проблемы, связанные с использованием алгоритмов, в управлении организацией труда, особенно в условиях дистанционного и гибридного режима. Алгоритмическая оптимизация организации труда далеко не всегда является оптимальной для самих работников, которые становятся полностью «прозрачны» для алгоритмов психологически и физически. В результате работодатели получают огромное количество биометрических данных при отсутствии устоявшегося регулирования, чётких стандартов безопасности обращения с ними.
11

Примеры этических рисков, связанные с использованием алгоритмов в юридической практике, приведены в исследовании американской компании «Пропаблика» (Propublica) в 2016 г., которое доказало наличие расовой предвзятости в проекте COMPAS, предназначенном для прогнозирования рецидива у подсудимых в США. Система правильно предсказала рецидивизм только в 61% случаев, а по такой категории как насильственный рецидив – только в 20%4.

4. Larson J., Mattu S., Kirchner L., Angwin J. How We Analyzed the COMPAS Recidivism Algorithm. 23.05.2016. Available at: >>>  (accessed 2.11.2021).
12

Возможны риски и при обработке нейронными сетями медицинских данных. Известны случаи обнаружения ошибок алгоритмов «Гугл» при обработке медицинских данных, когда не учитывались факторы, релевантные для темнокожих женщин5. Это одновременно пример нерепрезентативной выборки и выборки, содержащей большое количество несущественных признаков при применении модели к темнокожим женщинам. Другой пример – обнаружение неточностей в системе скрининга, когда из-за того, что на изображениях в базе данных больных присутствует линейка, при помощи которой измерялся размер опухоли, алгоритмы ошибочно стали классифицировать любое изображение с линейкой как злокачественную опухоль6.

5. Khalid A. Google’s AI for mammograms doesn’t account for racial differences. Quartz. 9.11.2020. Available at: >>>  (accessed 2.01.2022).

6. Kelly C. J. et al. Key challenges for delivering clinical impact with artificial intelligence. BMC medicine. – 2019. – Vol. 17. – №. 1. – PP. 1-9.
13 Сталкивается с социально-этическими рисками и цифровая медицинская этика в Китае. В отличие от европейских и американских подходов к использованию медицинских данных, которые ставят во главу угла индивидуальную автономию и конфиденциальность, а не общее благо, как в конфуцианской традиции, здесь считается оправданным использование медицинских данных без получения согласия их обладателей, в интересах быстрейшего технологического прогресса в этой области. В интересах обучения нейронных сетей и развития систем ИИ китайские ИТ-компании получили доступ к огромным объёмам неструктурируемых персональных данных, которые накопились в местных медицинских учреждениях в обмен на бесплатное тестирование и анализы населения. Полученные данные были автоматически (то есть без получения согласия тех, кому они принадлежали), анонимизированы, а затем загружены в облако, где они использовались для обучения продуктов ИИ. На основе обработки этих данных создаётся система медицинского ИИ, которая может быть использована сельскими врачами для предоставления предлагаемых диагнозов и выбора методов лечения из базы данных.
14 Полностью автоматизированное медицинское обслуживание в условиях коммерциализированной медицины может в будущем лишить небогатых китайцев общения с врачом-человеком, так как станет платной услугой. Алгоритмы будут не только собирать и обрабатывать их данные: симптомы и историю болезни, но и выносить диагноз и предлагать план лечения. Это лишает пациентов эмоциональной заботы, а значит, и участия со стороны врача и может оказать значительное негативное влияние на уровень и качество медицинской помощи.
15

Ещё один риск: социальный контроль за здоровьем пожилых людей в Китае может значительно увеличиться в результате сбора и интеграции данных по эмоциям и поведению из социальных медиа, данных по использованию пищевых продуктов, имплантируемых устройств, роботоустройств, устройств Интернета вещей, электронных медицинских записей, что делается для организации управления медицинскими данными пожилых и информатизации здравоохранения7.

7. Roberts H., Cowls J., Morley J., Taddeo M., Wang V., Floridi L. The Chinese Approach to Artificial Intelligence: an Analysis of Policy and Regulation. 2021. AI & SOCIETY. 36 (3). С. 17. >>> (accessed 2.05.2022).
16

Для России этот опыт цифровой медицинской этики в Китае и анализ связанных с ним рисков, которые пока кажутся от нас отдалёнными, имеет большое значение. Так, в июле этого года Минздрав РФ выступил против введения экспериментальных правовых режимов (ЭПР), заблокировав заявки, поданные медицинскими сервисами и ранее одобренные АНО «Цифровая экономика». В ведомстве не хотят разрешать ставить дистанционно диагнозы в рамках телемедицины, а также имеют вопросы к обеспечению качества медицинских данных. Представители министерства настаивают на том, чтобы в законе были учтены предлагаемые ими изменения8.

8. Кинякина Е., Курашева А. Телемедицина не нашла поддержки у Минздрава. Ведомости. 18.07.2022. Available at: >>>  (accessed 2.01.2020).  
17

Автономные БПЛА

 

Самой драматической и чреватой этическими последствиями, пожалуй, является область применения технологий ИИ как одного из ключевых факторов в сфере обороны и национальный безопасности, в связи с чем возникает целый ряд организационных, этических и стратегических последствий. В том числе при использовании беспилотных летательных аппаратов (БПЛА) в ударных целях, особенно в качестве автономного оружия, когда решение принимает ИИ.
18

В предыдущие десятилетия много внимания уделялось проблемам, связанным с различными психологическими коллизиями и профессиональным выгоранием операторов БПЛА, принимающих решение о поражении цели9. Теперь на первый план постепенно выходят этические коллизии самостоятельного принятия решений о поражении цели самими дронами, то есть допустимость применения автономного оружия – ударных БПЛА. Использование автономного оружия – это радикальное преодоление барьеров во взаимодействии человека и машины. Речь уже идёт не о возможности, например, социальной дискриминации – лишиться социального обеспечения из-за алгоритмической ошибки. Использование такого оружия вообще выводит человека из системы принятия решений относительно того, кто будет жить, а кто умрёт. Делегирование таких решений просто аннулирует человеческую автономию принятия решений в одной из самых важных областей.

9. Fatić A. The ethics of drone warfare // Filozofija I Društvo. XXVIII (2), 2017. P. 351.
19 Об этой новой технологии, о процессе принятия решений, целях, методах действия в разных географических регионах и т.д. не так уж много известно из открытых источников и это затрудняет принятие решений по её регулированию.
20

Хотя оружие, действующее автономно, существует уже много лет и его разрабатывают многие государства, внимание к этому вопросу в настоящий момент связано с тем, что в 2021 г. впервые в истории зафиксирован случай автономной атаки дронов на людей. Беспилотники-квадрокоптеры Kargu-2 турецкого производства, согласно маркетинговым материалам, способные проводить автономную атаку «без необходимости подключения к данным между оператором и боеприпасом», оснащенные датчиками и электронным мозгом, были использованы во время атаки на повстанческие войска ливийского генерала Хафтара10.

10. Mizokami K. Autonomous Drones Have Attacked Humans. Popularmechanics. 22.05.2022. Available at: >>> (accessed 2.06.2022).
21 Хотя на повестке дня стоит вопрос о запрете на автономное оружие, однако ни запрета, ни какого-либо регулирования алгоритмов здесь не может быть, если не существует надёжного способа проверки его использования.
22 А проверка, как говорят эксперты, здесь является чрезвычайно трудной в отличие, например, от проверки использования химического оружия. Особенно если беспилотник имеет как автономный, так и дистанционно управляемый ручной режимы. В целом атака с включённым автономным режимом будет выглядеть снаружи точно так же, как атака в ручном режиме, за исключением незаметных изменений в скорости принятия решений. Все способы и источники проверки использования автономного оружия, будь то судебно-медицинское расследование, свидетельство самих военных, использование разведданных, имеют свои ограничения или издержки.
23

В случае использования роя БПЛА можно исходить из того, что должен быть «порог», позволяющий человеку осуществлять прямой контроль над огромными роями. Например, Управление стратегических возможностей США в октябре 2016 г. запустило 103 дрона Perdix из трёх F18 Super Hornets, в то время как Индия протестировала рой из 75 дронов и заявила, что планирует создать рой из 1000 или более дронов, работающих без контроля человека. Человек не способен сохранять полный контроль над такими огромными «роевыми группировками». Относится это и к автономным подводным аппаратам11.

11. Кокошин А.А. Вопросы применения технологий и систем искусственного интеллекта в военной сфере Человек и системы искусственного интеллекта. СПб., 2022. С.101.
24

В качестве наиболее надёжных для проверки присутствия человека-оператора специалисты называют технические средства проверки. Критически важные подсистемы, такие как система развёртывания оружия, должны стать достаточно прозрачными, чтобы обеспечить возможность проверки третьей стороной без предоставления доступа к более чувствительным подсистемам, хотя все эти методы требуют содействия со стороны государства и могут оказаться неэффективными на практике12.

12. Kallenborn Z. If a killer robot were used, would we know? The Bulletin of the Atomic Scientists. 4.06.2022. Available at: >>> (accessed 6.06.2022).
25 Основные риски применения автономных дронов связаны с возможностью алгоритмических ошибок при распознавании цели. Об ошибках людей-операторов, которые также могут совершать их при принятии решения о поражении цели в условиях плохой видимости и недостаточного количества времени, писалось многое. Однако люди могут и внести коррективы до того, как произойдёт катастрофа, исправить ошибки. Отсутствие контроля со стороны человека всегда представляет определённый риск.
26

Есть ряд факторов, способных повлиять на точность в поражении цели ИИ. Это небольшое изменение, модификация, неправильное прочтение изображения дроном13. В городах и в местах скопления гражданского населения вероятность ошибки выше. В рое возможно нарушение связей между дронами или связи с наземной станцией управления, манипулирование дронами с помощью электронных средств14.

13. Kallenborn Z. Giving an AI control of nuclear weapons: What could possibly go wrong? The Bulletin of the Atomic Scientists. 1.02.2022. Available at: >>> (accessed 27.06.2022).

14. Kallenborn Z. Swarn talk: Understanding drone typology. The Modern War Institute (MWI). 12.10.21. Available at: >>> (accessed 27.03.2022).
27

Таким образом, люди должны участвовать в процессе принятия решений дроном, иметь над ним контроль. Как пишет директор Института международной безопасности РАН, академик РАН А.А. Кокошин: «Вопросы контроля человеком (оператором) систем ИИ, обеспечение надёжности и безопасности применения оружия с использованием ИИ можно считать среди наиболее сложных при рассмотрении проблем широкого внедрения технологии и систем ИИ. Особенно это относится к средствам поражения личного состава, техники, других материальных объектов противника, что тесно связано с проблемами гуманитарного знания, в том числе с политико-правовыми вопросами. Подавляющее большинство экспертов и должностных лиц сходятся в том, что любые решения о применении ударных (летальных) средств должны быть в руках исключительно человека»15.

15. Кокошин А.А. Вопросы применения технологий и систем искусственного интеллекта в военной сфере. Человек и системы искусственного интеллекта. СПб., 2022. С. 101.
28

Одним из самых масштабных примеров того, какой эффект может принести использование нейронных сетей с глубоким обучением для обработки данных фото- и видеосъёмки, полученных с помощью дронов, и каковы здесь уязвимости, показал проект «Мейвен» (Maven) Минобороны США в области разработки интеллектуальных систем автоматического обнаружения, локализации и классификации объектов. Меморандум о создании Боевой алгоритмической кросс-функциональной группы (Algorithmic Warfare Cross-Functional Team), впоследствии известной как проект «Мейвен»16, был подписан в конце апреля 2017 года.

16. Establishment of an Algorithmic Warfare Cross-Functional Team (Project Maven). 26.04.2017. Available at: >>> (accessed 27.06.2022).
29

В рамках данного проекта с использованием технологий ИИ осуществляется анализ больших объёмов видеоматериалов, поступающих с разведывательных БПЛА, что сняло огромную нагрузку с военных аналитиков Министерства и позволило им использовать свои возможности для других задач17. Однако видеоаналитика продолжает сталкиваться с проблемами, связанными с типами камер, расположением объективов, алгоритмов зрения и машинного обучения. Среди уязвимостей возможность создавать модификации изображений (adversarial examples), незаметные для человеческого глаза и успешно сбивающие с толку ИИ-системы компьютерного зрения18. Возможны кибератаки, отправляющие ложные наборы данных для обучения, также способные вывести из строя системы ИИ19.

17. Weisgerber M. The Pentagon’s New Algorithmic Warfare Cell Gets Its First Mission: Hunt ISIS 14.05.2017. Available at: >>> (accessed 27.01.2022).

18. Johnson T., Wald Ch.W. The Military Should Teach AI to Watch Drone Footage Opinion. 26.11.2017. Wired. Available at: >>> (accessed 5.05.2022).

19. Steinhardt J., Wei Koh P., LiangP. Certified Defenses for Data Poisoning Attacks. 26.11.2017. Available at: >>> (accessed 7.04.2022).
30

Значение всех рисков, о которых говорилось ранее, неизмеримо возрастает в контексте использования ядерного автономного оружия, систем типа «Периметр», более известная как «Мёртвая рука» (Dead hand), регламентирующих ответный ядерный удар при потере связи с вышестоящим командным центром. Как указывают эксперты, таким системам прежде всего не хватает данных для обучения и уверенной работы алгоритмов ИИ, поскольку испытания оружия массового уничтожения (ОМУ) давно запрещены. Вполне реальна и террористическая угроза: моделирование ложной ядерной атаки или маскировка нападения, для чего достаточно владеть информацией о маркерах, на которые ИИ ориентируется, распознавая нападения. Именно поэтому эксперт по национальной безопасности Закари Калленборн, сотрудник исследовательского филиала Отдела нетрадиционного оружия и технологий Национального консорциума по изучению терроризма и ответных мер на терроризм (Unconventional Weapons and Technology Division of the National Consortium for the Study of Terrorism and Responses to Terrorism – START), научный сотрудник Школы политики и правительства им. Шара при Университете Джорджа Мейсона (Schar School of Policy and Government at George Mason University), выдвинул инициативу о переговорах между тремя крупнейшими ядерными державами – Россией, Китаем и США – по проблеме ИИ в ядерном сдерживании в своей статье в «Бюллетене учёных-атомщиков», опубликованной 1 февраля 2022 г., где он приводит весомые аргументы против использования ИИ в области ядерной безопасности20.

20. Kallenborn Z. Giving an AI control of nuclear weapons: What could possibly go wrong? The Bulletin of the Atomic Scientists. 1.02.2022. Available at: >>> (accessed 27.01.2022)
31

ИТ-гиганты и этика алгоритмов

 

В последние десятилетия в деятельности крупных ИТ-компаний очевиден тренд демонстрации лояльности нормативному регулированию со стороны государства и кооптации этических подходов. Необходимость этого осознают все участники отрасли: руководители, разработчики, специалисты по данным, эксперты по этике.
32 В ответ на усиление госрегулирования в компаниях всё больше говорят об ответственном ИИ и ответственных инновациях и выдвигают инициативы по следованию корпоративным стандартам ESG (Environmental, Social, Governance) для создания более надёжных, устойчивых и ответственных ИТ-решений.
33

Например, «Гугл», «Майкрософт» (Microsoft) и «Альфабет» (Alphabet) в последнее время в своих годовых отчётах предупреждают инвесторов о потенциальных технологических, юридических и этических рисках, связанных с их разработками ИИ. Речь идёт о смещённых выборках алгоритмов, несовершенствах алгоритмов и методах обработки данных и рисках для различных социальных групп21.

21.  Simonite T. Google and Microsoft That AI May Do Dumb Things 02.11.2019. Wired. Available at: >>>  (accessed: 15.04.2022).
34 В последние годы стали широко известны некоторые ситуации, в которые оказались вовлечены крупнейшие ИТ-гиганты в связи с этическими аспектами алгоритмических технологий. Это прежде всего дискриминация по отношению к определённым социальным группам – например, к темнокожим людям, которых не опознали алгоритмы.
35

Так, в 2019 г. группа американских исследователей подписала письмо с призывом к «Амазон» (Amazon) прекратить продажу своей технологии распознавания лиц правоохранительным органам, поскольку было доказано, что эта система имела больше всего проблем с идентификацией темнокожих женщин. Подобные систематические и повторяющиеся ошибки ведут к алгоритмической предвзятости, например, возможен отказ в получении социального обеспечения22.

22. Hardesty L. Study finds. MIT - Massachusetts Institute of Technology. 11.02.2018. Available at: >>> (accessed 27.07.2022).
36

«Майкрософт» недавно приняла решение об ограничении публичного доступа к своим инструментам Microsoft Azure AI по распознаванию лиц, которые используют ИИ. Речь идёт об определении эмоций человека по видео и изображениям. Выражения лица не являются универсальными для разных групп населения, демографических групп, регионов, внешние проявления эмоций нельзя приравнивать к внутренним чувствам, говорят эксперты. Ответственный сотрудник «Майкрософт» по ИИ Наташа Крэмптон в этой связи подчеркнула, что пока нет научного консенсуса в отношении определения эмоций, будут существовать проблемы с обобщением выводов в отдельных случаях, регионах и демографических группах. Следовательно, возможны и связанные с этим риски. Ограничен также доступ к функции Custom Neutral Voice для создания аудиальных дипфейков, хотя этот инструмент имеет огромный потенциал в сфере образования и развлечений23.

23. Microsoft’s framework for building AI systems responsibly. 21.06.2022. Available at: >>> (accessed 24.01.2022).
37

Компании должны быть всегда готовы в соответствии с законодательством дать публичный ответ, как они получают данные для обучения нейросетей и как они с ними работают. Именно из-за скрытности методов сбора данных получают упрёки «Гугл» и «Фейсбук» (Facebook), компании должны проводить политику открытости в этих вопросах, что они теперь всё больше учитывают, – таково мнение эксперта Дэна О’Коннелла, директора по доходам компании «Диэлрад» (Dialpad). Необходимо чётко определять и сообщать, как получают данные для обучения ИИ, как будут использованы эти данные и описывать продукты ИИ точно и честно, говорит он: «Будьте откровенны в том, что вы можете сделать и когда это уместно, в том, чего вы не можете. Возможно, в краткосрочной перспективе вы чуть уступите своим конкурентам, но этичные компании выиграют в долгосрочной перспективе. Они сохранят довольных клиентов, получат устойчивый рост и обойдут организации, играющие с правдой»24.

24. О’Коннелл Д. Пришло время пересмотреть наши ожидания от искусственного интеллекта. itWeek. Available at: >>> (accessed 24.01.2022).
38 На практике за то же самое голосуют заказчики систем АПР, которые подали в суд на разработчиков за несовершенства продуктов ИИ и недостаточную прозрачность алгоритмов, когда очередная нейронная сеть выдала непонятный прогноз, а разработчики не смогли объяснить, на основе каких критериев было принято это решение.
39 По мере того, как ИТ-компании кооптируют в свою деятельность этическое измерение, возникают и новые трудности в этой области, и прежде всего институциональные. Речь идёт об организационной институционализации этики алгоритмов в крупных ИТ-компаниях и о проблемах исследователей, которые работают в таких структурах. В крупных ИТ-компаниях создаются внутренние отделы по этике, которые должны заниматься подготовкой правил для технической разработки продуктов внутри компании или привлекают экспертов извне для проведения экспертной оценки.
40

Работающие в ИТ-компаниях специалисты по этике неизбежно попадают в трудное положение, пытаясь примирить личные, профессиональные и корпоративные интересы. Борясь за свою исследовательскую автономию, они сталкиваются с проблемами, которые трудно преодолеть в рамках корпоративного контекста и правил. Этика как набор нормативных требований вступает в конфликт с корпоративными обязанностями и организационными ограничениями работы специалистов по этике внутри ИТ-компаний, где они попадают под сильное корпоративное давление25. Один из громких конфликтов между исследователями и руководством произошёл в «Гугл» в декабре 2020 г. и был связан с именами исследовательницы доктора Тимнит Гебру (Timnit Gebru), которая совместно с доктором Маргарет Митчелл (Margaret Mitchell) возглавляла в этой компании отдел этики ИИ.

25. Муравьев Д. Что не так с комиссиями по этике в IT-компаниях. Как и почему «Google» увольняет специалистов по этике. Теплица социальных технологий. 31.03.2021. Available at: >>> (accessed 7.01.2022).
41 Гебру, известная своими исследованиями в области этических проблем ИИ, показала, что широко используемые в продуктах «Гугл» крупномасштабные языковые модели ИИ (large-scale AI language models, LLMs) связаны с потенциальными экологическими и этическими рисками. Их использование может привести к непреднамеренным ошибкам. Она отметила большее число проявлений расовой предвзятости у алгоритмов «Гугл».
42

Отказавшаяся выполнить требование руководства, которое просило её отозвать пока ещё неопубликованную статью26 об этических и социальных проблемах обработки естественного языка, написанную в соавторстве с коллегами, Гебру была уволена. Вскоре после этого была уволена и доктор Митчелл, которая пыталась найти примеры дискриминационного обращения со своей коллегой27.

26. Bender E.M., Gebru T., McMillan-Major A., Shmitchell Sh. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 1.03.2021. Available at: >>> (accessed 27.01.2022).

27. Fried I. Google fires another AI ethics leader. 20.02.2021. Axious. Available at: >>> (accessed 7.01.2022).
43

История с увольнением Тимнит Гебру продемонстрировала, что институционализация этики в рамках ИТ-индустрии противоречит исследовательской свободе и независимости суждений и вызвала многочисленные отклики среди исследовательского сообщества. На увольнение Гебру откликнулись в соцсетях коллеги, активисты группы Google Walkout for Real Life28. В опубликованном ими на сайте письме, под которым подписались десятки бывших и нынешних сотрудников компании, подчёркивается, что эта история должна стать прозрачной для всех, включая общественность, исследователей, пользователей «Гугл». Под сомнение поставлены сами принципы исследовательской честности при создании этичного и справедливого ИИ.

28. Standing with Dr. Timnit Gebru — #ISupportTimnit #BelieveBlackWomen. Google Walkout For Real Change. 4.12.2020. Available at: >>>  (accessed 7.01.2022).
44

В обращении были выдвинуты требования к руководству научного подразделения Google Research встретиться с исследовательской командой по этическому ИИ и дать пояснения по этому поводу. Подразделение должно подтвердить свои принципы честности исследований и академической свободы, изложенные в «Философии исследований «Гугл»» (Google's Research Philosophy)29, и поддерживать исследования, которые способствуют достижению целей «Принципов искусственного интеллекта «Гугл»» (Google’s AI Principles)30. Необходимы чёткие рекомендации, как должны оцениваться исследования и соблюдаться их честность.

29. Google’s research philosophy. Available at: >>> (accessed 7.01.2022).    
30. Pichai S. AI at Google: our principles. 07.07. 2018. Available at: >>> (accessed 7.01.2022).
45 Изучение подобных коллизий при внедрении результатов этических исследований, связанных с алгоритмами, важно для понимания тех трудностей, с которыми неизбежно придётся столкнуться в будущем и в российской практике.
46

Алгоритмы и гиг-работники в Китае

 

Большой интерес для российских исследователей в области этики ИИ представляет информация о социальных рисках гиг-работников цифровых платформ.
47

Весной этого года в российских СМИ появилась информация о забастовке курьеров, работающих на доставке еды, в компаниях «Яндекс.Еда» и «Деливери клаб» (Delivery Club) в связи с «нехваткой рук и снижением зарплат на 20%». Доставка еды в последние годы стала одним из самых распространённых в России направлений так называемой гиг-экономики, основанной на сдельном заработке, фрилансе. Однако периодически сотрудники, работающие на доставке, жалуются на несправедливую оплату труда, угрожают забастовками. Крупнейшие российские агрегаторы опровергают жалобы курьеров31, но вот в Китае подобная ситуация с забастовками среди разносчиков еды, работающих в китайских платформенных компаниях Meituan и Ele.me, принадлежащей «Алибаба» (Alibaba), широко освещалась в прессе и даже вызвала реакцию со стороны государства.

31. Гореликов А. Крупнейшие агрегаторы заказов отрицают нехватку рук и снижение зарплат // «Яндекс.Еда» и Delivery Club опровергают слухи о забастовке курьеров. 28.04.2022. Available at: >>> (accessed 7.06.2022).
48 Цифровые платформы по доставке еды в Китае – один из самых востребованных сегментов цифровой гиг-экономики, значительно развившийся в связи с пандемией. В то же время здесь множество социальных злоупотреблений и нарушений, а гиг-работники, большинство из которых малоквалифицированные мигранты из депрессивных районов Китая, хотя им и выгоден свободный заработок и гибкий график, социально незащищены и практически бесправны перед руководством компаний.
49 В целях повышения эффективности и конкуренции платформы стали сокращать время доставки, автоматически рассчитываемое алгоритмами, чтобы заставить курьеров работать интенсивнее и быстрее передвигаться. При этом не учитывалась труднодоступность пунктов доставки, например, в многоэтажных зданиях или по другим причинам, где времени требуется больше.
50 В результате выросло и количество дорожно-транспортных происшествий с участием курьеров. Чтобы доказать, что они получили травму на работе, гиг-работники должны использовать данные о заказах в приложении. Но после аварий эти данные стали оттуда исчезать.
51 Курьеры в ответ начали искать формы сопротивления и протеста. В то время как компании организуют соревнования, чтобы повысить производительность и побудить курьеров брать больше заказов, разносчики, чтобы обмануть алгоритмы, подделывают данные о заказах, чтобы получить более высокую оплату.
52

Они создают неофициальные группы поддержки в социальных сетях WeChat и Доуинь (Douyin), в которых обмениваются информацией о местах в городе, куда трудно доставить груз, например, о больших зданиях с несколькими лифтами или закрытых посёлках. Сюда курьеры отказываются ездить, потому что здесь доставка в срок, предусмотренный платформой, невозможна. Поэтому они организуют коллективные отказы до тех пор, пока этот заказ не вернётся по более высокой цене32.

32. Borak М. China’s gig workers are challenging their algorithmic bosses. Wired. 14.03.2022. Available at: >>> >>> (accessed 23.05.2022).
53

Во время пандемии и карантина доставка еды стала востребованной и попала под пристальное общественное внимание и контроль. Весной 2021 г. в аккаунте газеты The Beijing News появилось 2-минутное видео, которое всколыхнуло общественное сознание. По сюжету пекинский чиновник, работая курьером, заработал всего 41 юань (6 долларов), чего хватило только на скромную еду33.

33. Mowbray H. Trending StoriesTrending in China: A Beijing Bureaucrat Worked as Delivery Driver for a Day and Earned Just $6. CXTech. 29.04.2021. Available at: >>> (accessed 23.05.2022).
54

Многое в работе цифровых платформ может измениться в связи с принятым 1 марта этого года в Китае законом о регулировании рекомендательных алгоритмов. Изменения коснутся контроля за алгоритмами по доставке, по распределению заказов, вознаграждений и штрафов, выплаты заработной платы для гиг-работников.
55 То, что алгоритмические рекомендательные сервисы в крупнейших цифровых платформах являются непрозрачными, вызывает всё большее беспокойство и властей, и общественности. Искусственно формируя у пользователей интерес к определённым темам и манипулируя тем самым их мнениями и предпочтениями и создавая вокруг них «информационный пузырь», рекомендательные алгоритмы оказывают деструктивное воздействие. Принятый в Китае закон направлен на ужесточение контроля над крупными технологическими компаниями в этой области. Он станет очередным важным шагом в создании нормативной структуры регулирования ИИ в Китае, в том числе и в области цифровой этики.
56

В течение следующих трёх лет Администрация киберпространства Китая (Cyberspace Administration of China, CAC) также планирует создать специальные группы, которым будет поручено сделать алгоритмы «справедливыми и прозрачными». Разработки и использование алгоритмов должны ориентироваться на основные ценности социализма, а предприятиям следует устанавливать системы безопасности и ответственности алгоритмов34.

34. China says to set governance rules for algorithms over next three years. Reuters. 21.09.2021. Available at: >>> (accessed 23.05.2022)
57

Заключение

 

Хотя этика не может быть сведена к праву и основной критерий в этике ИИ – свобода и автономия человека, оба эти измерения тесно связаны между собой. Успехи законодательного регулирования дают возможность для соблюдения этических норм. В России законодательное регулирование использования систем АПР неизбежно столкнётся с такими проблемами, как невысокая осведомлённость о возможностях и механизмах защиты граждан в этой области, причём на фоне высокого уровня цифровой преступности, и слабое влияние на принимаемые решения научного и экспертного сообщества35.

35. Правовые аспекты использования искусственного интеллекта: актуальные проблемы и возможные решения: доклад НИУ ВШЭ. М.: Издательский дом Высшей школы экономики, 2021. С. 36.
58

В этой связи эксперты подчёркивают значение нового «Национального кодекса этики в сфере ИИ» как переходного правового механизма, основанного на «мягком», точечном регулировании ИИ во всех сферах, и направленного на регулирование поведения людей, которые принимают решения в этой сфере. Этические нормы Кодекса выступают сдерживающим механизмом в применении ИИ и носят рекомендательный характер36.

36. Когда в России появится «Кодекс по этическим нормам в сфере искусственного интеллекта?» 13.12.2021. Available at: >>> (accessed 27.01.2022).
59 В этом же русле должна быть сформулирована методика ответственного ИИ, чем сейчас занимаются известные учёные и эксперты по ИИ, в частности Научный совет по методологии ИИ при Президиуме РАН.
60

В то же время ситуацию осложняют санкционные ограничения, и представители ИТ-отрасли указывают, что в новых условиях ограничение для российских разработчиков доступа к зарубежным ресурсам Open Source и открытым репозиториям данных, нехватка качественных датасетов для обучения алгоритмов ИИ, являются таким же серьёзным барьером для развития отрасли, как и недостаток комплектующих37.

37. Новая ИИ-реальность: что изменится в российской индустрии искусственного интеллекта. 30.04.2022. ICT.Moscow. Available at: >>>  (accessed 29.05.2022).
61

Насколько в таких нелёгких условиях будут помнить об этике? Возможно, забудут совсем, что может привести к использованию недоработанных алгоритмов и отсутствию внимания к этическим аспектам на том основании, что это сдерживает бизнес и технологическое развитие. В этих условиях интересен опыт каждой страны по ограничению рисков, связанных с технологическим развитием и новые решения – промышленно-практические, исследовательские и законодательно-регулятивные, которые в связи с этим там предлагаются. В каждой стране появляются свои особенные практики. Помимо нового китайского закона о регулировании рекомендательных алгоритмов цифровых платформ, можно привести пример опыта штата Нью-Йорк по установлению обязанности госоргана предоставлять ежегодные отчёты об используемых массивах данных для систем АПР. В отчётах должны содержаться описание используемых массивов данных, источники и способы их формирования, сведения о частоте обновлений, перечень госорганов, имеющих к нему доступ и иные сведения38.

38. Правовые аспекты использования искусственного интеллекта: актуальные проблемы и возможные решения: доклад НИУ ВШЭ. М.: Издательский дом Высшей школы экономики, 2021. С.36.
62

Российские эксперты ставят вопрос о необходимости создания широкой и всесторонней системы нормативно-правового регулирования АПР в публичной сфере39.

39. Там же. С.36-37.
63 Чтобы обеспечить прозрачность, объяснимость и подотчётность систем АПР необходим ряд нормативных мер. Нужно установить классификационные критерии систем АПР с учётом их уровня риска. Необходим единый реестр государственных и коммерческих систем АПР. Госорганы должны выпускать регулярные открытые отчёты об использовании систем АПР и обязательно размещать уведомления о применении системы АПР на сайтах госорганов или других организаций. Должна обеспечиваться аудируемость алгоритмов. Желательно закрепить правило, в соответствии с которым любое решение, принятое на основе исключительно алгоритмической обработки, должно содержать отметку о том, что оно было принято без участия человека.
64 Предварительная оценка алгоритмического воздействия на предмет справедливости, отсутствия дискриминации, точности и релевантности обучающих данных должна стать обязательной, вплоть до запрета на использование в наиболее рискованных сферах алгоритмов, не обеспечивающих достаточный уровень объяснимости, самообучающихся алгоритмов, способных самостоятельно пересматривать применяемые правила.
65 Если эти и другие подобные им меры не будут учтены в государственной и правовой политике, на уровне нормативного регулирования, и особенно «жёсткого права», а не только в виде рекомендаций и других инструментов «мягкого права», даже на фоне необходимости усиления стимулирования инновационного потенциала в условиях санкционных ограничений, то о действии этических механизмов не может быть и речи и в результате социальные риски новых инноваций значительно возрастут.

Библиография

1. Правовые аспекты использования искусственного интеллекта: актуальные проблемы и возможные решения: доклад НИУ ВШЭ. М.: Издательский дом Высшей школы экономики, 2021. С.36.

2. Хабриева Т.Я. Право, искусственный интеллект, цифровизация. Человек и системы искусственного интеллекта. СПб., 2022. С. 74-75.

3. Хабриева Т.Я. Право, искусственный интеллект, цифровизация. Человек и системы искусственного интеллекта. СПб, 2022. С. 74-75.

4. Larson J., Mattu S., Kirchner L., Angwin J. How We Analyzed the COMPAS Recidivism Algorithm. 23.05.2016. Available at: https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm (accessed 2.11.2021).

5. Khalid A. Google’s AI for mammograms doesn’t account for racial differences. Quartz. 9.11.2020. Available at: https://qz.com/1781123/googles-ai-for-mammograms-doesnt-account-for-race (accessed 2.01.2022).

6. Kelly C. J. et al. Key challenges for delivering clinical impact with artificial intelligence. BMC medicine. – 2019. – Vol. 17. – №. 1. – PP. 1-9.

7. Roberts H., Cowls J., Morley J., Taddeo M., Wang V., Floridi L. The Chinese Approach to Artificial Intelligence: an Analysis of Policy and Regulation. 2021. AI & SOCIETY. 36 (3). С. 17. https://link.springer.com/article/10.1007/s00146-020-00992-2 (accessed 2.05.2022).

8. Кинякина Е., Курашева А. Телемедицина не нашла поддержки у Минздрава. Ведомости. 18.07.2022. Available at: https://www.vedomosti.ru/technology/articles/2022/07/20/932329-telemeditsina-podderzhki (accessed 2.01.2020).

9. Fatić A. The ethics of drone warfare // Filozofija I Društvo. XXVIII (2), 2017. P. 351.

10. Mizokami K. Autonomous Drones Have Attacked Humans. Popularmechanics. 22.05.2022. Available at: https://www.popularmechanics.com/military/weapons/a36559508/drones-autonomously-attacked-humans-libya-united-nations-report/ (accessed 2.06.2022).

11. Кокошин А.А. Вопросы применения технологий и систем искусственного интеллекта в военной сфере Человек и системы искусственного интеллекта. СПб., 2022. С.101.

12. Kallenborn Z. If a killer robot were used, would we know? The Bulletin of the Atomic Scientists. 4.06.2022. Available at: https://thebulletin.org/2021/06/if-a-killer-robot-were-used-would-we-know/#post-heading (accessed 6.06.2022).

13. Kallenborn Z. Giving an AI control of nuclear weapons: What could possibly go wrong? The Bulletin of the Atomic Scientists. 1.02.2022. Available at: https://thebulletin.org/2022/02/giving-an-ai-control-of-nuclear-weapons-what-could-possibly-go-wrong/#post-heading (accessed 27.06.2022).

14. Kallenborn Z. Swarn talk: Understanding drone typology. The Modern War Institute (MWI). 12.10.21. Available at: https://mwi.usma.edu/about-3 (accessed 27.03.2022).

15. Кокошин А.А. Вопросы применения технологий и систем искусственного интеллекта в военной сфере. Человек и системы искусственного интеллекта. СПб., 2022. С. 101.

16. Establishment of an Algorithmic Warfare Cross-Functional Team (Project Maven). 26.04.2017. Available at: https://www.govexec.com/media/gbc/docs/pdfs_edit/establishment_of_the_awcft_project_maven.pdf (accessed 27.06.2022).

17. Weisgerber M. The Pentagon’s New Algorithmic Warfare Cell Gets Its First Mission: Hunt ISIS 14.05.2017. Available at: https://www.defenseone.com/technology/2017/05/pentagons-new-algorithmic-warfare-cell-gets-its-first-mission-hunt-isis/137833 (accessed 27.01.2022).

18. Johnson T., Wald Ch.W. The Military Should Teach AI to Watch Drone Footage Opinion. 26.11.2017. Wired. Available at: https://www.wired.com/story/the-military-should-teach-ai-to-watch-drone-footage (accessed 5.05.2022).

19. Steinhardt J., Wei Koh P., Liang P. Certified Defenses for Data Poisoning Attacks. 26.11.2017. Available at: https://arxiv.org/abs/1706.03691 (accessed 7.04.2022).

20. Kallenborn Z. Giving an AI control of nuclear weapons: What could possibly go wrong? The Bulletin of the Atomic Scientists. 1.02.2022. Available at: https://thebulletin.org/2022/02/giving-an-ai-control-of-nuclear-weapons-what-could-possibly-go-wrong/#post-heading (accessed 27.01.2022)

21. Simonite T. Google and Microsoft That AI May Do Dumb Things 02.11.2019. Wired. Available at: https://www.wired.com/story/google-microsoft-warn-ai-may-do-dumb-things/ (accessed: 15.04.2022).

22. Hardesty L. Study finds. MIT - Massachusetts Institute of Technology. 11.02.2018. Available at: https://news.mit.edu/2018/study-finds-gender-skin-type-bias-artificial-intelligence-systems-0212 (accessed 27.07.2022).

23. Microsoft’s framework for building AI systems responsibly. 21.06.2022. Available at: https://blogs.microsoft.com/on-the-issues/2022/06/21/microsofts-framework-for-building-ai-systems-responsibly (accessed 24.01.2022).

24. О’Коннелл Д. Пришло время пересмотреть наши ожидания от искусственного интеллекта. itWeek. Available at: https://www.itweek.ru/ai/article/detail.php?ID=223796 (accessed 24.01.2022).

25. Муравьев Д. Что не так с комиссиями по этике в IT-компаниях. Как и почему «Google» увольняет специалистов по этике. Теплица социальных технологий. 31.03.2021. Available at: https://te-st.ru/2021/03/31/ethics-google-firing/ (accessed 7.01.2022).

26. Bender E.M., Gebru T., McMillan-Major A., Shmitchell Sh. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 1.03.2021. Available at: https://dl.acm.org/doi/abs/10.1145/3442188.3445922?casa_token=j4JUXljVCYgAAAAA%3AKB4L4ARa0MKjw3mJh7ic8-H1LGQZa-agsCdsNRlitv7ENKbsj-byRfXtJV2VujJxplxq-vtD2Wo (accessed 27.01.2022).

27. Fried I. Google fires another AI ethics leader. 20.02.2021. Axious. Available at: https://www.axios.com/2021/02/19/google-fires-another-ai-ethics-leader (accessed 7.01.2022).

28. Standing with Dr. Timnit Gebru — #ISupportTimnit #BelieveBlackWomen. Google Walkout For Real Change. 4.12.2020. Available at: https://googlewalkout.medium.com/standing-with-dr-timnit-gebru-isupporttimnit-believeblackwomen-6dadc300d382 (accessed 7.01.2022).

29. Google’s research philosophy. Available at: https://research.google/philosophy/ (accessed 7.01.2022).

30. Pichai S. AI at Google: our principles. 07.07. 2018. Available at: https://www.blog.google/technology/ai/ai-principles (accessed 7.01.2022).

31. Гореликов А. Крупнейшие агрегаторы заказов отрицают нехватку рук и снижение зарплат // «Яндекс.Еда» и Delivery Club опровергают слухи о забастовке курьеров. 28.04.2022. Available at: https://prosto.rabota.ru/post/yandeks-eda-i-delivery-club-oprovergayut-sluhi-o-zabastovke-kur-erov/ (accessed 7.06.2022).

32. Borak М. China’s gig workers are challenging their algorithmic bosses. Wired. 14.03.2022. Available at: https://www.wired.co.uk/profile/masha-borak. https://www.wired.co.uk/profile/masha-borak (accessed 23.05.2022).

33. Mowbray H. Trending StoriesTrending in China: A Beijing Bureaucrat Worked as Delivery Driver for a Day and Earned Just $6. CXTech. 29.04.2021. Available at: https://www.caixinglobal.com/2021-04-29/trending-in-china-a-beijing-bureaucrat-worked-as-delivery-driver-for-a-day-and-earned-just-6-101703920.html (accessed 23.05.2022).

34. China says to set governance rules for algorithms over next three years. Reuters. 21.09.2021. Available at: https://www.reuters.com/world/china/china-says-set-governance-rules-algorithms-over-next-three-years-2021-09-29 (accessed 23.05.2022)

35. Правовые аспекты использования искусственного интеллекта: актуальные проблемы и возможные решения: доклад НИУ ВШЭ. М.: Издательский дом Высшей школы экономики, 2021. С. 36.

36. Когда в России появится «Кодекс по этическим нормам в сфере искусственного интеллекта?» 13.12.2021. Available at: https://www.youtube.com/watch?v=FjfXrzPsGJ8 (accessed 27.01.2022).

37. Новая ИИ-реальность: что изменится в российской индустрии искусственного интеллекта. 30.04.2022. ICT.Moscow. Available at: https://ict.moscow/news/ai-future-in-russia (accessed 29.05.2022).

38. Правовые аспекты использования искусственного интеллекта: актуальные проблемы и возможные решения: доклад НИУ ВШЭ. М.: Издательский дом Высшей школы экономики, 2021. С.36.

39. Там же. С.36-37.

Комментарии

Сообщения не найдены

Написать отзыв
Перевести