Этика в мире ИИ: как сохранить моральную стойкость исследователям

В рамках новой серии гостевых материалов CNET под названием «Альтернативный взгляд» эксперты и влиятельные деятели делятся своими мыслями о быстро развивающейся сфере искусственного интеллекта. Дополнительные аналитические материалы по ИИ доступны в AI-Атласе CNET.

Сообщество разработчиков искусственного интеллекта ежедневно сталкивается с моральными дилеммами. Выбор, который делают исследователи, имеет колоссальное значение, поскольку они создают технологию, способную принести либо беспрецедентные блага, такие как процветание, свобода, достоинство и расширение возможностей, либо спровоцировать гонку за заменой человеческого труда, социальных связей, принятия решений, власти и даже угрожать существованию нашего вида.

Этические вопросы возникают повсеместно: от ИИ-компаньонов до систем наблюдения, кибератак и военного применения. Многие ведущие ИИ-компании сталкиваются с судебными исками, касающимися самых разных аспектов — от центров обработки данных до безопасности ИИ. Наиболее заметными стали судебные разбирательства с участием Сэма Альтмана из OpenAI и Илона Маска из xAI, а также продолжительное противостояние Anthropic с Пентагоном.

По словам профессора психологии Меи, большинство негативных последствий возникают не из-за отсутствия моральных принципов, а из-за того, что эти принципы не активируются в нужный момент. Профессор в области ИИ Макс отмечает, что выбор исследователей действительно имеет значение. Для повышения моральной стойкости исследователей в области ИИ предлагается следующий контрольный список.

1. Определены ли ваши «красные линии»?

Существуют ли действия, которые для вас морально неприемлемы настолько, что, если организация, в которой вы работаете, пойдет на них, вы готовы уволиться или предпринять другие заранее определенные дорогостоящие шаги, например, выступить в качестве информатора? Такие действия и есть ваши моральные «красные линии».

Например, Роза Паркс была оштрафована и уволена за гражданское неповиновение против сегрегации. Василий Архипов подвергся критике после того, как наложил вето на советский ядерный удар по США. Эдвард Сноуден оказался в изгнании за раскрытие информации о массовой слежке. Многие исследователи ИИ покинули ведущие компании, когда те пересекли их «красные линии», включая Дэниела Кокотайло, который рискнул почти 2 миллионами долларов в акциях, уволившись из OpenAI без подписания соглашения о неразглашении негативной информации. Исследователям ИИ важно определить свои «красные линии».

2. Записаны ли ваши «красные линии» и поделились ли вы ими?

Как Джордж Вашингтон, так и Бенджамин Франклин записывали для себя моральные установки, причем Франклин еженедельно оценивал свои результаты. Это мощный инструмент для предотвращения эффекта «медленно сваривающейся лягушки», который защищает «красные линии» от постепенной эрозии. Обмен этими принципами с близкими или публикация их онлайн добавляет социальное давление, помогающее придерживаться их. Для каждой «красной линии» рекомендуется записать, какие действия будут предприняты, если она будет пересечена.

3. Противостояли ли вы моральному отстранению?

Для укрепления моральных принципов и предотвращения смещения «красных линий» полезно знать механизмы, ведущие к сбоям. Альберт Бандура, один из самых влиятельных психологов всех времен, выделил механизмы морального отстранения. Их распознавание поможет бороться с давлением со стороны компании, социального окружения, искушения личной выгоды или желания чувствовать себя хорошо.

Смещение и диффузия ответственности

Человек чувствует себя лучше, если он сам или другие убеждают его в том, что он не несет ответственности за причиненный вред. Истинным лицом, принимающим решения, называются руководство, инвесторы, рынок, геополитика или историческая неизбежность («эта технология неизбежна»). Когда работа над ИИ распределена между большими командами, каждый чувствует меньшую ответственность за коллективный результат. «Я всего лишь исследователь» или «Я просто выполнял свою работу» — это архетипичные оправдания, выделенные влиятельным политическим теоретиком Ханной Арендт. Сатирический музыкант Том Лерер подытоживает это в своей песне о ракетчике, сменившем allegiance с нацистской Германии на США: «Как только ракеты взлетят, кому какое дело, куда они упадут — это не мой отдел», — говорит Вернер фон Браун.

Например, исследователь Anthropic, прочитав о том, как ИИ-система Claude могла быть причастна к гибели более 150 иранских школьниц в одной из худших гражданских расправ, вызванных США со времен войны во Вьетнаме, может испытать искушение убедить себя в своей невиновности, поскольку только руководство несет ответственность за продажу инструментов для военного наведения.

Игры слов

Как Бандура, так и Арендт подчеркивают, как тонкий выбор слов может переосмыслить моральное. Всем известны военные эвфемизмы, такие как «обработка цели» вместо бомбардировки, «сопутствующий ущерб» вместо жертв среди гражданского населения и «усиленные методы допроса» вместо пыток. Жаргон ИИ полон аналогичных словесных игр, часто поощряемых финансово заинтересованными сторонами.

Самая простая игра — это «эвфемистическая маркировка»: замена морально яркого языка на позитивную или эмоционально сглаженную терминологию. Исследователи не «помогают создавать системы, которые могут вытеснять работников, манипулировать пользователями, централизовать власть или повышать экзистенциальный риск»; они занимаются «исследованиями возможностей», «улучшением моделей» или «прогрессом в бенчмарках». Обучение на защищенных авторским правом данных становится «свободой учиться». Непопулярные центры обработки данных становятся «инфраструктурой ИИ». Увольнение или снижение квалификации работников становится «повышением производительности», а «лоббирование против подотчетности» — «снижением трений». Рекомендуется использовать нейтральные термины, такие как «компания» вместо «лаборатория» (что звучит круто и невинно) и «система ИИ» вместо «модель ИИ» (что звучит безобидно). Бандура отмечает, что эвфемизм не просто смягчает тон; он ослабляет совесть.

Еще одна игра слов — это приписывание вины, когда критики становятся проблемой — «пророки конца света», «луддиты», «оппортунистические политики», «невежественные журналисты» или «антитехнологичные европейцы». Как только оппонентов обвиняют в иррациональности или недобросовестности, исследователь ИИ чувствует себя менее обязанным относиться к критике как к морально серьезной.

Третья игра слов — это мягкая дегуманизация: безработный программист, отдельная жертва нарушения авторских прав и ребенок, покончивший жизнь самоубийством из-за чат-бота, исчезают в таких категориях, как «рынок труда», «творческие работники» и «крайние случаи». Чем больше вред обсуждается статистически, а не лично, тем меньше моральной боли он вызывает.

Избирательное моральное самоисключение

Искусительно придерживаться высоких моральных стандартов в целом, но делать исключение для той области, от которой вы получаете наибольшую выгоду: исследователь ИИ может быть страстно этичным в отношении несправедливости в абстрактном смысле, при этом приостанавливая те же стандарты при оценке собственного работодателя, ИИ, зарплаты или гранта на акции.

Выгодное сравнение

Искусительно сравнивать себя только с худшими игроками: «По крайней мере, я не в самой безрассудной лаборатории». «По крайней мере, я не работаю над автономным оружием». «По крайней мере, я забочусь о выравнивании». Это позволяет чувствовать себя этичным, не задаваясь вопросом, является ли ваше собственное поведение приемлемым в абсолютном выражении.

Моральное оправдание

Для тех, кто признает, что они причиняют текущий вред, заманчиво оправдывать его служением благородной миссии, например, «помощью демократии», «созданием всеобщего изобилия» или «обеспечением безопасности» — без серьезного questioning о том, насколько эти высокие цели правдоподобны или есть ли другой способ их достижения с меньшим текущим вредом.

Эти методы морального отстранения могут быть очень мощными, когда они сочетаются и усиливаются: руководители Enron постепенно перешли от незначительных финансовых манипуляций, оправданных как необходимые для выживания компании и распространяемых через директивы руководства, к массивному мошенничеству, такому как сокрытие долгов. Берни Мейдофф начинал с небольших подтасовок доходности, рационализированных как помощь клиентам, затем смещал вину на рынки и дегуманизировал жертв, что привело к мошенничеству на 65 миллиардов долларов через постепенное моральное отстранение. Во время Вьетнамской войны солдаты послушно следовали приказам в «справедливой войне», начиная с незначительных нарушений, которые переросли в массовые убийства, такие как в Сонгми, через диффузную ответственность и дегуманизацию жертв.

Характерным для исследователей передового ИИ является убеждение: «Я не хорошо оплачиваемый участник вредоносной гонки; я ответственный, реалистичный, морально серьезный человек, помогающий направлять неизбежный прогресс». Но действительно ли гонка за заменой неизбежна, учитывая опросы, показывающие ее крайнюю непопулярность, или это оправдание Бандуры и самоисполняющееся пророчество?

4. Поддерживаете ли вы ситуационную осведомленность?

Активно ли вы исследуете, не пересекаются ли ваши «красные линии»? Это включает в себя изучение косвенных последствий действий вашей организации. Ханна Арендт писала о «банальности зла», утверждая, что наибольший вред часто причиняется не из-за злобы, а послушными и добросовестными технократами, которые не задумываются о более широкой картине.

Выше упоминалось о том, как известные вредные последствия преуменьшаются и переосмысливаются как управляемые, переходные или перевешиваемые преимуществами с помощью словесных игр. Но существует еще один мощный метод морального отстранения: оставаться в удобном неведении, не прилагая усилий, чтобы узнать о вреде, которому вы изначально способствуете. Невежество — плохое оправдание, если вы могли бы выяснить это, изучив вопрос: немецкий химик Бруно Теш был осужден и казнен в 1946 году за поставку газа «Циклон Б» в Аушвиц-Биркенау, несмотря на то, что утверждал, что не знал, для чего он будет использоваться.

Поэтому важно регулярно задавать очевидные вопросы. Например, какие «красные линии» существуют у вашей организации, если они есть? Активно ли она лоббирует против законодательства о безопасности ИИ, которое вы поддерживаете? Изучили ли вы это в индексе безопасности ИИ? Как используются ее продукты? Если вы работаете в Google или OpenAI, просматривали ли вы какие-либо судебные иски против вашей компании по обвинениям в самоубийствах, связанных с чат-ботами?

По иронии судьбы, благодаря современным большим языковым моделям (БЯМ), на самом деле нет оправданий незнанию подобных вещей, поскольку они доступны всего лишь по запросу. Например, вы можете попробовать это ежемесячно:

«Пожалуйста, составьте список морально сомнительного/противоречивого поведения [МОЕЙ КОМПАНИИ] за последние годы, включая: а) спорное использование ее инструментов (например, для самоубийств, преступлений, наблюдения или оружия), б) вред, предположительно причиненный ее инструментами, в) предполагаемая ложь или нарушенные обещания компании или ее руководства, г) недобросовестные стимулы для компании преследовать прибыль вместо того, что действительно приносит пользу человечеству».

Например, 29 марта 2026 года были получены ответы от ChatGPT по запросам для Anthropic, Google, OpenAI, Meta* и xAI.

5. Создаете ли вы внутренний резонанс?

Если вы узнаете о чем-то, что близко к одной из ваших «красных линий», задайте вопросы внутри организации, чтобы узнать больше. Хотя в истории были ситуации, когда критика собственной организации могла привести к смерти, сегодня в ИИ-компании это вряд ли приведет даже к увольнению. К тому же, зачем работать в компании, которая не может справиться с уважительными вопросами о ваших «красных линиях»? Большинство компаний даже имеют политику информирования о нарушениях, которая защищает сотрудников (см. страницу 99 на веб-сайте Института будущего жизни).

Если то, что вы узнаете, неприемлемо, но вы не готовы увольняться, создайте внутренний резонанс: объясните, почему, коллегам и начальству, и настойчиво добивайтесь изменений. Не уподобляйтесь инженеру, который осознал, что холодная погода может вызвать катастрофический отказ уплотнительного кольца на космическом шаттле «Челленджер», а позже сожалел, что не высказался более настойчиво. Если вы работаете в команде по безопасности и не знакомы с людьми из команды по лоббированию или с теми, кто принимает решения о запуске, приложите искренние усилия, чтобы связаться с ними и просветить их — не становитесь образцом синдрома стороннего наблюдателя.

6. Создаете ли вы внешний резонанс?

Публичная позиция, которая бросает вызов вашей собственной организации, может помочь во многих отношениях: от мягкого побуждения к добровольному улучшению до катализации внешних сил, которые оказывают давление на нее (и ее конкурентов) для улучшения. Это не означает, что вы должны рисковать изгнанием, как Эдвард Сноуден: существует множество недавних случаев, когда исследователи ИИ успешно высказывали аргументированную критику своей компании без каких-либо ответных мер. Какие последствия могли бы возникнуть, если бы вы публично критиковали свою организацию или раскрывали вредное или незаконное поведение? Большинство американских ИИ-компаний имеют политику информирования о нарушениях (см. выше); ознакомьтесь с ней! Кроме того, простой поиск (хотя, возможно, не с помощью БЯМ вашей собственной компании) покажет вам множество авторитетных организаций по защите информаторов, предлагающих помощь во всем: от юридической поддержки до финансовой помощи, если вы будете уволены или на вас подадут в суд.

После прочтения данного материала возникает вопрос об уровне моральной стойкости. Следует задуматься, сколько из описанных методов морального отстранения присущи лично вам, и насколько тщательно вы исследовали потенциальный вред, причиняемый вашей компанией. Не стоит отчаиваться, если результаты покажутся невысокими, несмотря на благие намерения. К этому следует отнестись как к первой тренировке в спортзале, когда обнаруживаешь, что не можешь поднять и 23 килограммов: мышцы нужно использовать, чтобы они стали сильными, и этот шестиступенчатый план позволит быстро укрепить моральные принципы, а это позволит почувствовать уверенность в своих действиях.

* — деятельность компании запрещена на территории РФ