ИИ не придумывает стереотипы с нуля – он учится на данных, которые создавали люди. А люди и общества, к сожалению, никогда не были полностью объективными. Например, если компания годами чаще нанимала мужчин, алгоритм может решить, что мужчина – более «подходящий» кандидат. Именно с такой проблемой в своё время столкнулась Amazon при разработке системы подбора персонала. И даже если убрать из анкеты графы «пол» или «национальность», модель иногда способна восстановить эти признаки по косвенным данным: месту учёбы, району проживания, прошлому опыту работы, контексту используемых слов. Особенно опасна предвзятость там, где алгоритм принимает решения о людях: в кредитовании и страховании, при найме, в медицине, образовании, правоприменении и различных системах скоринга. В медицине последствия могут быть особенно чувствительными. Исследование, опубликованное в Nature Medicine, показало, что языковые модели в одинаковых клинических ситуациях могли по-разному рекомендовать обследования пациентам с разным уровнем дохода или гражданством. То есть проблема не в том, что ИИ «злой», а в том, что он может незаметно воспроизводить социальное неравенство из исходных данных. Например, предлагать разные схемы дополнительных обследований людям с разным уровнем дохода при том, что картина и симптомы у них – совпадают.
Предвзятость может появиться на любом этапе: при сборе данных, обучении модели, тестировании и уже после запуска продукта. Но чаще всего корень проблемы – именно в данных. Если в выборке кого-то почти нет, модель плохо понимает эту группу. Если данные отражают старые социальные перекосы, алгоритм легко перенимает их как норму. На этапе обучения проблема может только усилиться, если никто специально не проверяет данные и результаты модели. Лучше всего ловить такие ошибки до вывода продукта на рынок, во время тестирования. Но тестировать нужно не только «среднюю температуру по больнице». Модель может показывать 92% точности в целом, но при этом регулярно ошибаться в отношении конкретной группы пользователей. Поэтому важно отдельно проверять результаты для разных возрастов, регионов, социальных групп и других значимых категорий. Полностью нейтральный ИИ, скорее всего, невозможен – это объективное ограничение. Не потому, что технологии плохие, а потому, что само понятие справедливости не сводится к одной формуле и для разных групп может иметь диаметрально разные определения. Но можно сделать так, чтобы у разных групп была одинаковая вероятность получить положительное решение. А можно – чтобы модель одинаково точно работала для всех. Но, как я отметил, эти цели не всегда совпадают. Реалистичная задача – не обещать «ИИ без предвзятости», а управлять риском тиражирования стереотипов: проверять данные, выбирать понятные критерии справедливости, тестировать модель на разных группах и следить за её работой после запуска.
Предвзятость – это не только этический спор, её можно и нужно измерять. Для этого существуют разные метрики. Одни показывают, одинаково ли часто разные группы получают положительное решение. Другие – одинаково ли точна модель для разных пользователей. Третьи проверяют, насколько её прогнозы вообще можно считать надёжными. На практике важно сравнивать показатели до и после доработки модели. Причём не в среднем, а отдельно по группам пользователей. Если после изменений стало лучше только в общей статистике, но хуже для одной из групп, проблему нельзя считать решённой. С развитием ИИ предвзятость стала менее заметной. Раньше алгоритм мог грубо отсекать женщин при подборе кандидатов или путать лица людей разных этнических групп. Такие ошибки сравнительно легко увидеть. Современные языковые модели часто ведут себя тоньше. На прямой вопрос они отвечают нейтрально и корректно, но в реальных сценариях могут всё равно воспроизводить скрытые стереотипы – например, по полу, происхождению, религии или состоянию здоровья. Поэтому сегодня недостаточно спросить модель: «Ты предвзята?» Нужно смотреть, как она действует в десятках и сотнях реальных ситуаций.
Заглянуть внутрь алгоритма пользователь не может: у него нет доступа ни к данным, ни к коду модели. Но некоторые признаки можно увидеть и снаружи. Один странный результат ещё ничего не доказывает. Насторожиться стоит, если сервис постоянно загоняет вас в одну и ту же колею: показывает одинаковые вакансии, предлагает только один тип контента, выдаёт похожие цены или условия. Ещё один тревожный сигнал – разные предложения для похожих людей. Например, если вам и знакомому с примерно одинаковым профилем банк, страховая компания или маркетплейс предлагают заметно разные условия, это повод сравнить детали и задать вопросы. У генеративных ИИ-сервисов есть простой тест. Можно попросить модель описать «типичного программиста», «типичного врача» или представителя определённой национальности. Если в ответе сразу появляются шаблонные характеристики и социальные клише, значит, модель, вероятно, воспроизводит стереотипы из обучающих данных. Практический совет: не воспринимать решение алгоритма как окончательный вердикт. Стоит попробовать изменить формулировку запроса, сравнить результат с другого устройства или аккаунта, проверить альтернативные сервисы. За любым автоматическим решением всё равно стоит компания, которая отвечает за работу своей системы.
Регуляторы всё активнее обращают внимание на алгоритмы – особенно в тех сферах, где от решения ИИ зависят деньги, здоровье, работа или доступ к услугам. Самый жёсткий подход сейчас у Евросоюза. Европейский AI Act устанавливает специальные требования для систем высокого риска. Компании должны контролировать качество данных, документировать работу моделей, оценивать возможный ущерб для прав пользователей и предусматривать человеческий контроль в критических ситуациях. За серьёзные нарушения предусмотрены крупные штрафы. В России пока действует более мягкая модель: ставка делается не столько на запреты, сколько на саморегулирование и отраслевые нормы. Один из ключевых документов – Кодекс этики в сфере ИИ, который закрепляет принципы справедливости, прозрачности и недискриминации. Отдельные правила появляются и в наиболее чувствительных сферах – например, в медицине и на финансовом рынке. Это логично: именно там ошибка алгоритма может стоить человеку денег, здоровья или возможности получить необходимую услугу. Но одних кодексов и законов недостаточно. Компании сами должны регулярно проверять свои алгоритмы на перекосы. Это не только вопрос репутации и соответствия требованиям регуляторов. Чем понятнее и справедливее работает сервис, тем выше доверие пользователей – а доверие в цифровой среде часто превращается в лояльность и долгосрочный доход.
Ранее «Телеспутник» рассказывал о том, как технологии ИИ формирует контуры будущего цифрового неравенства. Исследователи «Высшей школы экономики» установили, что навыки работы с искусственным интеллектом напрямую связаны с возрастом и уровнем образования сотрудников.
