Отображающий фотографии в Twitter алгоритм уличили в расизме
В социальной сети Twitter нейросети ответственны не только за составление персонализированной ленты или рекомендации аккаунтов. Алгоритму поручена и такая, казалось бы, рутинная операция как обрезка опубликованных пользователями изображений — задача состоит в том, чтобы автоматически показать пользователю в ленте наиболее релевантную часть фото или картинки, не умещающейся целиком в стандартную рамку.
Как выяснили пользователи, примененный соцсетью алгоритм выбора части снимка, несущей максимум информации, оказался "расистским". При прочих равных он отдавал предпочтение лицам людей европеоидной расы, а темнокожих "дискриминировал".
Установили это, проведя эксперименты со специально созданными изображениями — в них вставляли, например, фото Барака Обамы и сенатора-республиканца Митча Макконнела, размещая их в разных концах вытянутого в высоту изображения, середина которого оставалась пустой. Результат можно увидеть ниже:
Trying a horrible experiment...
— Tony “Abolish (Pol)ICE” Arcieri ���� (@bascule) September 19, 2020
Which will the Twitter algorithm pick: Mitch McConnell or Barack Obama? pic.twitter.com/bR1GRyCkia
Было высказано предположение, что на результат влияет не цвет кожи, а фон снимка — алгоритм якобы выбирает более светлый. Однако тестирование это опровергло:
I wonder how it is that you've said this without testing it? pic.twitter.com/rro1vn8Mh8
— Graham Christensen (@grhmc) September 19, 2020
В Twitter отреагировали на обнаруженную тенденциозность соцсети, заявив: алгоритм перед внедрением протестировали на расовую и гендерную предвзятость, но проблем не нашли. Поскольку пользовательский эксперимент демонстрирует обратное, команда разработчиков проведет более тщательный анализ созданного кода.