Онлайн-игры — это здорово, но давайте будем честны: голосовой чат иногда может превратиться в мусорный бак с оскорблениями и яростью. Гораздо проще выкрикивать ругательства, чем печатать их, что вызвало серьезную проблему модерации. Roblox, как и другие крупные игровые платформы, решает эту проблему токсичности, и они делают это с помощью мощного инструмента: искусственного интеллекта. Однако даже с передовыми технологиями, похоже, что старое доброе человеческое суждение все еще играет важную роль.
Старший технический директор Roblox Киран Бхат и руководитель отдела безопасности голосовых сообщений Ханнес Хейкинхеймо недавно представили свою систему модерации голосовых чатов на конференции разработчиков игр (GDC). Они используют машинное обучение уже год, и результаты весьма впечатляющие. Однако разработчики, похоже, по-прежнему предпочитают человеческую модерацию для дополнительного уровня безопасности, который нужен Robloxians на платформе.
Разработчики Roblox рассказали, почему модерация на основе искусственного интеллекта недостаточна для голосовых чатов, наполненных «токсичностью»
В своем выступлении на GDC 2025 разработчики Roblox рассказали о своем опыте модерации ИИ на платформе. Как выразился Бхат, «Модерирование голоса в реальном времени звучит действительно устрашающе, потому что для модерации голоса вам нужно не только знать, что говорит человек, но и улавливать тон и интенсивность сказанного, чтобы решить, является ли что-то токсичным или нет. Также есть контекст, который является частью того, является ли что-то оскорбительным. Так что это действительно сложная проблема».
К счастью, удивительное количество опасного поведения следует постоянным закономерностям. Бхат объяснил, что по крайней мере 85% токсичности укладывается в четыре основные категории и что «подавляющее большинство» нарушений можно обработать с помощью списка всего из 50 ключевых слов. Поймайте их, и вы добьетесь огромного прогресса. И вот тут-то машинное обучение и блистает.
Хайкинхеймо подчеркнул «последовательность» ИИ. Машины, в отличие от модераторов-людей, не испытывают перепадов настроения, предвзятости или плохих дней. Они просто подчиняются правилам. Это делает их особенно полезными в «совершенно очевидных случаях» опасного поведения. Хайкинхеймо сказал, что после года использования метода количество сообщений о злоупотреблениях за «активный час разговора» сократилось вдвое. Это значительный шаг к улучшению онлайн-среды.
Но вот в чем загвоздка: ИИ не безупречен. Хотя машины отлично справляются с сопоставлением шаблонов, они испытывают трудности с нюансами, намерениями и теми странными пограничными случаями, которые, похоже, понимают только люди. «Люди все равно лучше в таких вещах, где вы можете быть очень близки к границе принятия решений», — пояснил Хайкинхеймо. «Или это может быть очень редкий случай, когда у нас не так много данных, на которых могла бы учиться система машинного обучения. Так что в таких случаях люди все равно могут быть лучше».
Roblox не одинок в этом отношении. Другие студии, такие как Marvel Rivals от NetEase Games и Call of Duty от Activision, также рассматривают голосовую модерацию на основе ИИ. Похоже, это становится тенденцией, хотя и потенциально ценной. Это заставляет задуматься: ИИ — это потрясающий инструмент, но это не волшебное решение, которое заменит человеческий надзор. Это больше похоже на мощного помощника, который может справиться с повседневными задачами, освобождая модераторов-людей, чтобы они могли сосредоточиться на сложных, тонких обстоятельствах, которые требуют подлинного понимания и проницательности. Поэтому, пока роботы слушают, отрадно знать, что люди из Roblox по-прежнему играют важную роль в том, чтобы сделать такие онлайн-пространства менее токсичными.
