La plateforme de jeux en ligne Roblox intensifie ses efforts pour protéger les jeunes utilisateurs avec le lancement d’un système d’intelligence artificielle open-source nommé Sentinel. Cette innovation vise à détecter préventivement les comportements prédateurs dans les conversations en ligne, un problème croissant sur cette plateforme particulièrement populaire auprès des enfants et adolescents.
Protection intelligente contre les menaces en ligne
Face aux critiques et poursuites judiciaires concernant la sécurité des mineurs, Roblox déploie une solution technologique avancée pour identifier les signes précoces de dangers potentiels. Le système Sentinel analyse quotidiennement près de 6 milliards de messages échangés sur la plateforme, en capturant des segments de conversation d’une minute pour détecter les schémas suspects.
L’efficacité de Sentinel repose sur sa capacité à contextualiser les échanges. Contrairement aux filtres traditionnels qui se concentrent sur des mots ou phrases isolés, ce système évalue l’ensemble d’une conversation pour repérer des comportements prédateurs qui se développent progressivement. Matt Kaufman, responsable de la sécurité chez Roblox, explique : « Les comportements liés à la mise en danger d’enfants ou au grooming se manifestent sur une très longue période. »
Durant le premier semestre 2025, cette technologie a déjà permis de soumettre 1 200 signalements d’exploitation infantile potentielle au Centre national américain pour les enfants disparus et exploités. Les résultats sont particulièrement significatifs pour les jeux populaires sur Roblox qui attirent un grand nombre de jeunes utilisateurs.
Voici comment fonctionne le système Sentinel :
- Analyse des conversations sur une période prolongée
- Détection des patterns suspects au-delà des simples mots-clés
- Attribution d’un score de risque aux interactions
- Revue humaine des cas identifiés comme préoccupants
- Signalement aux autorités compétentes si nécessaire
Le fonctionnement technique repose sur deux index distincts développés par Roblox :
| Type d’index | Contenu | Fonction |
|---|---|---|
| Index bénin | Messages normaux | Établir une référence de comportement standard |
| Index de violations | Conversations prédatrices identifiées | Détecter les schémas nuisibles |
Cette approche permet de contextualiser des questions apparemment innocentes comme « Quel âge as-tu ? » ou « D’où viens-tu ? » qui, lorsqu’elles s’inscrivent dans certains patterns de conversation, peuvent révéler des intentions malveillantes.
Avec plus de 111 millions d’utilisateurs mensuels, Roblox a implémenté plusieurs mesures préventives : interdiction de partager vidéos et images dans les chats, blocage des informations personnelles, et restriction des conversations privées pour les moins de 13 ans sans autorisation parentale. La plateforme a également fait le choix de ne pas chiffrer les conversations privées, permettant ainsi leur surveillance et modération.
Naren Koneru, vice-président de l’ingénierie pour la confiance et la sécurité chez Roblox, souligne que le système s’améliore continuellement : « Cet index devient meilleur à mesure que nous détectons davantage de mauvais acteurs. » Lorsque le comportement d’un utilisateur se rapproche des schémas suspects, l’équipe examine en profondeur ses conversations, amis et jeux fréquentés.
En rendant Sentinel open-source, Roblox permet à d’autres plateformes d’adopter cette technologie, contribuant potentiellement à un environnement en ligne plus sûr pour les enfants au-delà de son propre écosystème.
