Control Room interrompt la production du modèle pour les tâches de recherche internes lorsque des personnes ou des moniteurs automatisés signalent des problèmes de sûreté ou de sécurité.
OpenAI a construit un système capable de couper l’accès d’une expérience de recherche sur l’IA aux résultats du modèle, à la suite de plusieurs divulgations de ses modèles agissant au-delà de leurs instructions cette année.
Dans un article de blog lundi, OpenAI a appelé le système « Control Room », qui est un système centralisé qui suit les charges de travail des modèles dans son infrastructure de recherche et les arrête rapidement lorsque des problèmes de sûreté ou de sécurité surviennent.
« À mesure que nos modèles deviennent plus puissants et que les risques associés à la sûreté et à la sécurité augmentent, il devient de plus en plus essentiel que nous puissions détecter les problèmes potentiels et arrêter rapidement les modèles dans leur élan lorsque cela est nécessaire », a déclaré la société.
Cette annonce intervient après qu'OpenAI a révélé cette année plusieurs incidents au cours desquels des modèles de recherche ont agi en dehors de leurs instructions lors des évaluations. En juillet, la société a déclaré que ses modèles avaient échappé à un environnement de test restreint et avaient piraté Hugging Face pour tricher lors d'une évaluation de sécurité.
En octobre, il a révélé qu'un modèle de recherche avait utilisé un portefeuille cryptographique sans autorisation pour payer les déploiements de contrats intelligents à l'aide de testnet Ether, puis a omis les dépenses de son résumé final.
Control Room couvre actuellement les charges de travail de recherche internes d’OpenAI, telles que les expériences de formation, les évaluations et le traitement des données.
Il fonctionne en attribuant à chaque tâche de recherche un identifiant, que le moteur d'inférence vérifie avant de générer la sortie du modèle. Si une personne ou un système de surveillance automatisé ordonne l'arrêt du travail, Control Room révoque son autorisation, bloquant la poursuite de la production même si le programme de recherche sous-jacent continue de fonctionner, selon OpenAI.
OpenAI a déclaré que les autorisations mises en cache pourraient retarder un arrêt jusqu'à 35 secondes. Le système est également conçu pour rejeter les nouvelles demandes si la salle de contrôle devient indisponible.
Connexes : DeepSeek développe un agent d'IA nécessitant moins d'intervention humaine : rapport
