L'« IA constitutionnelle » d'Anthropic : des principes écrits plutôt que des milliers d'annotations

En 2022, Anthropic décrit une méthode pour rendre un assistant inoffensif en le faisant s'autocritiquer à partir d'une liste de principes.

Pour éviter qu'un assistant conversationnel produise des réponses nuisibles, la méthode habituelle consiste à faire noter ses réponses par des humains. L'article « Constitutional AI: Harmlessness from AI Feedback » propose de remplacer une grande partie de ce travail par une « constitution », un ensemble de principes rédigés en langage courant.

Le modèle critique et réécrit ses propres réponses à la lumière de ces principes, puis les évaluations produites par une IA servent à l'apprentissage par renforcement. Selon les auteurs, l'assistant obtenu est à la fois moins nuisible et moins évasif, car il explique ses refus.

Cette approche est utilisée pour entraîner les modèles Claude d'Anthropic. Elle rend aussi plus explicites les règles qui guident le comportement d'un modèle.