MAS-Lab Open-Source Release and arXiv Paper
Nous avons publie MAS-Lab: A Specification-Driven Validation Framework for Reliable Multi-Agent Systems en open source sur GitHub, avec un preprint arXiv en parallele.
Depuis fin 2024 je travaille sur les systemes agentiques et multi-agents — avec l’objectif de les rendre robustes, observables et evaluables, pas seulement rapides a prototyper. Je reste impressionne par la rapidite avec laquelle un ecosysteme entier s’est constitue, mais d’importantes lacunes persistent sur la robustesse, l’observabilite et l’evaluation — des lacunes qui semblent evitables, puisque des problemes comparables sont traites depuis longtemps dans d’autres domaines de l’ingenierie, avec des pratiques etablies. Ces limites se surtout fait sentir sur Aether : passer d’un prototype fonctionnel a quelque chose de deployable a l’echelle, branche a des protocoles en evolution (MCP, A2A), a l’observabilite et au reste de la pile operationnelle — des briques qu’on peut souvent ignorer en test local, mais qui deviennent incontournables des qu’on vise la production. Et il fallait encore l’evaluer assez rigoureusement pour tenir dans un article scientifique.
Pour y repondre, on a commence a developper MAS-Lab. Le blog du projet donne une vue d’ensemble de l’outil et de ses differentes composantes. Nous avons aussi redige un article sur ces defis et notre approche — y compris la formalisation basee sur des machines de Mealy au coeur du runtime. L’ensemble du code est publie en open source sur GitHub.
MAS-Lab s’articule autour de quatre composantes :
Spec. Un workflow multi-agents est defini de facon declarative — agents, roles, schemas de delegation, outils et politiques — comme une specification versionnee plutot que comme une logique dispersee dans les prompts et le code de liaison. Le systeme acquiert ainsi une identite stable, comparable, benchmarkable et evolutive, independamment du framework ou du modele qui implemente chaque agent.
Runtime. Le runtime applique la specification a l’execution. Il repose sur un modele formel base sur des machines de Mealy : les actions passent par des garde-fous de politique, l’etat et les ressources externes sont medies, et les interactions sont enregistrees avec assez de contexte pour auditer ce qui s’est passe. La conception permet aussi le multiplexage sur des connexions stateless, afin que plusieurs applications agentiques partagent la meme infrastructure.
Control. Une couche de deploiement porte la meme specification du developpement local aux benchmarks paralleles, jusqu’a la production. L’objectif est la continuite du cycle de vie — ne pas reconstruire le workflow a chaque etape, mais promouvoir un systeme declare unique avec les hooks d’orchestration et de gouvernance necessaires dans chaque environnement.
Lab. Les labs fournissent des environnements d’experience reproductibles : faire varier un facteur a la fois tout en gardant spec et runtime fixes, et collecter traces et artefacts comparables pour l’evaluation, la regression et les revues de mise en production. Ils regroupent le scaffolding de benchmark et l’outillage d’analyse que la plupart des projets reecrivent sinon pour chaque nouveau scenario.
MAS-Lab est un projet de grande envergure — ce qu’on publie aujourd’hui n’est qu’un point de depart, et on compte l’etendre et continuer a construire dessus. Un grand merci a mes collegues Giovanna Carofiglio, Giulio Grassi et Jacques Samain, qui ont ete determinants pour y arriver.