Automatisation du bureau Windows qui relie les API Selenium avec des agents IA
winjavadriver, de Glaciousm, est un cadre d'automatisation de bureau Windows qui fait le lien entre les API de test traditionnelles et les flux de travail des agents. Il fournit un contrôle programmatique des applications de bureau en utilisant une interface de style Selenium aux côtés d'une interface orientée agent, permettant des interactions scriptées et une observation automatisée. La conception met l'accent sur l'inspection à l'écran, l'enregistrement passif et des descriptions d'interface utilisateur compactes pour réduire le texte envoyé aux modèles de langage. L'outil cible les ingénieurs en automatisation QA, les développeurs maintenant des systèmes Windows hérités et les chercheurs construisant des agents de bureau autonomes.
Bridges l'automatisation de style Selenium et les tests de bureau
Le pilote implémente une surface WebDriver native pour les applications Windows, exposant un client Java compatible avec Selenium afin que les équipes puissent migrer les tests web vers des chemins de code de bureau. Il prend en charge les types d'applications UWP, Win32 et VB6, et inclut un Inspecteur intégré avec une barre d'enregistrement flottante qui capture les clics, la saisie et les raccourcis clavier pour générer des étapes d'automatisation passive. Ces capacités permettent aux ingénieurs de test de réutiliser des outils existants basés sur Java tout en ciblant les interfaces graphiques de bureau.
Produit des descriptions d'interface utilisateur efficaces en termes de jetons pour les agents pilotés par LLM
Le projet exécute un serveur MCP qui fournit aux agents IA des données d'éléments compactes à l'aide d'outils intelligents spécialement conçus tels que win_observe et win_explore, qui résument l'état de l'interface utilisateur en texte efficace en termes de jetons. Le Positionnement de Grille Visuelle offre des localisateurs visuels basés sur des coordonnées d'écran relatives lorsque les ID d'éléments sont instables. Le point de terminaison MCP est implémenté en tant que composant Node.js, de sorte que les agents reçoivent un contexte d'interface utilisateur condensé au lieu de décharges d'éléments brutes et verbeuses.
Convient aux flux de travail centrés sur Windows mais nécessite des environnements d'exécution spécifiques
Le pilote est uniquement Windows et nécessite un environnement Java pour l'API côté client ainsi que Node.js pour le composant serveur MCP, donc un travail d'intégration est nécessaire avant que les tests ou les agents ne s'exécutent. Il fonctionne en modes doubles, à la fois en tant que pilote de style Selenium traditionnel et en tant que serveur MCP prêt pour l'IA, et inclut une gestion automatique pour les contrôles Win32 et VB6 hérités qui sont souvent invisibles pour les frameworks d'automatisation d'interface utilisateur standard.
Convient aux équipes qui acceptent le travail de configuration et apprécient la maintenance active
Glaciousm publie le projet en tant que pont d'automatisation open-source, et le projet est décrit comme bien considéré dans son créneau et activement maintenu. Cette réception soutient le choix du pilote pour les projets qui nécessitent une intégration plus étroite entre l'agent et le bureau et sont prêts à valider les sorties de l'agent dans le cadre de l'assurance qualité. Attendez-vous à un effort d'intégration initial pour configurer les environnements d'exécution Java et Node.js avant une utilisation routinière.
