Open Computer Agent : une IA capable de remplacer un humain devant un PC

Hugging Face a lancé un outil open source surprenant : Open Computer Agent. Il s'agit d’une intelligence artificielle capable d’utiliser un ordinateur comme un humain. Elle clique, tape au clavier, ouvre des applications et navigue sur Internet. Vous lui donnez une instruction en langage naturel, et elle fait le travail.

Aucune ligne de code, aucun paramétrage : vous écrivez ce que vous voulez, vous cliquez sur Let’s Go, et vous voyez la souris bouger toute seule dans une interface virtuelle. C’est à la fois fascinant et un peu étrange.

Comment ça fonctionne ?

L’agent tourne dans une machine virtuelle Linux, avec un navigateur Firefox et quelques applis de base. Il utilise un modèle de vision nommé Qwen-VL. Ce modèle permet à l’IA de voir l’écran, de repérer les éléments comme les boutons ou les champs à remplir, et d’interagir exactement comme un humain le ferait, mais à distance.

Résultat : l’IA est capable d’ouvrir des fenêtres, de faire une recherche, de cliquer sur des éléments, ou même d’utiliser votre programme préféré. Et tout ça, en comprenant simplement votre demande écrite.

Ce que ça peut faire (et ce que ça ne peut pas faire)

L’outil est impressionnant sur des actions simples : recherches web, navigation sur des sites classiques, remplissage de formulaires simples. Mais il a encore pas mal de limites.

Il est très lent. Chaque action peut prendre 20 à 60 secondes. Si un CAPTCHA apparaît, l’IA est bloquée. Et s’il y a trop d’étapes ou un menu un peu complexe, elle peut se perdre et cliquer un peu au hasard.

Bref, ce n’est pas encore prêt pour remplacer un humain.

Ce que ça annonce pour l’avenir

Malgré ses limites, Open Computer Agent montre à quoi pourrait ressembler l’avenir. Aujourd’hui, tout se passe dans le cloud, sur un PC distant. Mais demain, ce même agent pourrait tourner directement sur votre ordinateur personnel, de manière locale.

Et là, les usages deviennent beaucoup plus concrets : automatiser vos tâches quotidiennes, remplir des formulaires administratifs, utiliser un logiciel a votre place, surveiller un site web, envoyer des e-mails ou faire vos courses en ligne.

Vous tapez une commande comme "va sur le site FunInformatique, connecte-toi, et lis le dernier article", et l’IA le fait, toute seule, sur votre PC. Pas besoin d’API ni de scripts compliqués.

Une avancée pour tous

Ce genre d’agent pourrait aussi être très utile pour les personnes à mobilité réduite, en facilitant l’accès aux interfaces classiques. Et comme l’outil est open source, les développeurs peuvent déjà l’explorer, l’améliorer, et l’adapter à leurs propres besoins.

C’est une alternative claire et ouverte aux outils propriétaires comme Operator d’OpenAI.