KI-Technik & Entwicklung

Computer-Use- und Browser-Agenten: GUI-Abläufe mit KI automatisieren

Viele Fachanwendungen und Webportale bieten keine Schnittstelle, sondern nur eine Oberfläche – genau dort setzen Agenten an, die Bildschirminhalte lesen und selbst klicken und tippen. Das Tagesseminar zeigt Entwicklern und Automatisierungsteams, wie Computer-Use-Modelle arbeiten, wie sie sich von klassischer RPA unterscheiden und wann sich der Einsatz rechnet. Praktisch gebaut werden ein Agent für Web-Recherche und Formulare sowie die Automatisierung eines Backoffice-Schritts. Danach haben Sie eine begründete Vorstellung, welche Abläufe per API, welche per Oberfläche und welche weiterhin mit vorhandenen RPA-Bots laufen sollten.

Für wen

RPA-Verantwortliche, Automatisierungsteams sowie Entwicklerinnen und Entwickler, die Prozesse an grafischen Oberflächen mit KI-Agenten automatisieren wollen.

KI-Tagesseminar · 1 Tag

Agenten bauen, die Webseiten und Oberflächen bedienen – robust und kontrolliert

Das nehmen Sie mit

  • Die Wahl zwischen DOM-basierter und visueller Steuerung begründen Sie mit Anwendung und Kosten pro Ausführung.
  • Ein selbst gebauter Agent mit Playwright und LLM recherchiert im Web und füllt Formulare aus.
  • Für bestehende RPA-Landschaften liegt ein Ansatz vor, sie hybrid zu erweitern statt neu zu bauen.
  • Berechtigungen, Audit-Trails und Schutz vor Prompt Injection planen Sie von Beginn an mit ein.

Ablauf

  1. Teil 1

    Modul 1 – Grundlagen: Wie ein Modell Bildschirme liest und bedient

    • Computer-Use-Modelle: Screenshot erfassen, Bedienelemente erkennen, Maus- und Tastaturaktionen ausführen
    • Browser-Agenten neben klassischer RPA: wo regelbasierte Bots stabiler laufen, wo KI flexibler reagiert
    • Anbieter und Werkzeuge: Claude Computer Use, Operator sowie Open-Source-Frameworks
    • Live-Demo: Ohne vorgegebene Feldpositionen füllt ein Agent eigenständig ein Webformular aus
  2. Teil 2

    Modul 2 – Browser-Automatisierung: Steuerung wählen und Agenten robust halten

    • DOM-basierte Steuerung mit Playwright + LLM über die Seitenstruktur, visuelle Steuerung über Pixel
    • Wann sich visuelle Steuerung lohnt – etwa bei Canvas-Oberflächen – und wann sie Läufe verlangsamt
    • Übung: Einen Agenten bauen, der Informationen im Web recherchiert und damit ein Formular ausfüllt
    • Robustheit im Dauerbetrieb: verschobene Layouts abfangen, Umgang mit Captchas klären
    • Belastbare Wiederholbarkeit statt einmal gelungener Vorführung als Maßstab
  3. Teil 3

    Modul 3 – Weiterentwicklung: Vorhandene RPA-Bots zu KI-Agenten ausbauen

    • Gewachsene RPA-Landschaften um LLM-Intelligenz ergänzen, etwa für unstrukturierte Eingaben
    • Wirtschaftlichkeit visueller Agenten: Kosten pro Ausführung gegen Pflegeaufwand eines Skripts rechnen
    • Hybride Architektur: zuerst die API nutzen, die GUI nur als Rückfallebene ohne Schnittstelle
    • Übung: Einen Backoffice-Schritt wie die Übernahme von Belegdaten in eine Fachanwendung automatisieren
    • Vorhandene Automatisierung schrittweise migrieren, statt funktionierende Bots zu verwerfen
  4. Teil 4

    Modul 4 – Sicherheit und Governance: Klick-Agenten unter Kontrolle

    • Berechtigungen begrenzen, sensible Daten auf dem Bildschirm schützen, Audit-Trails jeder Aktion führen
    • Prompt Injection abwehren, die über versteckte Anweisungen auf besuchten Webseiten eindringt
    • Fallstudie: Ein Backoffice-Prozess wird mit einem Computer-Use-Agenten automatisiert
    • Eingriffspunkte, an denen ein Mensch autonome Klick-Agenten stoppen oder bestätigen muss
    • Fahrplan zur GUI-Automatisierung: geeigneter Einstiegsprozess und die nötigen Kontrollen

VoraussetzungenEin Grundverständnis von LLMs wird vorausgesetzt; für die Übungen helfen Python-Kenntnisse.

AbschlussTeilnahmezertifikat und digitales Badge

Thema anfragen