Agentic Multimedia¶
Dieser Dialog wird angezeigt, wenn Sie innerhalb des Medienzugriff-Tab (per Kontextmenü auf einem Bild oder einer Maske) einen Agentic-Multimedia-Testschritt zum Testfall hinzufügen.
Der Testschritt verwendet ecu.test agent, um eine Folge von Aktionen anhand eines Prompts zu planen, auszuführen und zu bewerten. Er eignet sich besonders für komplexe oder dynamische Bedienabläufe, bei denen feste Koordinaten und eine feste Reihenfolge nicht zuverlässig sind.
Der Dialog ist in drei Sektionen gegliedert:
Referenz
Hier kann das referenzierte Mapping-Item angegeben oder verändert werden. Über dieses Mapping-Item liest der Agent aktuelle Bilder ein und führt die ermittelten Aktionen aus.
Parameter
Prompt
Hier wird das Ziel des Testschritts in natürlicher Sprache beschrieben. Der Prompt kann die Ausgangssituation, die gewünschten Aktionen und den erwarteten Endzustand enthalten. Ein Beispiel ist: „Öffne die Einstellungen, aktiviere WLAN und prüfe, ob WLAN eingeschaltet ist.“
Der Agent interpretiert den Prompt zur Laufzeit. Er trennt dabei die auszuführenden Aktionen von der abschließenden Bewertung. Während der Ausführung analysiert er aktuelle Bilder und navigiert mit den verfügbaren Aktionen zum beschriebenen Ziel. Nach der letzten Aktion prüft ein Bewertungsagent, ob der erwartete Endzustand erreicht wurde.
Maximale Anzahl der Modellanfragen
Dieser Wert begrenzt die Anzahl der Modellanfragen für die Interpretation, Ausführung und Bewertung
des Prompts. Für längere oder schwierige Abläufe kann ein höherer Wert erforderlich sein. Der
Standardwert ist 25.
Wartezeit nach jeder Aktion in Sekunden
Nach jeder Aktion wartet der Testschritt die angegebene Zeit, bevor das nächste Bild aufgenommen
wird. Dadurch können Animationen oder verzögerte Zustandsänderungen abgeschlossen werden, bevor der
Agent das Ergebnis der Aktion sieht. Die Wartezeit gilt auch für Aktionen aus dem Cache. Der
Standardwert ist 0.2 Sekunden. Der Wert darf nicht negativ sein.
Cache-Einstellungen
Cache verwenden
Ist diese Option aktiviert, sucht der Testschritt nach einer früheren erfolgreichen Ausführung. Ein Cache-Eintrag wird nur verwendet, wenn unter anderem der ausgewertete Prompt, die Modellanweisungen, die Wartezeit und die Position des Testschritts übereinstimmen.
Bei einem Treffer werden die gespeicherten Aktionen zunächst „blind“ ausgeführt. Das bedeutet, dass der Agent die einzelnen Aktionen nicht erneut anhand der Zwischenbilder plant. Anschließend wird mit einem aktuellen Bild geprüft, ob das im Prompt beschriebene Ziel erreicht wurde.
Gibt es keinen passenden Cache-Eintrag, interpretiert der Agent den Prompt neu und navigiert anhand aktueller Bilder zum Ziel. Nur eine erfolgreiche Ausführung wird im Cache gespeichert. Ist die Option deaktiviert, werden keine Einträge gelesen oder geschrieben.
Alle Multimedia-Cache-Einträge können in den Multimedia-Einstellungen gelöscht werden.
Self-Healing
Diese Option ist nur verfügbar, wenn Cache verwenden aktiviert ist. Wird das Ziel nach der Ausführung gespeicherter Aktionen nicht erreicht, löscht der Testschritt den fehlerhaften Cache-Eintrag. Anschließend interpretiert der Agent den Prompt neu und navigiert anhand aktueller Bilder zum Ziel. Für diesen Self-Healing-Durchlauf wird kein neuer Cache-Eintrag geschrieben.
Ist Self-Healing deaktiviert, führt eine fehlgeschlagene Bewertung nach der Cache-Ausführung direkt zum Ergebnis FAILED.
Ablauf der Testausführung
Der Testschritt führt vereinfacht folgende Schritte aus:
Der Prompt wird für die Aktionen und die abschließende Bewertung interpretiert.
Bei einem passenden Cache-Eintrag werden die gespeicherten Aktionen ausgeführt. Andernfalls navigiert der Agent anhand aktueller Bilder zum Ziel.
Nach den Aktionen wird geprüft, ob der im Prompt beschriebene Endzustand erreicht wurde.
Ist ein Cache-Durchlauf fehlgeschlagen und Self-Healing aktiviert, wird der Cache-Eintrag gelöscht und der Prompt erneut agentisch ausgeführt.
Abschließend bewertet der Agent den erreichten Zustand als SUCCESS oder FAILED.
Die ausgeführten Aktionen werden als untergeordnete Testschritte in den Report aufgenommen. Der Report enthält außerdem eine Zusammenfassung der Bewertung sowie Informationen zu den verwendeten Modellanfragen.
Weitere Informationen