Report Viewer¶

Der Report Viewer dient zur Betrachtung und Auswertung von Testreports.

Er wird automatisch am Ende der Package- (Packagereport) oder Projektausführung (Projektreport) geöffnet.

Außerdem können bestehende Reports vergangener Ausführungen über Datei ‣ Öffnen oder Doppelklick einer *.trf-Datei im Windows-Explorer angezeigt werden. Durch Klick auf Fenster ‣ Meldungen wird das Meldungsfenster geöffnet, in dem die aktuellen Meldungen angezeigt werden.

Projektreport¶

Ein Projektreport entsteht, wenn der Report aus der Ausführung eines Projekts stammt (Play-Button im Projekt Editor).

Der Projektreport beinhaltet alle Informationen des Packagereport, enthält aber zusätzlich Informationen zu den übergeordneten Projektschritten und Statistiken zu den Ergebnissen aller enthaltenen Packageausführungen.

Auf dem Wurzelknoten des Reports öffnet sich bei Rechtsklick ein Kontextmenü, über das die Sortierung der Projektschritte verändert oder die erneute Ausführung eines Traceanalyse-Jobs (sofern vorhanden) ausgelöst werden kann.

Unterprojekte, die separat ausgeführt werden, besitzen ebenfalls ein Kontextmenü, über das sich der untergeordnete Report öffnen lässt (vorausgesetzt, die Ordnerstruktur des Gesamt-Reports wurde nicht manuell durch Kopieren/Verschieben der Dateien verändert).

Projektreporte bestehen in der Regel aus mindestens einer *.prf-Datei und je einer *.trf-Datei pro Package. Um den Austausch von Projektreporten zu vereinfachen, ist ein Export aller zur Betrachtung des gesamten Reports notwendigen Dateien in ein Projektreportarchiv (*.prfz) möglich. Im Gegensatz zum einfachen Zippen des Reportordners sind Aufnahmen und Log-Dateien nicht enthalten, sodass das Projektreportarchiv in der Regel kleiner als ein Archiv des kompletten Reportordners ist. Außerdem kann ein Projektreportarchiv wie ein normaler Report direkt geöffnet werden.

Wenn ein Projektreport aus test.guide heraus geöffnet wird, wird zunächst nur der Hauptreport heruntergeladen. Weitere Dateien werden erst bei Bedarf nachgeladen, wenn diese zur Anzeige der angeklickten Elemente benötigt werden. Das ist insbesondere nützlich, wenn man nicht an jedem Testfall interessiert ist, da sich der Report dadurch schneller öffnet.

Wenn man die kurzen Wartezeiten vermeiden möchte oder Reports für eine spätere Betrachtung ohne Zugriff auf test.guide herunterladen möchte, gibt es auch die Möglichkeit per Rechtsklick auf ein Projektelement alle zur Anzeige dieses Elements (oder des gesamten Reports) nötigen Dateien vorab herunterzuladen. Wenn mehrere Projektreporte so heruntergeladen werden sollen, muss darauf geachtet werden, dass die maximale Gesamtgröße unter Automatischer Report-Download aus test.guide groß genug gewählt wurde, da die ältesten gecachten Reports sonst entfernt werden.

Packagereport¶

Ein Packagereport entsteht, wenn der Report aus der Ausführung eines einzelnen Package stammt (Play-Button im Package Editor).

Package Knoten (Zusammenfassung)¶

Auf dem Hauptknoten des Reports befinden sich allgemeine Informationen zur Packageausführung:

• Packagename

• ecu.test Version

• Ausführungszeitpunkt und -dauer

• Gesamtergebnis, Ergebnis des Testfalls sowie Gesamtergebnis aller Analysejobs

• Packagebeschreibung

• Packagedateipfad

• Prüfrechner

Darunter finden sich Tabs mit zusätzlichen Metainformationen zur Packageausführung:

• Parameter

• Benutzerdefinierte Reportinformationen

• Packageattribute

• Globale Konstanten

• Testkonfiguration

• Testbenchkonfiguration

• Versionskontrolle

• Bibliotheksworkspaces

• Report-Kommentare und Nachbewertungen

• Artefakte

Die einzelnen Tabs sind jeweils nur vorhanden, falls diese Informationen enthalten.

Die Textfarbe dieses Knotens repräsentiert das Gesamtergebnis der Packageausführung.

Testfall¶

Die Seite Testfall wird beim Öffnen des Reports automatisch ausgewählt und zeigt eine detaillierte Übersicht über alle ausgeführten Testschritte. Aufgerufene Packages sind als Unterpunkte des Testfall-Knotens vorhanden, sodass man die Ansicht auf die darin enthaltenen Testschritt einschränken kann.

Die Textfarbe dieses Knotens repräsentiert das Gesamtergebnis des Testfalls und bestimmt das Gesamtergebnis der Packageausführung.

Die erste Spalte zeigt neben der Testschrittnummer das eingetretene Ergebnis an. Blasse Farbe bedeutet, dass dieses Ergebnis innerhalb des Teilbaums eingetreten ist, wohingegen ein kräftige Farbe eine direkte Bewertung des Testschrittes anzeigt. Die Zuordnung der Farben zu den Bewertungen kann in den ecu.test-Einstellungen festgelegt werden.

Bis auf die erste Spalte können alle Spalten des Testreports ein- und ausgeblendet werden. Dies geschieht über ein Kontextmenü, welches durch einen Rechtsklick auf den Kopf der Reporttabelle erscheint. ecu.test speichert die Auswahl der aktuell angezeigten Spalten und zeigt nur noch diese in zukünftig geöffneten Testreports an. Um die Spalten wieder anzuzeigen, muss der jeweilige Eintrag im Kontextmenü wieder aktiviert werden.

Klickt man auf das Pluszeichen in der Spalte Aktion/Name, werden untergeordnete Elemente sichtbar. Weitere Details des Testschritts werden bei Anklicken der jeweiligen Zeile im Detailfenster angezeigt, z. B. die Variablenbelegung in diesem Schritt oder auch die spezifizierte Erwartung.

Das Detailfenster kann durch die entsprechenden Buttons minimiert, maximiert oder als eigenes Fenster herausgelöst werden.

Ein Doppelklick bei gedrückter <Umschalt>-Taste auf einen Schritt öffnet das entsprechende Package an der passenden Stelle im Editor. So kann man schnell an die interessante Stelle im Package springen, um dort Überarbeitungen vornehmen zu können.

Klickt man doppelt auf einen Packageschritt, so wird der Report auf den Inhalt des entsprechenden Package eingeschränkt.

Mapping¶

Enthält alle während der Testausführung zuzegriffenen Mappingelemente mit Details zu der zum Testzeitpunkt zugeordneten Testgröße.

Gelingt es ecu.test nicht, eine Größe im gewählten Raster zu registrieren, so werden die entsprechenden Spalten farblich hervorgehoben:

Orange:

Größe konnte nicht im gewünschten Raster registriert werden, es wurde automatisch ein anderes Raster gewählt.

Rot:

Größe konnte nicht im gewünschten Raster registriert werden, toleriert aber keine Registrierung in einem alternativen Raster. Testschritte die diese Testgröße verwenden sind mit ERROR bewertet.

Die Herkunft eines Mappings aus einem globalen Mapping wird ebenso farblich hervorgehoben.

Aufnahmen¶

Enthält die während der Testausführung durchgeführten Aufnahmen mit den enthaltenen Signalen sowie Details zu Reportformat und Ablagepfad.

Analysejobs¶

Enthält eine detaillierte Übersicht über die ausgeführten Traceanalysen.

Die Textfarbe dieses Knotens repräsentiert das Gesamtergebnis aller Analysen und bestimmt das Gesamtergebnis der Packageausführung.

Menüaktionen¶

• Zeile(n) kopieren bzw. Alle Zeilen kopieren

• Text suchen

• Anzeigefilter

• Aus- und Einklappen

• Detailanzeige

• Reportverzeichnis öffnen

• Report ins Testmanagement-System exportieren

• Reportverzeichnis löschen

• Report nach test.guide übertragen

• Testreport-Dokumente generieren

Im Kontextmenü ist zusätzlich eine Option zum Nachbewerten und kommentieren von Reportelementen.

Ist im Projektbaum ein Knoten gewählt, für den im Hauptbereich keine Tabelle angezeigt wird, so sind die Funktionen Kopieren, Suchen, Filter und Aus- und Einklappen nicht verfügbar.

Zeile(n) kopieren¶

Mit Hilfe der Option aktive Zeile kopieren wird der Inhalt der aktuell ausgewählten Testreportzeile in die Zwischenablage kopiert. Dies kann beispielsweise sehr hilfreich sein, um längere Texte oder Pythonobjekte besser auswerten zu können.

Das zweite Icon kopiert alle Zeilen des gerade angezeigten Testreports in die Zwischenablage, um in anderen Programmen weiterverwendet werden zu können.

Text suchen¶

Durch Eingabe eines Suchtextes und Drücken von <Enter> springt ecu.test an die erste Stelle im Testreport, wo der Suchtext vorkommt. Mit den beiden Pfeilen rechts neben dem Eingabefeld kann zum vorherigen oder zum nächsten Suchergebnis gesprungen werden. ecu.test berücksichtigt dabei alle Spalten außer Testschritt-Nummer und Zeitstempel.

Anzeigefilter¶

Mit Hilfe des Anzeigefilters wird festgelegt, welche Schritte angezeigt werden sollen. Somit kann man den Testreport beliebig filtern und so den eigenen Anforderungen entsprechend aufbereiten. Beispielsweise können Schritte mit der Bewertung FAILED und dem Tag „Debug“ eingeblendet werden.

Die ausgewählten Filter sind dabei oder-verknüpft, also entweder Filterbedingung1 oder Filterbedingung2 oder … Möchte man Filterbedingungen und-verknüpfen oder weitere Filterkriterien erstellen, so klickt man auf Einstellungen.

Hinweis: Die Filtereinstellungen werden in den Einstellungen abgelegt und können somit für alle Packages verwendet werden. Sie erreichen die Einstellungen auch über das Menü Optionen ‣ Einstellungen ‣ Reportfilter.

Da bei Verwendung des Anzeigefilters ggf. Schritte angezeigt werden, deren Eltern nicht angezeigt werden, wird der gefilterte Testfall flach (komplett ohne Hierarchien) angezeigt.

Aus- und Einklappen¶

Ein Klick auf die Schaltfläche Alles ausklappen blendet bei allen Schritten die untergeordneten Elemente ein, falls welche vorhanden sind.

Mit der Schaltfläche Regelbasiertes Ausklappen kann man festlegen, welche Schritte aufgeklappt werden sollen. Das regelbasierte Ausklappen erspart das manuelle Anklicken vieler Plus-Zeichen: Ausgehend von der ersten Ebene werden alle Schritte, die der gewählten Filterregel entsprechen, aufgeklappt. Die dadurch sichtbar gewordenen untergeordneten Schritte werden jeweils abermals auf das Zutreffen der Regel geprüft und ggf. ebenso aufgeklappt, etc.

Die Filterregeln folgen der selben Systematik wie beim Anzeigefilter.

Ein Klick auf die Schaltfläche Alles einklappen blendet bei allen Schritten die untergeordneten Elemente aus.

Detailanzeige¶

Die Schaltfläche Detailfenster-Layout ermöglicht, die Position des Detailfensters festzulegen, und es zu minimieren.

Reportverzeichnis öffnen¶

Klickt man auf die Schaltfläche Reportverzeichnis öffnen, so öffnet sich der Explorer mit dem Testreportverzeichnis. Auf oberster Ebene liegt dabei immer die *.trf – die angezeigte Testreportdatenbank. Für jedes ausgeführte Package existiert ein Unterordner, der die ggf. kopierten Aufnahmen enthält. Ggf. existieren darüber hinaus weitere Verzeichnisse, die generierte Testreports, beispielsweise im Text- oder HTML-Format enthalten.

Report ins Testmanagement-System exportieren¶

Wenn ecu.test zur Verwendung eines Testmanagement-Systems konfiguriert ist, kann über diese Schaltfläche der Report in das konfigurierte System übertragen werden.

Reportverzeichnis löschen¶

Vor allem während der Testentwicklung wird man ein Package ausführen, um festzustellen, dass man noch Teile ändern oder anpassen muss. Mit Hilfe der Schaltfläche Testreportverzeichnis löschen, kann der aktuelle Testreport mit allen eventuell vorhandenen Aufnahmen gelöscht werden, um Platz auf der Festplatte zu schaffen und eine bessere Übersicht im Testreportverzeichnis zu erhalten.

Report nach test.guide übertragen¶

Diese Schaltfläche ermöglicht es, den Testreport nach test.guide zu übertragen.

Testreport-Dokumente generieren¶

Mit Hilfe dieser Schaltfläche kann aus dem Report ein Dokument in einem beliebigen Format (z.B. HTML) generiert werden. Standardmäßig wird ein Report für den kompletten Testlauf erstellt. Durch Anwählen der Checkbox „Nur für ausgewähltes Package“ kann der Report jedoch auch auf das im Projektbaum des Testfallreports ausgewählte Package beschränkt werden.

Die zur Verfügung stehenden Ausgabeformate werden in der Testkonfiguration konfiguriert.

Hinweis: Die Reports sind in ecu.test als Plugins konzipiert. Damit haben Sie die Möglichkeit, schnell weitere, an die eigenen Bedürfnisse angepasste, Ausgabeformate zu erstellen. Die ausgelieferten Testreports finden Sie im ecu.test-Programmverzeichnis unter Templates/Report. Kopieren Sie sich einfach ein bereits vorhandenes Reportverzeichnis und passen Sie ihn Ihren Wünschen an. ecu.test verwendet dabei das Mako-Framework. Weitere Informationen und die Dokumentation finden Sie im Internet unter: http://www.makotemplates.org.

Nachbewerten und kommentieren von Reportelementen¶

Ein Rechtsklick auf einen Projekt-, Testfall- oder Analyseschritt öffnet ein Kontextmenü, über das die Verwaltung von Kommentaren und Nachbewertungen möglich ist. Der dazugehörige Dialog erlaubt das Anlegen neuer Kommentare mit oder ohne Änderung der Bewertung. Aus Gründen der Rückverfolgbarkeit ist jedoch das Bearbeiten oder Löschen vorhandener Kommentare nicht möglich. Zu jedem Kommentar muss ein Autor angegeben werden und es wird automatisch ein Zeitstempel angefügt.

Beim Erstellen eines Kommentars kann gleichzeitig eine neue Bewertung vergeben werden. Dabei steht jede der typischen ecu.test-Bewertungen zur Verfügung: NONE, SUCCESS, INCONCLUSIVE, FAILED und ERROR. Zusätzlich werden all jene Bewertungen angeboten, die in den Testmanagement-Einstellungen entsprechend konfiguriert wurden. (weitere Informationen können dem Kapitel zu den Testmanagement-Einstellungen entnommen werden.)

Zu beachten ist, dass eine neue Bewertung an übergeordnete Testschritte propagiert wird und somit die Gesamtbewertung einer Package- bzw. Projektausführung beeinflusst.

Die Originalbewertung wird weiterhin parallel zur neuen Bewertung angezeigt.